「墨守成规」系由「墨守」及「成规」二语组合而成。
 
「墨守」见于《战国策．齐策六》。据载，战国时，燕国派兵攻打齐国，攻下齐国七十几个城池。其中一个叫「聊」的地方，也被燕军占领。此时燕国国内情势混乱，燕将害怕受到牵连，引来杀身之祸，便一直据守在聊城不敢回国。齐国大将田单想要将它收复，但努力一年多都没有成功。当时齐国有一位叫鲁仲连的人，写了一封信，将它绑在箭上射进城中给燕军的将领看。信里的大意是向燕将分析当前的情势，说有勇之人不应怕死，况且目前燕国情势混乱，又被赵国围攻，燕王没有忠心之臣可以信赖。而燕军以区区一城的兵力，便能抵挡齐国大军，固守聊城一年，实在了不起啊！但是齐国是绝对不会放弃聊城的，会坚持到收复为止，这样还能在这小城里撑多久呢？劝他不如将这些军力带回燕国，不但可以帮助祖国度过难关，又可以建立自己的功绩名声。燕将看了信后，觉得很有道理，便收兵回国了。这里的典源用了「墨翟之守」。《墨子》里记载：有一次，楚国要攻打宋国。当时有名的工匠鲁班特地为楚国造了一座云梯，做为攻城之用。墨子听了赶紧去找鲁班，跟他在楚王面前预演，要证明这座云梯没有用处，让楚王打消攻宋的念头。墨子用衣带圈起来当城池，用木板当武器，鲁班连用了多种方法进攻都没有成功，而墨子守御的方法还有余。这就是所谓的「墨翟之守」。鲁仲连便用这个故事来形容燕将的军队固守聊城，就如墨子守城一般，难以攻下。
 
「成规」则见于《三国志．卷四四．蒋琬等传》。三国时，蜀汉国君刘备临终前将国家大事托付诸葛亮，辅佐后主刘禅。而诸葛亮也不负所托，鞠躬尽瘁，死于军中。诸葛亮的去世原本可能会为蜀汉带来危机，所幸大臣蒋琬和费袆执政得宜，循著诸葛亮留下来的旧制做事，稳定了国家的情势。所以《三国志》的作者陈寿在两人的传记之后说他们两人一个稳重有威，一个宽容博爱，「承诸葛之成规」，所以边境和平，社会安乐。后来分取这两个典源合用成「墨守成规」，用来指固守旧规不肯改变，形容行事保守。