「老成持重」系由「老成」及「持重」二语组合而成。 
「老成」是出自《诗经．大雅．荡》，这首诗是周代末年的诗人，哀叹周厉王昏庸无道、目无法纪，忧心周王朝恐将灭亡。全诗借托周代初期的贤君周文王斥责殷商的暴君无道，荒废政事，不问民间疾苦，用以讽刺劝戒周厉王，同时强调要以商代灭亡的历史为借镜，希望君王能及时醒悟。文中强调：非上天对待殷商不善，而是商君舍弃祖先的良法旧制不用；现在虽然没有经验丰富的大臣可以仰赖，但还有祖先留下来的规章典范可以遵行。如果再不听忠臣的建议，国家恐将走向灭亡的命运。诗经里就是用「老成人」来指德高望重、足以依靠的长者。 
「持重」则是出自《史记．卷一○八．韩长孺列传》，根据记载，汉景帝时打算要削弱藩国的势力，引起各藩王的不满，吴王刘濞因而联合楚王、赵王、胶东王等七个藩王叛变，史称「七国之乱」。当时吴王刘濞的军队开拔至梁孝王的藩国边界，梁孝王派手下的两员大将韩安国和张羽抵御吴军，两人通力合作，张羽奋勇作战，韩安国则谋策布划，沉著应对，稳定军心。使得吴军一直无法越过梁国，向京城前进。最后朝廷派出军队，由太尉周亚夫领军，平定了这场乱事。《史记》里记载，由于张羽的力战，韩安国的「持重」，才使得乱事无法扩大，得以迅速平定。后来这两个典源被合用成「老成持重」，用来形容人成熟老练，处事沉著稳重。