「罪魁祸首」系由「罪魁」及「祸首」二语组合而成。 
「罪魁」一语见自宋．文天祥《指南录．卷一．纪事》。文天祥，字履善、宋瑞，号文山，庐陵人。南宋大臣，文学家，伟大的民族英雄。吕文焕是南宋末期将军。他统领南宋军队与蒙古军交战，死守襄阳五年，因得不到后援，孤军奋战而终于降敌。吕文焕投降后，蒙古军猛攻南宋，宋朝封吕文焕的姪儿吕师孟为兵部尚书，想借以缓和蒙古的攻势。文天祥当时任右丞相兼枢密使，在一次宋、元双方对谈时，文天祥骂吕师孟是遗孽，吕文焕是乱贼。吕文焕问文天祥为何这么骂，文天祥马上痛斥吕文焕说：「你引狼入室，带领蒙古军南下，叛逆误国，让国家遭遇如此不幸，这样的『罪魁』，你不是乱贼谁是乱贼？小孩子都骂你，何止只有我骂你！」后文天祥督诸路军马抗元，兵败被俘，英勇就义。 
「祸首」一语见于《东观汉记．卷一五．申屠刚》。周武王灭商后，分封鲁地予周公，但周公一直未到封地。武王死后，这里的淮夷、徐戎同时叛乱，周公东征平定了叛乱，稳定了局势。周公因为辅佐年幼的成王，无法到封地，为了预防「祸首」再度俟机为乱，便让他的儿子伯禽代他受封，让伯禽镇守这一地区，并要他巩固和扩大自己的势力，成为周王朝强有力的后盾。后来这两个词语被合用成「罪魁祸首」，用来指领导或策划肇祸犯罪的首要人物。