第一个渊源：源于伊氏，出自商汤时代的贤臣伊尹，属于以官职称谓为氏。

商汤时代有个贤臣叫伊尹，因为在灭夏过程中功劳最大，商汤封他为尹(宰相)，并封了个尊号叫“阿衡”(“阿”就是倚靠的意思，“衡”的意思是“维持”，合起来的意思就是“国家的倚靠”)。后来伊尹的后代子孙就以伊尹尊号中的“衡”字命氏，称衡氏。

第二个渊源：源于姬姓，出自周公旦之子伯禽的后代公子衡，属于以先祖名字为氏。

周公长子伯禽封于鲁地，他建立了鲁国，其后代有名人公子衡，其子孙便以祖上名字命姓，称衡氏。

第三个渊源：源于改姓，以地名为氏。

三国时期，曹操于官渡之战打败袁绍后，袁绍的几个儿子又自相残杀，部分袁氏族人就逃到湖南衡山隐居避难，后以居住地名为姓，改姓衡氏。

得姓始祖：公子衡。

衡氏的来源有三个，据史籍《元和姓纂》的记载，周朝时期，由周公子伯所传的鲁国(今山东)，鲁国公子衡的后代子孙以衡为姓，称衡氏。

另一支衡氏，据《名贤氏族言行类稿》记载，是商汤的贤臣伊尹的后裔，伊尹因功被任为宰相，并封号叫“阿衡”意思是“国家的倚靠”。后来他的子孙中有以其尊号为姓，称衡氏。

此外，史籍《万姓统谱》中还提及另一个出处记载，三国时的袁绍战败之后，他的子孙为了避难，跑到今湖南衡山躲起来，并且以山名为氏而姓了衡，称衡氏。

衡氏得姓至今已有三千六百多年的历史，望族居汝南郡(今河南汝南)。宋朝的《百家姓》注其居雁门郡(今山西代县)。衡氏后人尊公子衡为衡氏的得姓始祖。