匡衡元帝时为丞相中书令石显用事自前相韦玄成及衡皆畏显不敢失其意成帝初即位衡乃与御史大夫甄谭共奏显追条其旧恶并其党与，于是司隶校尉王尊劾奏衡谭居大臣位知显等专权势作威福为海内患害不以时白奏行罚而阿谀曲从附下罔上无大臣辅政之义既奏显等不自陈不忠之罪而反扬着先帝任用倾覆之徒罪至不道有诏无劾衡惭惧上疏谢罪因称病乞骸骨上丞相安乐侯印绶帝报书不许因赐上尊酒养牛衡起视事默默不自安每有水旱风雨不时连乞骸骨让位帝辄以诏书慰抚不许。