隋张衡为御史大夫炀帝欲大汾阳宫令衡与纪宏整具图奏之衡承间进谏曰：比年劳役繁多百姓疲弊伏愿留神稍加折损帝意甚不平后尝目衡谓侍臣曰：张衡自谓繇其计画令我有天下也。时齐王珊柬失爱于上帝密令人求珊柬罪失有人譛珊柬违制将伊阙令皇甫翊从之汾阳宫。又录前幸涿郡及祠北岳时父老谒见者衣冠多不整帝谴衡以宪司皆不能举正出为榆林太守。