卢昌衡为尚书祠部郎高祖常大集群下令自陈功绩人皆竞进昌衡独无所言左仆射高颎目而异之裴矩为黄门侍郎从炀帝在江都时义兵入关帝令虞世基就宅问矩方略矩曰：太原有变京畿不静遥为处分恐失事机惟愿銮舆早还方可平定。