辛公义初为扬州道黜陟大使，豫章王暕恐其部内官寮犯法，未入州境，预令使属公义。公义答曰：“奉诏不敢有私。”及至扬州，皆无所纵舍，暕衔之。及炀帝即位，扬州长史王弘入为黄门侍郎，因言公义之短，竟去官。吏人守阙诉冤，相继不绝。后数岁，帝悟，除内史侍郎。