高市贵初仕后魏孝昌初恒州内部敕勒刘胡仑等聚众反市贵为都督率众讨仑一战破之累迁抚军将军谏议大夫及尔朱荣立庄帝市贵预翼戴之勋迁卫将军光禄大夫秀容大都督第一领民酋长赐爵上雒县伯尔朱荣击葛荣于滏口以市贵为前锋都督葛荣平除使持节汾州刺史后迁骠骑大将军高祖起义市贵预其谋及樊子鹄据州反随大都督娄昭讨之子鹄平除西兖州刺史高祖以洪峒要险遣市贵镇之高祖沙苑失利晋州行事封祖业弃城而遁州民柴览聚众作逆高祖命市贵讨之览奔柴壁市贵破斩之是时东雍南汾二州境多群聚为盗因市贵平览皆散归复业后秀容人五千户叛应山胡复以市贵为行台统诸军讨平之。