《晋书》曰：前汉末，匈奴大乱，五单于争立，而呼韩邪单于失其国，携乃率部落入臣于汉。嘉其意，剖并州北界以安之。于是匈奴五千余落入居朔方诸郡，与汉人杂处。后汉末，群臣竞言：胡入猥多，宜先为其所。建安中，魏武帝始分其众为五部，部立其中贵者为帅，复改帅为都尉。其左部都尉所统可万余落，居于太原；右部都尉可六千余落，居于祁县；南部都尉可三千余落，居于蒲子县；北部都尉可四千余落，居新兴县；中部都尉可六千余落，居太陵县。