张安世父汤为御史大夫安世后为大司马车骑将军领尚书事封富平侯子延寿为左曹太仆安世兄贺无子安世小子彭祖宣帝封彭祖为阳都侯。又封贺孤孙霸为关内侯安世以父封侯在位太盛乃辞禄诏都内别藏张安世无名钱以百万数（都内内藏官也。安世以还官官不簿也。）安世孙临尚敬武公主安世子孙相继自宣元以来为侍中中常侍诸曹散骑列校尉者凡十余人功臣之世子有金氏张氏亲近宠贵比于外戚。