房遗直玄龄之长子也。玄龄次子遗爱尚高阳公主坐反诛遗直攻讦遗爱及主云：惧国家刑宪罪盈恶稔恐累臣私门太宗令所司案验遂别获主等反端而以遗直颇言主愆兼以玄龄素着勋勣得免为隶废于家。