又曰：高宗将废皇后王氏，立武昭仪为皇后，褚遂良欲陈谏。及入，高宗难于发言，再三顾谓无忌曰：“莫大之罪，绝嗣为甚。王后无胤息，昭仪有子，今欲立皇后，公等以为如何？”遂良曰：“皇后出自名家，先朝所娶，伏事先帝，无愆妇德。先帝不豫，执陛下手以语臣曰：我好儿好妇，今将付卿。陛下亲承德音，言犹在耳。皇后自此未有愆，恐不可废，臣今不敢曲从上旨，违先帝之命，特愿再三思审。愚臣上忤圣颜，罪合万死，但愿不负先朝厚恩，何顾性命。”遂良致笏于殿陛，曰：“还陛下此笏。”乃解巾叩头流血。帝大怒，令引出。因左迁遂良潭州都督，后转桂州。未几，贬爱州刺史。