虞绰炀帝时为著作佐郎恃才任气礼部尚书杨玄感称为贵踞虚襟礼之与结布衣之友绰数从之游其族人虞世南诫之曰：帝性猜忌而君过厚玄感。若与绝交者帝知君改悔可以无咎不然终当见祸绰不从寻有告绰以禁内兵书借玄感帝甚衔之及玄感败后籍没其家妓妾并入官帝因问之曰：玄感平常时与何人交往其妾以虞绰对帝令大理卿郑善果穷治其事绰曰：羁旅薄游以玄感文酒谈款实无他谋帝怒不解坐徙边。