僧人法雅因妖言获罪，裴寂也受到牵连。唐太宗免去裴寂的官职，削去他一半的食邑，让他返回故里。
裴寂请求留居长安，唐太宗斥责道：“你的功劳、才学，都不足以由如今的地位，只是由于太上皇对你的恩宠，才位居第一。
武德年间，政法方面纰漏谬误极多，地方官吏施政紊乱，对此你也应担负责任！我念及旧情，不对你施以极刑，让你回归故里，你还有什么不满意的？”裴寂只得返回蒲州。
当时，狂人信行客居汾阴，常对裴寂的家僮道：“裴公有天分。”信行死后，家奴恭命将此事告诉裴寂。裴寂大惊，不敢奏明皇帝，暗中命恭命将知情的家僮杀死。恭命却背着裴寂，将家僮放走。
后来，恭命得罪，向朝廷告发裴寂。唐太宗大怒，对侍臣道：“裴寂犯了四条死罪。第一，官居三公却与妖人交游；第二，事发之后，愤称国家之兴是其所谋；第三，隐匿妖人之言而不奏；第四，杀人灭口。”最终将他流放静州。