他之前是隋朝大将张须陀的手下,作战勇猛,很能打。因为种种原因在617年投靠了瓦岗。但是后来李密的瓦岗军在与王世充打仗的时候战败,裴行俨被王世充俘虏。王世充也是久仰裴行俨的大名,很器重他。
王世充称帝后,裴行俨被任命为大将军,他也勇猛战斗,报答知遇之恩。不过他功劳太大,深受士兵爱戴,王世充起了疑心,担心他拥兵自重造反夺自己的皇位,对他很猜忌。裴行俨深感伴君如伴虎,也很无奈,自己想报答知遇之恩,想建功立业,但是又不能功高盖主。后来他们一伙人想要刺杀王世充造反,拥立越王杨侗为帝。
没想到走漏了风声,被王世充的人知道了,王世充立刻调兵遣将,抓捕了造反的人。裴行俨被杀,还被灭了三族。
乱世出英雄,真是可惜了这么一员绝世猛将。