其父裴茂字巨光，奉献帝之命率领关西诸将讨杀了李傕，被封为阳吉平侯；大哥裴徽曾任魏国的冀州刺史、金紫光禄大夫，后被封为兰陵武公，三哥裴辑做到工部尚书和金紫光禄大夫；二哥裴潜官至尚书令。无子嗣。