伯茂少年时,就颇有威望和影响。博览群书,文章华丽,因被封为奉朝请,得以脱去布衣到朝廷做官。后来被封为中军大将军。

  伯茂喜好饮酒,形迹颇为疏散狂傲,因而,长久不能升迁,心情郁闷。天平二年(535),他参加朝廷的宴会,侮辱了殿中尚书、章武王元景哲。景哲便向朝廷控告他丢掉官员的身份,与太监在一起;用梨敲打桌案,弄脏了别人的官服;在皇宫禁庭,脱下衣服让别人拿着。朝廷下诏将他交给有司处理,后来竟然没有问罪。

  伯茂晚年,狂饮无度,以至于伤身乱性,常因此引起过失。死前数日,忽然说:我得到密信,朝廷要逮捕我。便与他的妻子乘车西逃。后来因为他指着墙壁,说有官府的人来追赶,妻子才知道他精神有了毛病。死后,埋葬在家中的园子里。友人常景、李浑、王元景、卢元明、魏季景、李骞等十多人在他的墓旁摆酒祭奠,一个个痛哭流涕,边饮边将酒浇在地上,说:“裴中书魂魄有灵,知道我们来看你了吗?”每人各赋诗一首。李骞因魏收也与伯茂交谊深厚,将诗稿寄给了他。魏收当时在晋阳,也同他们一样写诗评论伯茂,其中十个字是:“临风想玄度,对酒思公荣。”时人认为伯茂性情傲慢,魏收的诗颇能将他概括。