裴遵庆的字叫少良,绛州闻喜县人。

他从小刻苦学习,博览群书,胸有才干却含而不露,不参加科举。年龄已大,才因上辈的功劳被任命为兴宁陵丞,后调任大理丞。边境将领萧克济督促劳役苛刻暴虐,役夫说他的坏话,有关部门要按反叛论罪,裴遵庆说:“他们讲财产不能招兵,讲勇力不能服众,怎能造反?”因此保全了十几族的性命。他多次升官后任吏部员外郎、判南曹。天宝年间,参加科举的每年上万人,裴遵庆生性能干敏捷,阅卷评选,详细而不苛刻,当时认为他是吏部第一人。

唐肃宗时,他任吏部侍郎。萧华任宰相,多次推荐他,于是任命他为黄门侍郎、同中书门下平章事。

唐代宗初年,仆固怀恩不听命令,皇帝因为裴遵庆性情宽厚又任重臣,派他带诏书去宣诏慰问,仆固怀恩接受诏命后准备进京朝拜,后被他的部将范志诚劝阻。当时皇帝逃到陕郡,裴遵庆抽身赶赴皇帝驻地。皇帝回到京城后,提升他任太子少傅。后免职任集贤院待制,又调任吏部尚书,以尚书右仆射身份又任知选事,皇帝优待他年迈,让到他家里去任命官职,当时人认为荣耀。

曾有同族兄弟的儿子有疯癫病,告发他谋划反叛,皇帝知道他是瞎说,搁置不予追究。他生性厚道正直,年老后更加谨慎。每次推荐了贤才,有来感谢他的,他认为是耻辱。劝谏被采纳了,他去宫中反更谨慎了。即使是亲人近侍,只知道他常写奏疏,但不知道他说了什么。

大历十年(775)他去世了,享年九十多岁。据说当初他当郎官时,撰写了《王政记》,叙述古今的政治体制,有见识的人知道他有宰相的才干。