皇甫遇,常山真定人。为人有勇力,浓须,善射。年少时跟随唐明宗征伐,在唐当武胜军节度使,所到之处对民苛暴,以诛敛为能事,宾客助手都弃官逃走,以避祸。

晋高祖时,历任义武、昭义、建雄、潭阳四镇节度使,后转为神武统军。契丹入侵,攻陷贝州,出帝用高行周为北面行营都部署,遇为马军右厢排阵使。那时,青州杨光远据城造反,出帝派遣李守贞及遇分兵守郓州。遇等到达马家渡,契丹军正准备渡河援助光远,遇等击败契丹。因功升义成军节度使、马军都指挥使。

开运二年(945),契丹进攻西山,派先锋赵延寿包围镇州,杜重威不敢出战。延寿分兵大肆抢掠,攻破栾城、柏乡等九县,南至邢州。当时是除夕,出帝与近臣饮酒过量,得病,不能出征,便派北面行营都监张从恩会合马全节、安审琦及遇等防御。从恩等军到达相州,设阵安阳河南面,派遇与慕容彦超率数千骑去看敌阵。遇渡过漳河,遇敌,与数万敌军转战十余里,到榆林被契丹军围困,遇马中箭跌倒,得他的仆人杜知敏的马继续作战。知敏被契丹所擒,遇对彦超说:“知敏是义士,怎能失掉他!”立即和彦超跃马入敌群,取知敏回来。契丹兵与遇大战自午时到未时,解围又复合围,更出生力军,其势非常强盛。遇提醒彦超说:“今天的形势是战还是走呢?战或许能生存,走就会死。死战,还能够报国。”张从恩和诸将奇怪遇为什么去侦察敌情不回来报告,都说遇已经陷于敌人包围之中了。不久有快马报告遇等被围,安审琦率兵准备去救,从恩怀疑报告的人有诈,不想去,审琦说:“成败在天,我应当与你同患难,就是契丹不南来,我们失了皇甫遇,有啥面目见天子!”立即引骑兵渡河,诸军都相继北进,离契丹军十几里,契丹军看见救兵到了,立即解围而去。遇和审琦等收军而回,契丹军也北去。那时契丹军已经深入内地,人马都困乏,退兵时,诸将都没能追赶,从恩率遇等退守黎阳,契丹因此安然退去。

开运三年(946)冬,以杜重威为都招讨使,遇为马军右厢都指挥使,屯兵中渡。重威已经秘密投降契丹,伏兵幕中,召所有将领列坐,告诉众将他已经投降契丹了,遇和众将都吃惊得说不出话。重威拿出降表,遇和众将低着头,依次自写姓名,立即率兵解甲出去投降。契丹派遇与张彦泽先入京城,遇走到平棘,割断咽喉而死。