廉惠山海牙,字公亮,布鲁海牙之孙,廉希宪之侄。其父阿鲁浑海牙曾任广德路达鲁花赤。

廉惠山海牙年幼丧父,由母亲一人抚养,家境贫寒,但他并不以破衣粗食为耻。二十岁时,大臣欲使他入宫禁宿卫,他推辞,一心想参加科举考试,于是入国学读书。至治元年(1321),考中了进士,授官承事郎、同知顺州事。

在顺州,有弓匠提举马都刺,恃势强夺本州民田,同僚们也都怕他。廉惠山海牙到任后将此事按法处置。在顺州任职一年,有人推荐他入史馆,参与修纂《英宗实录》和《显宗实录》。不久拜为监察御史。当时中书省有大臣贪婪无厌,廉惠山海牙上章弹劾,对同僚们说:“如果因弹劾而获罪,那也是我的职责所在。”其后又弹劾明里董阿不应兼理祭太庙的事。任都水监时,廉惠山海牙疏通了会通河,修建滦、漆两河的堤坝及京东水闸。任秘书丞及会福总管府治中时,上疏指出二月迎佛是费财败俗,当时舆论肯定他的正确批评。以后又历任佥淮东廉访司事,江浙行省左右司员外郎,佥河东、河南、江西廉访司事,江南行御史台经历等职。山东盐法受到破坏,特选他任都转运使,不到一月盐课都按规定征收上来。

至正三年(1337)初,朝廷举行郊祭礼,召廉惠山海牙回京任侍仪使。四年,参与修纂《辽史》、《金史》和《宋史》。随后调任崇文太监,多次出任河南行省右丞。当时朝廷要征发民夫治理黄河河堤,骚扰各郡,廉惠山海牙上疏指出其弊端,但执政宰臣不采纳他的意见。调任湖广行省右丞,因武昌失守而受牵连获罪,后来把事情弄清楚了,调任江西行省右丞。

江西所属郡县多为义军所有,廉惠山海牙与平章政事、司徒道童协力商定守御和招安之策。为时不久,义军攻占江西行省衙门所在地,廉惠山海牙逃往福建。很久以后,任命他为江浙行枢密院事,又改任福建行省右丞。廉惠山海牙分兵镇守延平、邵武。在福建一年多,除统筹办理全省军事防御外,还将该省赋税由海道运至京师。调行宣政院使。第二年,拜翰林学士承旨、知制诰兼修国史。年七十一岁而卒。