马祖常字伯庸,先祖世代为雍古部,居住在净州天山。高祖锡里吉思,在金代为凤翔兵马判官,尽忠金朝,死后赠恒州刺史。子孙世袭为官,以马为姓氏。曾祖月合乃,随世祖征宋,留于汴京,掌管粮饷,官至礼部尚书。父马润,为同知漳州路总管府事,家在光州。

祖常七岁时就好学,得钱就买书,长大后学习更加勤奋。一四川儒生张须立在仪真讲学,祖常去拜为师,学习中提出疑问数十条,须立非常器重。延..初年(1314),元朝实行科举制度,祖常应试,无论乡试、会试皆中第一名,廷试第二名,授应奉翰林文字,拜监察御史。

仁宗在位日久,常在东宫饮酒过度,祖常敢于上书劝谏皇上临朝理政。英宗为皇太子,祖常又上书请皇上慎重延聘师傅。奸臣铁木迭儿为丞相,作威作福,专横跋扈,祖常知道他偷看国史,与同僚弹劾其十大罪状,仁宗大怒,将铁木迭儿罢职。传闻秦山移动,祖常藉此上书说:“山本不动之物,如今移动,必定是在朝外有当用不用之贤人,在朝为官者有当言不言之佞臣。”皇帝看后令大臣们都居家等候审查治罪。祖常荐举贤能,弹劾那些不贤无能者,知无不言。不久,改任宣政院经历,仅月余就辞官返乡,后又起用为社稷署令。又不久,奸臣复相位,贬祖常为开平县尹,后退居故里光州,直到奸臣死后,才被召还任翰林待制。泰定年间(1324~1327)确立皇太子,升祖常为典宝少监、太子左赞善。不久又兼翰林直学士,任礼部尚书。其祖母寿终,祖常辞官归家服丧。后起任右赞善,仍为礼部尚书。不久辞官回乡。

天历元年(1328),朝廷召祖常任燕王内尉,但仍入礼部任职,两次主持贡举考试,一次为读卷官,当时人们都认为他称职。升参议中书省事,参加制定亲郊礼仪充读册祝官,拜治书侍御史,后历任徽政副使、江南行台中丞。

元统元年(1333),召回朝参议新政,赐白金二百两、钞万贯。以后又历任同知徽政院事、御史中丞。帝念他有病,特诏令他免于朝拜礼。祖常在执法时,务必坚持原则。委任为枢密副使,不久就辞职归光州。以后任他为江南行台中丞,又调任陕西行台中丞,都因病未赴任。至元四年(1338)卒,年六十,赠摅忠宣宪协正功臣、河南行省右丞、上护军、魏郡公,谥“文贞”。

祖常在朝任官时间长久,多有建树。曾说:今蒙古族及诸部既学圣贤之书,当知尊敬父母以崇尚人伦。又说:将家子弟骄傲,有负国家重任,而庶民有能挽强弓者却老死于民间,应建立武学,实行武举考试,储备人才以备非常之用。这些意见虽未被当局者采纳,但有见识的人无不赞同。祖常的文章写得好,气势磅礴,言简意赅,无陈辞滥调,专以先秦两汉文章为榜样而又自成一家之言。尤善于写诗。其诗文无论大篇短章无有不可传读者。有文集行于世,曾参加修纂《英宗实录》,译有《皇图大训》、《承华事略》,编集有《列后金鉴》、《千秋记略》等书,进呈皇帝,受优厚赏赐。文宗在龙虎台时,祖常应诏写赋做诗,被皇帝赞赏不已,认为中原大儒只有马祖常一人。