张升字伯高,祖先定州人,后来迁徙到平州。升幼年时机警聪敏超过一般人。长大努力学习,擅长文辞。至元二十九年(1292)授将仕郎、翰林国史院编修官,参预修纂《世祖实录》,升应奉翰林文字,不久升修撰、太常博士。成宗驾崩,大臣议论徽号,合祭宗庙,升说:“从前规定凡在宗庙有祭祀,一定要写嗣皇帝的名字,现在写什么?”议论才终止。

武宗即位,亲自祭祀礼节时,升据经引古,参酌时宜回答,受到帝的称赞,并采纳了他的意见。至大初,改太常寺为太常礼仪院,升为判官。以后,调任汝宁知府。有一百姓告发,有一捆书信寄放在他家中,时隔三年取出一看,内有禁书一编,记有他本乡大家姓名,升要属吏快把这书烧毁,并说:“胡话诬陷民众,暂且免罪不说。”同级的官吏很害怕,朝廷知道后,认为升放走了违法作乱的人,派人了解情况,却始终查不出什么来,于是斥责他擅自焚书,升说:“这事情好像是违法作乱,但我为郡守,是父母官,现在斥责诬告,免去冤狱,即使判我重罪也不躲避。”于是夺他两个月的俸禄。后来任江西行省左右司郎中,升绍兴路总管。

在大德、至大年间,江浙遭重灾,流行瘟疫,百姓死亡几乎过半,赋税盐税责令里胥代纳。升将此地情形如实报告行省,予以豁免。后历任湖北道廉访使、江南行台治书侍御史。召为参议中书省事,又改枢密院判官,不久又恢复中书参议。

至治二年(1322)出任河东道廉访使,还未启程,又任命治书侍御史。第二年,任淮西道廉访使。泰定二年(1325)任陕西行省参知政事,加中奉大夫,不久升辽东道廉访使。永平大水,民众多困厄,升请求发海道粮十八万石、钞五万缗,赈救灾民,减免这年的赋税,得到朝廷同意,很多民众得以活命。第二年,任侍御史。

天历初,出任山东道廉访使,当时有警报,当地官府请求加固城池来防备,升说“:百姓依靠我们而生,加固城池,兴师动众,这是抛弃百姓。”过了一年,任太禧院副使,并兼奉赞神殿的事务,授职河南省左丞,又升淮西道廉访使。这时升已年六十九,上书辞官退隐。至顺二年(1331)又起用为集贤侍讲学士,受到文宗关怀。

元统元年(1333)顺帝即位,召集五六十岁老臣,询问治国之道,升条陈应该先做的十件事。不久兼经筵官,考试进士,命升读卷,事后,升请求探望祖先的坟墓。帝赐金织花纹袍子,使他荣耀还乡。第二年,以奎章阁大学士、资善大夫、知经筵事召回,赐好酒一尊,催促就职,升以病辞职,帝看不可勉强,才同意。不久命本郡每月给原俸禄的一半。至正元年(1341)卒,享年八十一岁。赠资德大夫、河南等处行中书省左丞,谥号文宪。