张绪字思曼,是张岱哥哥的儿子。父亲张演,是宋朝的太子中舍人。张绪少年知名,清简寡欲,他的堂伯张敷和叔父张镜、堂叔张畅都认为他很高贵奇异。张镜把他比作乐广,张敷称“与我们是同一类人”。张畅向孝武帝推荐,任用他做尚书仓部郎。都令史让他详细介绍一下郡县储米的情况,张绪肃然直视,对这些很不在意。宋明帝每次见到张绪,就赞叹他的清淡。

调转为太子中庶子、本州大中正,升为司徒左长史。吏部尚书袁粲告诉皇帝说:“臣看张绪有正始遗风,应该担任宫中职务。”又转为中庶子。后来做了侍中,调任吏部郎,参与掌管大选。元徽初年,东宫官员罢免,选曹打算让舍人王俭为格外记室。张绪认为王俭人才地位都很美,应该转为秘书丞。依从了他。张绪又调任侍中,曾经私下对客人说:“我一生不懂得惟诺应承。”有人把这话告诉给了袁粲、褚彦回,由此把他调出京城去做吴郡太守,而张绪起初并不知道。

升明二年(478)从祠部尚书转为齐高帝太傅长史。建元元年(479)担任中书令。张绪善于谈玄,很被人敬重并觉得惊异。仆射王俭曾说:“张绪在过江南渡的人物中没有能比的,在北方的士人中可以寻求。不知道汉代的陈仲弓、黄叔度是否能超过他?”

皇帝驾临庄严寺听僧达道人讲《维摩》经,因为坐得太远听不到张绪说话,皇上不便让张绪移动,便让僧达道人迁移地点,以便接近他。当时皇帝想任用张绪为右仆射,问王俭的意见。王俭说:“张绪少年时候就有美好的声望,确是很好的人选。南方士人向来很少担任这一职务。”褚彦回说:“王俭的少年时代可能记不起来了,江东任用的陆玩、顾和,都是南方人。”王俭说:“晋朝政治衰落,不可作为楷模。”先前张绪的几个儿子都是轻侠,中间的儿子张充少年时又不拘小节,王俭又一次进言,便放下了。

后来成立了国学,让张绪担任太常卿,兼国子祭酒;让王延之代替张绪为中书令。何点赞叹说:“晋朝以子敬、季延担任此职,现在以王延之、张绪担当,可以说是清雅官职。以后接替的人,实在是不容易。”张绪长于《周易》,语言精辟,道理深奥,一时间被奉为宗法。他常常说:“何平叔不懂《易》中的七个问题。”

武帝即位,转任吏部尚书,祭酒职务依旧。永明二年(484),兼任南郡王师,加官给事中。三年,转为太子詹事,王师、给事中职务依旧。张绪每次朝见,武帝目送着他,对王俭说:“张绪因为地位尊崇我,我因为道德珍视张绪。”调任散骑常侍、金紫光禄大夫,王师职依旧,配给亲信二十人。又兼任中正。长沙王萧晃嘱托选用吴郡人闻人邕为州议曹,张绪因为他资格不当,坚持不答应。萧晃写信给张绪坚持请求,张绪严肃地对萧晃的送信人说:“这是我身家所在的州乡,殿下怎能强逼?”才算罢了。

张绪谈吐风流,听的人都忘记了饥饿和疲劳,见到的人态度肃然如同置身于宗庙。即使终日和他住在一起,也无法测度他。刘悛任职于益州,给武帝献了几棵蜀地的柳树,枝条很长,形状像是丝缕。当时旧宫芳林苑刚刚建成,武帝把它们种在太昌灵和殿前,常常玩赏嗟叹,说:“这些杨柳风流可爱,很像张绪当年的样子。”他就是如此地受到赏爱。王俭担任尚书令、丹陽尹,当时各位令史前来拜访,有一个令史善于俯仰,举止美观。王俭对他十分欣赏和惊异,问他说:“曾经和谁共过事?”回答说:“十多岁时在张令门下。”王俭一直目送着他。当时尹丞殷存至在座,说:“这是康成的弟子。”

永明七年(489),竟陵王萧子良兼任国子祭酒,武帝给王晏下诏说:“我想让司徒辞去祭酒把它授给张绪,众人的议论以为怎样?”萧子良终于没有上任,以张绪兼任国子祭酒。

张绪口不言利,有财物就分散掉。端坐清谈,有时一整天也不吃饭。仆人们见张绪饿了,就为他备饭,然而他自己却没有要求过。

死了以后,没有房宅殡殓,他遗嘱“丧事不设柳謔做棺饰,只用芦葭。丧车拉着灵柩,灵柩上放上一杯水和香火,不设祭品”。堂弟张融很尊敬张绪,侍奉他像亲兄长一样。抱着酒在张绪的灵前酌饮痛哭说:“阿兄风流忽然终止。”追赠为散骑常侍、特进、光禄大夫,谥号简子。