张行成别名德立,定州义丰人。年轻时把刘炫当作老师敬重,刘炫对门客说“:张行成仪态气质稳重正直,是将相人才。”隋炀帝大业末年,被举荐为秀才,任谒者台散从员外郎。后来任王世充的度支尚书。王世充失败后,张行成凭着隋朝的资历被委任为谷熟县尉。他家境贫寒,代替掌管计簿的官吏留在京城,参加朝廷殿试中乙科进士,改任陈仓县尉。

高祖李渊对吏部侍郎张锐说“:如今候选官吏中难道没有才干特别通达高深的?

我要重用他。”张锐介绍了张行成,调任富平县主簿,获得有才的名声。召回朝廷任殿中侍御史,揭发弹劾官吏的过失刚直不屈。太宗李世民认为他有才干,对房玄龄说“:从古到今使用人才不曾不靠别人介绍,像张行成,我自己推荐他,不必事先介绍。”

有一次陪同太宗宴饮,太宗谈论山东人和关中人,言语之间对他们各有褒贬。张行成说“:国君把天下当作自己的家庭,不应在东边西边之间划分界线,您今天是向天下臣民表明了心胸狭窄。”太宗说好,赐给他名马一匹、钱十万、衣服一套。从此有了重大政务,让他参与商议。连续升任为给事中。太宗有一次对朝臣们讲“:我当国君,兼做将相的工作,岂不是抢了您诸位的声誉?虞舜、夏禹、商汤、周武王得到了后稷、殷契、伊尹、吕尚就四海稳定,汉高祖有了萧何、曹参、韩信、彭越就天下太平,我是帝王将相的事都包下来了。”张行成退朝,呈递奏疏说“:隋朝无道,天下群情激愤,陛下治理乱世恢复安定,把百姓从苦难之中拯救出来,哪里是周朝、汉朝的君主臣子能相提并论的。虽是这样,但大德含而不露,气概广大开阔。陛下身边的文武官员实在是没有将相的才能,哪里用得着在广庭大众之中跟他们比较高低,损害大国君主的尊严,和臣子争功劳呢?”太宗赞许采纳了他的意见。张行成改任刑部侍郎、太子少詹事。

太宗亲征高丽时,太子驻守定州代为处理国政,对张行成说:“我这是护送您衣锦还乡啊!”命令主管官吏到他祖先的墓地上祭奠。张行成向太子介绍了学识品行闻名的同乡魏唐卿、崔宝权、马龙驹、张君吉力,太子召见了他们,因为他们年事已高,不能担任公务,给予了丰厚的赏赐后让他们走了。太子派张行成到太宗的行营拜望,太宗见了高兴得不得了,赏赐慰劳特别优厚。回来之后任河南巡察大使,符合太宗旨意,升为检校尚书左丞。这年,太宗巡视灵州,诏令皇太子陪同。张行成劝谏说“:皇太子应该留守京城代为处理朝政,督率百官每天决断各种政务,既把京城看得重要,还向天下显示大德。”太宗认为这是忠言。张行成升任侍中、兼任刑部尚书。

高宗李治登上帝位,封张行成为北平县公,主持编撰本朝历史。当时晋州地震不停,高宗询问这事的征兆,张行成回答说:“天,是阳,君主的象征;地,是阴,臣子的象征。君主应当像天体一样运行,臣子应当像大地一样静止。现在应当静止的反而运动,恐怕有人通过宫廷宠信的女子请求嘱托来左右朝政,大臣秘密图谋不轨。还有各亲王、公主参见侍候问安,有人会窥测可乘之机,应当明确设置防范措施。再说晋州,是陛下原来的封地,应当不让空着发生变故,希望深思熟虑,在还没有出现苗头之前就进行杜绝。”高宗认为是这样,诏令五品以上官员尽情评论朝政得失。不久授予他尚书左仆射、太子少傅官衔。永徽四年(653),从三月到五月一直不下雨,张行成害怕了,以年老为理由请求退休,高宗行文答复说:“古人上书要求免官,违背自责的本意。这是由于我德行太少,不是您的罪过。”还赐给他宫女、黄金器物,叫他不要再提辞职的话。张行成坚决请求退休,高宗说:“您是我的老臣,怎么能撇下我就走呢?”泪水直流。张行成惊慌恐惧,不得已又主持政务。没有多久,死在尚书省的官署里,享年六十七岁。高宗诏令九品以上官员登门哀悼。

入殓时,三次派遣使者赏赐宫中衣服,宫中女官尚宫守在他家里督理丧事。追认为开府仪同三司、并州都督,用一只羊的少牢规格举行祭奠,谥号为“定”。弘道元年(683),朝廷诏令在高宗祠庙里设置张行成的灵位享受祭祀。

他有两个同族侄儿:张易之、张昌宗。