山伟,字仲才,河南洛阳人。他的祖先居住代地。祖父山强,仪表丰伟,身长八尺五寸,善于骑马射箭,可拉开五石大弓。任奏事中散。曾跟随献文帝到方山打猎,有两只狐狸在皇帝的面前奔跑,献文帝命他射杀,一百步内,两只狐狸都被射获,被任命为内行长。山伟的父亲山幼之,任金明太守。

  山伟广泛涉猎文学史书。孝明帝初年,元匡任御史中尉,任命他为兼侍御史。到御史台上任才五天,便遇上孝明帝元旦朝会群臣。他负责神武门的监察,他妻子的从叔任羽林队主,在殿门前鞭打直长,他立即奏报。元匡很是称赞他,不久即奏请朝廷,任他为正侍御史,又由国子助教升任为员外郎、廷尉评。

  这时,天下太平无事,在仕途上升迁非常困难。由代地迁至洛阳的人,大多不被起用。到六镇、陇西两个地方叛乱时,领军元叉想任用代地出身寒微的人为传诏,以安慰他们。仅州郡牧守的子孙们来投递个人情状,要求任职的就有一百多人。元叉因而奏请建立勋附队,准备按照他们各自的资历给予职务。从此,北边来的人全部被录用。山伟便将这件事奏报,赞扬元叉的美德。元叉从来不认识山伟,向侍中安丰王元廷明、黄门郎元顺询问,元顺等人因此称颂和推荐他。元叉让仆射元钦推荐山伟兼任尚书二千石郎。以后又正名为士郎,参与纂修皇帝的起居注。仆射元顺负责选拔官吏,又上表推荐山伟任谏议大夫。

  ..朱荣在河阴杀害朝臣,山伟正巧在朝廷值班,所以得以免除杀身之祸。孝庄帝即位入宫,任命他为给事黄门侍郎。早先,他与仪曹郎袁升、屯田郎李廷考、外兵郎李奂、三公郎王廷业四人骑着马并排而行,山伟在他们的后面。路上遇到一个尼姑,看见他们四人叹息说:“你们机缘相同,会在同一天死去。”又对山伟说“:你正接近天子,可以做一个好官。”袁升等四个人都在河阴被..朱荣杀害,果然应了尼姑的话。

  不久任著作郎,节闵帝即皇帝位,任他为秘书监,仍任著作郎。开初,..朱兆领兵进入洛阳,官吏们四处逃散。国史典书高法显秘密埋藏史书经典,所以图书没有损失。山伟自认为有功,向朝廷诉说请求封赏。他依附..朱世隆,被封为东阿县伯,而高法显只获得男的爵位,山伟不久又晋升为侍中。东魏孝静帝初年,他任卫大将军、中书令,负责监修起居注。后来,又以本官领任著作一事。死在位上,追赠为骠骑大将军、开府仪同三司、都督、幽州刺史,谥号为文贞公。

  国史自从邓彦海、崔深、崔浩、高允、李彪、崔光以来,很多人相继记录撰写。綦俊和山伟等人趋奉上党王元天穆和..朱世隆,认为国书应该由代地人修撰,不应该委任其他人,所以綦俊、山伟等人代替南边的人主持这部重要著作的修撰。他们只是守持旧制,并没有著述。所以,自从崔鸿死后,到山伟已有二十多年,时事荡然失落,已是万不记一。后人再执笔补写,却没有史料作依据。这段历史的缺漏,是由山伟造成的。

  他外表深沉厚重,而内心实则矫饰竞奋。与綦俊从小就很投合,晚年为了名位,两人较长竞短,形同水火。他与宇文忠之一类代地人结成党羽,当时的贤士对他们既畏惧又厌恶。他酷好文学历史,越老兴致越高。他的弟弟从小死去,他就抚养寡居的弟媳,训教失去父亲的侄儿,养育他们母子二十多年,恩义十分深厚。他不经营家产,去世之后,家人卖掉房产安葬他,妻子儿女不免飘泊无依,朋友们都感叹和可怜他们。