山云,徐人。父亲山青,以一名百户长随从成祖起兵,积功升到都督佥事。山云相貌魁梧,富有机智谋略。最初承袭金吾左卫指挥使。多次随从皇上出塞,有功。当时有幼军二十五所,隶属于府军前卫,掌管该卫的人不管事,便另命山云和李玉等五人安抚他们。仁宗即位后,他升为行在中军都督佥事。

宣德元年(1426),他调到北京行都督府,受命与都御史王彰从山海关到居庸关,巡视沿途关隘,可以相机行事。皇上出征乐安,把山云召回,辅助郑王、襄王居守京师。

第二年,柳州、庆远蛮人韦朝烈等人抢掠临桂等县。当时镇远侯顾兴祖因不救丘温被逮捕,公侯大臣举荐山云。皇上也知道山云。三年(1428)正月,山云佩征蛮将军印,充任总兵官前往镇守。山云到后,讨伐韦朝烈,将其击败。贼人退保山顶。山很险峻,他们用藤把木头吊起来,并在上面垒起石头,官军一到,他们便砍断藤条,推下木头石块,没有人敢靠近。山云在半夜把火把捆在牛羊的角上,在它们后面敲金打鼓,把它们驱向贼人。贼人以为官军来了,急忙断藤。到天明时,木头石块都快用尽了,官军呼喊登山,遂攻破了贼人。南安、广源各蛮都被攻下。这年夏,忻城蛮人谭团作乱,山云去讨伐,擒获了谭团。四年春,讨平柳州、氵寻州各蛮人。这年秋,雒容县蛮人出来抢掠,山云派指挥王纶将其击破。山云上奏王纶的功劳,并弹劾他杀害良民之罪。皇上宽宥了王纶,而心中更器重山云。广西自从韩观死后,各地蛮人逐渐凶残起来。山云因广西兵少,便留贵州兵为用,先后讨平了氵寻州、柳州、平乐、桂林、宜山、思恩等地蛮人。九年,他又因庆远、郁林的苗人除非受到重创,否则不臣服,便请求增派部队。诏令调发广东兵一千五百人给山云。山云分道剿捕,擒获和斩杀了很多人。他又派指挥田真攻打大藤峡贼人,将其击破。

山云在其镇守期间,先后进行大战十余次,斩首一万二千二百六十,降服贼首三百七十名,夺回被掠去的男女二千五百八十人,构筑城堡十三处,铺舍五百间,烧砖凿石,增高加厚。从此瑶人和壮人敛迹不出,百姓安居。论功,山云升为都督同知,并得玺书褒奖慰劳。

山云有勇有谋,沉着冷静,而品行端正廉洁,赏罚公正,号令严明,与士兵同甘共苦。随机应变,战无不胜。广西镇守将领初到,按惯例土官都要来馈赠和贡献财物。将领如果收下了,就会被他们挟持。山云初到时,听说府吏郑牢刚直,便召他来问,说“:他们的馈赠可以接受吗?”郑牢说:“干净的衣服穿在身上,一旦被污染就洗不掉。将军就如新的干净衣服。”山云说:“如果不收下,他们会生疑,怎么办?”郑牢说:“接受贿赂,依法当死。将军不怕天子之法,反倒怕当地蛮夷吗?”山云说“:说得好。”于是把所有馈赠全部辞掉,从严统治他们。因此土官都敬服,对于朝廷的调遣征发,没有人敢落后。山云所到之处,询问乡里父老,安抚善良,审查受到诬陷冤枉之人,土人都很爱戴他。

英宗即位后,山云从马上摔下来,大腿受伤。皇上派医生坐驿车赶来探视。山云以病请求派人取代他,皇上下诏不允许。进升为右都督。正统二年(1437),他上书说:“氵寻州与大藤峡山岭交错,这里瑶寇出没,占耕附近田地。左右两江的土官,所属地区人多田小,他们的狼兵素来勇猛,为贼人所害怕。如果酌量调发一些田州土兵到氵寻州和大藤峡附近山区屯田,让他们分界边耕边守,阻断贼人出入之路,这样不出数年,贼人一定坐困。”回报说可。其后东南地区一有急警,常调用狼兵,此举即从这时开始。第二年冬,山云在驻镇之地去世。赠怀远伯,谥忠毅。长子俊,承袭府军前卫指挥使。广西人对山云怀念不已,立祀塑像来祭祀他。

当初,韩观镇守广西,专用杀戮。庆远府的生员来迎接他,韩观说:“这些都是贼人派人侦察我的。”把他们全杀了。山云平和宽恕。参佐官有罪,他总是向上汇报,不妄自杀人,而人们也不敢违犯。郑牢曾在韩观手下任逮人之职。韩观喝醉了酒,常常杀人,郑牢总是把那些人留下来,等韩观醒后再向他汇报。郑牢为士大夫所重,但他到死仍只是一名属吏。