乐蔼字蔚远,南陽氵育陽人。晋朝尚书令乐广的六世孙,世代居住在江陵。他的舅父雍州刺史宗悫,曾经陈列器物,在各个外甥侄子中作试验。乐蔼当时尚年幼,而所拿的只有书,宗悫由此而惊异。宗悫又取史传各一卷交给乐蔼等人,让他们读完谈所记得的。乐蔼粗略读完,一一列举,宗悫更加赞许他。

宋朝建平王景素任荆州刺史时,征召乐蔼为主簿。景素任南徐州刺史时,又征召乐蔼为征北刑狱参军,升迁龙陽相。因为父亲去世而离职,官吏百姓都到州里去请他,葬礼完毕便起身。当时齐朝豫章王嶷任武陵太守,平素赞扬乐蔼的治理,等到嶷任荆州刺史时,委任乐蔼为骠骑行参军,兼任州主簿,参加主持一州事务。嶷曾经向乐蔼问及风土习俗、城壕、城墙、山脉河流险易之地,乐蔼随问随答,就像按照图册上来讲的,嶷更加器重他。州人嫉妒乐蔼,有人进谗言说乐蔼官署门庭若市,嶷派人窥视,只见乐蔼闭门读书。嶷回到京都,封乐蔼为太尉刑狱参军,主管书记,后升迁枝江县令。后又内调大司马中兵参军,转署记室。

齐永明八年(490),荆州刺史、巴东王子响举兵谋反,不久被打败,焚烧房屋,官署文书,一时间荡然无存。武帝引见乐蔼,向他问及西部之事,乐蔼答对完备迅速,武帝非常高兴。任用乐蔼为荆州治中,下令托付他整治恢复府州事务。乐蔼回到荆州,整治修理数百个地方的官署,不久全部修好,而不用百姓服劳役。荆州人认为从晋朝王忱迁镇荆州以来,从不曾有过这样的事。

永明九年(491),豫章王嶷去世,乐蔼解去官职奔丧,领着荆、湘二州的一帮旧臣,在嶷的墓前建碑立传。乐蔼多次迁任车骑平西录事参军、步兵校尉,要求帮助戍守西边而回到荆州。

南康王任西中郎时,任用乐蔼为咨议参军。义师举事,萧颖胄召来乐蔼及宗..、刘坦,让他们帮助策划。梁朝建立,迁任镇军司马、中书侍郎、尚书左丞。当时营造兵器盔甲、船舰军粮,到制定朝廷法令、法度,都凭借乐蔼。不久迁任给事黄门侍郎,左丞如同从前。和帝东下,跟随和帝一道兼任卫尉卿。

天监初(502),升迁骁骑将军,兼任少府卿;不久迁任御史中丞,兼任本州大中正。起初,乐蔼从江陵出发,无故在船上得到八根车辐条,就像御史中丞前行时为他避开道边行人的人,到现在果然升迁。乐蔼性格公正好强,任御史中丞很称职。当时长沙宣武王将要安葬,而车府忽然在库失去油络,准备推出主事的人。乐蔼说:“从前晋朝武府失火,张华认为是积油万石的结果。现车府如果有灰尘的话,便不是官吏的过失。”马上去察看,果然有积灰,当时人称乐蔼心胸广博、十分宽宥。

天监二年(503),出任持节称号,督广、交、越三州诸军,冠军将军、平越中郎将、广州刺史。前刺史徐元瑜卸任返回时,路上遭遇始兴人士谋反,驱逐始兴内史崔睦舒,乘机掠夺了徐元瑜的财产。徐元瑜逃回广州,向乐蔼借兵,假托想讨伐贼匪,而实际上是谋划袭击乐蔼。乐蔼发觉了徐元瑜的计谋,杀掉了徐元瑜。不久进号征虏将军,在这个官位上直到死去。