江淹字文通,济陽考城人,父亲江康之,作过南沙县令,很有才气。江淹从小丧父,家境贫寒,常仰慕司马相如、梁鸿的为人,不屑于从事经学训诂,而倾心于诗赋文章。早年被高平檀超赏识,常请他坐上席,厚加礼遇。

初次作官为南徐州从事,又转任奉朝请。宋朝建平王刘景素爱结纳士人,江淹在南兖州跟随景素。广陵县令郭彦文被治罪,供词牵连到江淹,说他曾经受贿,江淹被下狱。他在狱中给刘景素上书申辩。景素见到书信,当天就把他放了出来。不久被举为南徐州秀才,在朝廷对策时列为上等,又改任建平王府主簿。

景素作荆州刺史,江淹跟随他到任所。宋少帝即位,不行德政,景素占据专断长江上游,很多人都劝他就此起事。江淹却每每劝止,景素不听他的劝告。等景素镇守京口,江淹作镇军参军,兼任南东海郡丞。景素与他的心腹谋划叛乱,江淹知道祸事要到,于是向景素赠诗十五首婉言劝戒。赶上东海太宗陆澄因父母丧守孝离职,江淹认为自己是郡丞理应代理太守,而景素任命了柳世隆,江淹一再要求这职位,景素大怒,上报吏部,贬江淹为建安吴兴县令。

等齐高帝萧道成辅政,听说他有才华,召他为尚书驾部郎、骠骑参军事。不久荆州刺史沈攸之作乱,齐高帝问江淹说:“天下这样乱纷纷的,先生认为会怎么样呢?”江淹回答说:“从前项羽强而刘邦弱,袁绍众而曹操寡,然而项羽最终受杀身之辱,袁绍结果成败亡之徒,这就是所谓‘在仁德不在权位’,明公有什么可疑虑的呢?”高帝说:“请试着给我分析一下。”江淹说:“明公英雄威重又有奇谋,是胜兆之一;宽容仁爱,是胜兆之二;贤臣肯为你尽力,是胜兆之三;众望所归,是胜兆之四;奉天子而伐叛逆,是胜兆之五。对方野心大而才具小,是败象之一;有威严无恩德,是败象之二;士卒人心涣散,是败象之三;官宦不归心,是败象之四;孤军出征千里之外,而没有同党相助,是败象之五。那么虽然他有十万大兵,也终究要被我们消灭。”高帝笑着说:“先生说的过头了。”

桂陽王刘休范之乱,朝内恐慌,诏书檄文很长时间竟无人来写。齐高帝引荐江淹入中书省,先赏赐酒饭,江淹平时能吃能喝,一只烤鹅快要吃光,酒也喝了好几升,吃饭的功夫,文告也写完了。齐高帝晋位宰相,补他为记室参军,齐高帝辞让九锡及各种章表,都出自江淹之手。齐受禅代宋,江淹又任骠骑将军豫章王萧嶷的记室参军。

建元二年(480),才设置史官,江淹和司徒左长史檀超共同担任这个职务,他所订立的条例,都被王俭驳回,写成的东西也没能在世上流行。江淹纵情于诗赋,对于著书立说并不在意,所撰写的十三篇史书居然没有次序。又兼东武县令,参与掌管诏令文书。后来拜中书侍郎,王俭曾对他说:“你三十五岁,已作了中书侍郎,有这样的才学,何愁作不到尚书三公。这正是所谓富贵你自然能取得,只是看寿限有多少了。”江淹说:“不料明公这样看重我。”

永明三年(485),江淹兼任尚书左丞。当时襄陽有人挖开古墓,挖出玉镜和竹简古书,字已经不认识了。王僧虔善于识别各种文字,却也看不明白,只是说像是蝌蚪文字。江淹以蝌蚪文字来推究,认为是周宣王以前的东西,而竹简几乎和新的一样。

齐少帝初年,江淹兼任御史中丞。齐明帝当时作丞相,对江淹说:“先生从前在尚书省,除了干公务从不轻举妄动,在任上可谓刚柔相济。如今作监察官,一定完全能够整顿百官啊。”江淹回答说:“如今的事,只能说在其位谋其政罢了,恐怕还不能尽如您的旨意。”后来弹劾中书令谢月出、司徒左长史王绩、护军长史庾弘远,都因为他们托病不参加祭先帝陵墓。又奏请逮捕前益州刺史刘悛、梁州刺史陰智伯,都是贪赃巨万,全抓捕交付廷尉。临海太守沈昭略、永嘉太守庾昙隆以及各郡太守和大县县长,多被弹劾,一时朝廷内外规矩多了。明帝对江淹说:“自宋代以来,再没有过严明的御史中丞,先生如今可算是近世独一无二的了。”

历任秘书监、侍中、卫尉卿。当初,江淹十三岁时,父丧家贫,常打柴养活母亲,曾在打柴处捡到一顶高官所戴的貂尾蝉羽冠,想把它卖了养母。他母亲说:“这是上天故意给你吉祥之兆,你这样的才干品行,怎么会长久贫贱呢,可留着等当了侍中自己戴吧。”到这会儿果然应了母亲的话。

永元年间,崔慧景起兵造反包围京都,官僚士绅都去送名片,江淹却称病不去。等平定了崔慧景,人们都佩服他有先见之明。

东昏侯末年,江淹以秘书监身份兼任卫尉,又作领军王莹的副手。梁武帝起兵伐东昏侯到新林时,江淹换便服前去投奔,任相国右长史之职。天监元年(502),任散骑常侍、左卫将军,封临沮县伯。江淹这时对子弟们说:“我本来就是无实权的闲官,并不图富贵,如今惭愧充任官职,已达到今天的地步。平生我常说的作人应该满足的事情,也都有了。人生随时都可行乐,何须非等到富贵之时。我已经功成名就,只打算归隐乡里了。”因有病澳任位高职闲的金紫光禄大夫,并改封醴陵伯,后去世。武帝为他穿白衣以示哀悼,谥为“宪”。

江淹年少时以文辞扬名,到晚年才气稍减,据他自己说是作宣城太守罢官回家时,曾停泊在禅灵寺附近的河洲边,夜里梦见一个人自称是张景陽,对他说:“从前把一匹锦寄放在你这儿,现在请还给我。”江淹就从怀里掏出几尺还给他,这人大怒说:“怎么能裁剩下这么一点儿!”回头看见丘迟说:“剩下这几尺既然没有什么用了,送给你吧。”从那以后江淹的文章就一蹶不振。又说曾在冶亭投宿,梦见一男子自称郭璞,对江淹说:“我有一枝笔在你这儿放了多年,请还给我。”江淹从怀里摸出一枝五彩笔递给了他。以后再写诗完全写不出好句子了。当世人说他已经才尽。他所有的著作,自己编为前后集,和《齐史》十志合在一起,一同在世上流行。曾打算写《赤县经》以补《山海经》的缺失,到底没能写成。