公元444年，江淹出生于宋州济阳考城（今河南省商丘市民权县程庄镇），故里位于今民权县程庄镇。祖父江耽。父亲江康之，南沙令，雅有才思。江淹少时孤贫好学，六岁能诗，十三岁丧父，家境贫寒，曾采薪养母。二十岁左右教宋始安王刘子真读五经，并一度在新安王刘子鸾幕下任职，开始了他的政治生涯。

江淹在仕途上早年不甚得志。泰始二年（466年），江淹转入建平王刘景素幕。江淹受广陵令郭彦文案牵连，被诬受贿入狱，在狱中上书陈情获释。刘景素密谋叛乱，江淹曾多次谏劝，刘景素不纳，贬江淹为建安吴兴县令。江淹的许多代表作品都写于被贬期间。宋顺帝升明元年（477年），齐高帝萧道成执政，把江淹自吴兴召回，并任为尚书驾部郎、骠骑参军事，大受重用。

寻举南徐州秀才，对策上第，转巴陵王国左常侍。景素为荆州，淹从之镇。少帝即位，多失德。景素专据上流，咸劝因此举事。淹每从容谏曰：“流言纳祸，二叔所以同亡；抵局衔怨，七国于焉俱毙。殿下不求宗庙之安，而信左右之计，则复见麋鹿霜露栖于姑苏之台矣。”景素不纳。及镇京口，淹又为镇军参军事，领南东海郡丞。景素与腹心日夜谋议，淹知祸机将发，乃赠诗十五首以讽焉。

会南东海太守陆澄丁艰，淹自谓郡丞应行郡事，景素用司马柳世隆。淹固求之，景素大怒，言于选部，黜为建安吴兴令。淹在县三年。升明初，齐帝辅政，闻其才，召为尚书驾部郎、骠骑参军事。俄而荆州刺史沈攸之作乱，高帝谓淹曰：“天下纷纷若是，君谓何如？”淹对曰：“昔项强而刘弱，袁众而曹寡，羽号令诸侯，卒受一剑之辱，绍跨蹑四州，终为奔北之虏。此谓‘在德不在鼎’。公何疑哉？”帝曰：“闻此言者多矣，试为虑之。”淹曰：“公雄武有奇略，一胜也；宽容而仁恕，二胜也；贤能毕力，三胜也；民望所归，四胜也；奉天子而伐叛逆，五胜也。彼志锐而器小，一败也；有威而无恩，二败也；士卒解体，三败也；搢绅不怀，四败也；悬兵数千里，而无同恶相济，五败也。故虽豺狼十万，而终为我获焉。”帝笑曰：“君谈过矣。”是时军书表记，皆使淹具草。相国建，补记室参军事。建元初，又为骠骑豫章王记室，带东武令，参掌诏册，并典国史。寻迁中书侍郎。永明初，迁骁骑将军，掌国史。出为建武将军、庐陵内史。视事三年，还为骁骑将军，兼尚书左丞，寻复以本官领国子博士。少帝初，以本官兼御史中丞。

宋顺帝升明初年，萧道成（后为齐高帝）辅政时，荆州刺史沈攸之忠于宋，举兵反对萧道成。萧道成询问江淹，江淹向他陈说萧道成必胜而沈攸之必败的五条原因。第二年沈攸之果然战败自杀身亡，江淹也因此而甚得齐高帝赏识。齐东昏侯永元年间，崔慧景造反，率叛军围困京城建康，城内士族官僚纷纷投身于叛军门下，只有江淹称病不往。崔慧景很快兵败，众皆服江淹有远见。后来萧衍带兵至新林（今江苏省南京市西南），士族官僚对他并没有看好，人人安之若素，而江淹却脱去官服，投奔萧衍。后萧衍称帝，江淹得到重用。

江淹为官清正，不避权贵，直言敢谏。宋后废帝刘昱即位“多失德”，刘景素又偏听偏信左右之言，政局岌岌可危。江淹从容直谏，刘景素怒而不纳，江淹赠诗十五首以讽谏。江淹任御史中丞时，弹劾中书令谢朏、司徒左长史王缋、护军长史庾仲远。也曾奏前益州刺史刘悛、梁州刺史阴智伯有脏物宝货成千上万，并拘捕了他们，交朝廷治罪。其他被检劾论治的违法官员更是不胜枚举。齐明帝曾当面称赞江淹：“从宋代以来，不曾有严明的御史中丞，君今天可说近代独一无二了。”

萧道成代宋自立，江淹被任为骠骑豫章王记萧嶷室带东武令，迁中书侍郎，齐武帝永明间，任庐陵内史、尚书左丞、国子博士诸职。少帝萧昭业即位，江淹任御史中丞。明帝萧鸾时，又任宣城太守、秘书监诸职。

梁武帝萧衍代齐后，江淹官至金紫光禄大夫，封醴陵侯。梁天监四年（505年），江淹去世，时年六十二。葬在故里江集村东北约六公里处（今民权县李堂乡岳庄村西），梁武帝为他素服举哀，谥曰宪伯。 《梁书》、《南史》有传。