国霖幼时随父学习，江国霖从小便受到良好家庭的教育，幼时在其父开的塾馆中学习。他聪颖嗜学，攻读刻苦，英敏强记，出语尺人。三岁读<三字经>，<唐诗三百首>，四岁学写文章，15岁便被录入县学为诸生（秀才），16岁补博士弟子。知府孙益廷对其颇为钟爱，推荐到绥定府学深造，奖给助学补贴。江国霖学习勤奋，鸡窗攻读，刻苦攻读，风雨无间，曾题联自勉曰：“奋起精神，读落满天星斗；养成羽翼，冲破万里云烟。”可见他从小便有凌云之志。
道光十一年(1831)，国霖乡试中举，十八年，取为进士。殿试一甲第三(即任翰林院编修。次年，任广西主考。时大溶病殁，国霖奔丧回家，守制于童家禹王宫内。建"听风楼"书房，博览古今古典籍，间或步至田间，询部民间疾苦。三年服满。出任须天乡试同考宫，继为江南主考，国史馆协修，庶吉士教习和湖北学政。从政之余，潜心研读典籍，贯穿诸子百家，羡纂注成书。士民争购，一时轰动京城。
道光二十八年（1848）春，江国霖出任惠州知府。到任伊始，立即清理积案，亲审讼词，及时快断。未逾半年，署中案牍一空。他闲时还微服出访，了解百姓疾苦，调查匪情盗情，及时施治。惠州地处东江下游，水患频繁，十年九涝，道光二十八年八月大水复又为灾，沿江数县一片汪洋。江国霖紧急动员抢险救灾，命令部属全力以赴，自出俸银，倡捐巨金，并亲到灾区慰问疾苦，广施钱粮，设站施粥普救灾民。公务之余，则考惠州历史古迹、修山川名胜、浚治台池、广植桃李等。对于江国霖守惠最大功绩，则是修筑惠州城垣，保一郡平安。
惠州城俗称鹅城，是一座具有1000多年历史的文化名城。府城城池建设，宋以前无考。入宋后有城但甚窄小，东北临江，西南止于今步行街国庆路与五四路之间，濒临西湖。明洪武三年（1370），知府万迪与守御千户朱永率军民开始扩城，到洪武二十二年竣工，自此奠定了明、清两朝数百年惠州府城的规模和格局。据方志记载：明城扩建后设置七门：东曰惠阳门、西曰西湖门、南曰横冈门、北曰朝京门、今小东门曰合江门、今小西门曰东升门，今水门曰会源门。城内以水门至小西门为中线分为两部分，东北为民城给百姓居住，西南为军城给惠州卫驻军。此后在景泰二年（1451），嘉靖二十年（1541）、三十五年、三十八年和崇祯十三年（1640）进行了五次重修，惠州城墙得以增高、加厚。
入清后至道光年间，由于城垣年久失修，倾倒十余处，瓦砾充塞其间，致使惠州城无险可守。江国霖之前的几任太守曾谋划重修，都因工程浩大，难以筹措资金而作罢。为此，江国霖上任后设法集郡中十属绅富捐修，此举得到郡中十属绅富的大力支持和踊跃捐助，最后共得缗钱十余万，后遂择日开工。修城开工后，江国霖亲自来往巡视，监督进度和检查质量，寒风酷日未尝间断。历二载，惠州城垣修筑一新。新城垣周围一千三百六十丈（俗称“七里三”），高二丈二尺，城基宽二丈；筑瓮城五座，高、厚与主城同；筑城雉堞1614个，每堞广6尺，厚1尺5寸；筑城楼7座，各高3丈4尺，广三楹，可容四、五百人；筑炮台28座，选择地势扼要而置。
新城共开七门，分别为平湖门（原大西门）、朝京门（俗称北门），环山门（俗称小西门）、遵海门（俗称南门），惠阳门（俗称大东门）、合江门（俗称小东门）、会源门（俗称水门），江国霖亲为各个城门题额。他又为座落于西湖与鹅湖（今明月湾东南与步行街五四路口）之间为城内供水的碧水关题额，曰“廉让之间”。“廉让之间”典出南北朝刘宋明帝与范百年的一则对话：“宋梁州范百年因事谒明帝，帝言次及广州贪泉，因问之曰：‘卿州复有此水否？’百年答曰：‘梁州唯有文川武乡，廉泉让水。’又问：‘卿宅何处？’曰：‘臣居廉让之间。’上称善。后除梁州刺史。”（据宋·刘敞所撰的《南北朝杂录》）此后“廉泉让水”和“臣居廉让之间”两句，被用作历代为官清廉的代名词，也是江国霖为官倡导廉政、勤政的实例。
道光二十九年，出任雷兵备道。距城十里，有海口镇。过去商船云集，市场繁华，后因西洋海盗数次来动，官兵畏而不出，贼焰益张，以致商旅裹足，百业萧条。国霖到任后，立即巡视海岸，增筑炮台，征募船只，并在水军中破格提拔优秀士兵黄开广，吴全美等多人。委以重任。派遣出海巡。先后捕获西洋海匪100余人，海患遂平。自是琼海数千里，商船往来，繁荣如旧。
儋州，历来黎汉杂居。咸丰元年(1851)，土客籍失和，纷争迅速扩大，危及省城，官吏惊惶不安。国霖受命弹压，挥兵进至那达墟。自思黎人此举，全系受人蒙骗。，只适当用兵，不就更多流血。乃不听从人劝阻，毅然乘轿独往黎寨，面见头人，陈说利害。黎人深受感动，遂负荆请罪，表示和睦相处，誓不相残。国霖更给布匹酒食，予以抚慰，并拨款修理房舍，安置流亡，医治战争创伤。儋州遂宁。
国霖治琼，奖励耕织，警戒游惰。提倡亲友睦邻，化息讼争。兴办学校舍以明礼，育人才。亲到琼台书院讲学，并筹款三千元设奖鼓励勤奋师生。琼州好学之风日盛。
三年，以政缚卓著，被推荐为广东按察使，旋升广东布政使。国霖夙夜匪懈，案头公文，日有数尺，皆一一过目，细心审阅。广东盐务，历来弊不少，以至课税难收。究其原因，多系官府自身不廉所致。国霖认为"官无私而后能缉私，先恤商而后能治商"。乃断然废除原附在盐价上衙门杂费。接着，又严格缉私，肃贪倡廉。盐政得以整顿。国霖常说："患在内，不在外"，要求下属令必果行，严禁推诿拖拉。
奋起抗英咸丰四年（1854），广州、东莞、惠州等地乱民暴动，地方官府无力镇压，致使惠属之博罗、河源及近郡之东莞、增城、花县、龙门、从化等县相继城陷，外地难民从四面八方纷纷涌入惠州城避乱。是年闰七月，翟火姑率数万之众围攻惠州城。由于江国霖主持修筑的惠州府城垣规格高、质量好，充分利用了四面环水的地理优势，在军事方面有很高防御能力。翟火姑攻城数月，官民得以固守，有效地保护了全城民众生命财产，全赖江国霖修筑城垣之力。故民间有：“铁链锁孤舟，白鹅水面游。任凭天下乱，此地永无忧。”的谣谚。
咸丰六年冬，英国军队窜到佛山骚乱。次年十一月入侵省城;动走制府。国霖极为愤慨，遂召集官吏，商讨对策;清理内奸，储备资粮，整理乡团武装，准备随时迎击英军再次来犯。
咸丰八年（1858），江国霖再擢升为广东巡抚，他更是勤政爱民，事必躬亲，严厉整顿吏治，因而得罪了不少官僚和贪官。他们买通朝廷权贵，对江国霖进行诬陷，不久江国霖即被弹劾落职，移驻惠州。惠州父老闻江国霖至，狂走相告。据《大竹县志》记载，当时“老者扶杖迎道左，妇女儿童嬉嬉倚茅檐，窃窥大人颜色；户户张彩焚香，爆竹声响彻十里”。江国霖进入行馆后，郡民敬送的槟榔、椰粟等物品充盈户外，感恩问候者踵接肩摩而至。郡民这样盛情迎接一位卸任官员，在惠州历史上仅此一次。江国霖寓惠数月后返回家乡，不久病逝，年仅50岁。
国霖身体魁梧，内严外谦，生活俭朴，在粤做官司十年，未置田产，薪俸多接济别人。咸丰年间，录取秀贡，朝廷有捐银增额规定。国霖不忘桑梓，曾为家乡捐薪俸万两，使大竹每年得以多取秀才一名。一生所著诗极多，经精先留存编有《梦溪斋诗集》，《随月山房文集》等收若干卷。观察林氏称其诗"清新隽逸，洗净铅华，足为性情淡雅，具有仙骨"。遭权贵弹劾后又回到惠州，得到惠州市民的热情款待，后来惠州郡民绘制了江国霖画像，与苏东坡、陈偁合并祀之，供于三贤祠中。
