葛邲生于宋高宗绍兴元年（1131年），其祖上居于丹阳，后迁居吴兴。他出身在一个“儒学名家”，从葛邲的高祖父葛密至葛邲，葛氏“五世登科第”；从祖父葛胜仲到葛邲，“三世掌词命”。葛邲自小受家学熏陶，博学多闻，机敏干练，大臣叶梦得、陈与义一见到葛邲，就称赞他是“国器（治国的人才）”。
葛邲年轻时，凭借祖父的恩荫被授为建康府上元（今南京江宁）县丞。适逢金军南侵，上元县处在金军冲击的要道，对于各种物资频繁的调度，葛邲能做到“不扰（民）而办”，建康留守张浚、王纶都很器重他。
宋孝宗隆兴元年（1163年），葛邲高中进士，凭借御史萧之敏的举荐，被授为国子博士。在一次论州官受纳及鬻爵之弊的对策中，得孝宗奖谕：“看到你的奏疏，明白你的才能。”授他为著作郎兼权（暂时）直学士院。
不久，葛邲又担任掌管规谏的正言，开始了他长达十余年的谏官生涯。他任谏官后，立即疏奏朝廷，认为治国应该以“畏天、爱民”为先。又陈述了各地征收榷税的沉重，大大增加了百姓的负担，因而请求“茶盐酒税比原额已增至一倍者”，不再另加税额，以宽缓民力。孝宗览奏后，特召葛邲觐见，令他再次分条奏陈政事。葛邲分六条上奏，每条都切中当时的弊病。后来，他被任命为侍御史，又论述了救济饥荒的三件事。累官至中书舍人。
一次，发生了严重的旱灾，孝宗下诏访求自己早期施政的得与失。葛邲应诏上疏，大略是认为：“宰相虞允文让南库（储藏钱币与物资的仓库）的钱粮越来越多，户部的积蓄越来越少，所以近年以来，常常有钱粮不足的忧虑。自从罢兵（指“隆兴和议”签订后）以来，诸将都是通过贿赂朝廷才能够升官，这种形势下必然会导致他们通过剥削下级来偿还贿赂出的钱财，朝廷应该更加精选将帅人才。”又转任给事中。宠臣张说之子张嶷被任命为阁官，韦太后（显仁皇后，宋高宗生母）侄女的丈夫裴良琮凭借外戚关系在落职时被升授阶官，葛邲对于这些事，全都缴奏不发。广西商议更改盐法，葛邲说：“钞法行用时，漕臣曾经欺骗商人，没收了他们的财货。楮币在两广地区发行，百姓一定会疑虑。朝廷必将为此事后悔。”升任刑部尚书。
葛邲任东宫僚属八年后，孝宗亲书“安遇”两字赠赐于他。并出《梅花诗》命葛邲奉和，对他极为宠爱、知遇。
淳熙十六年（1189年），孝宗禅位于太宗赵惇，即宋光宗。光宗即位后，作为东宫幕僚的葛邲升任参知政事，成为副相。他亲自撰写诏书，劝谏光宗效法孝宗，要端正风俗、节省开支、振奋士气、实行中庸之道、体恤民力、选拔将帅、网罗人才、择用监司、明确法令。光宗览奏后“嘉纳”。绍熙元年（1190年），葛邲被任命光禄大夫、知枢密院事。
绍熙四年（1193年）三月，葛邲升任右丞相。在相位上，葛邲一心遵守祖宗的法规、制度，推荐擢升人才，广泛听取公论，惟恐自己听不到他们的意见。但当时朝局混乱，光宗病情时好时坏，两宫（孝宗、光宗）关系破裂，谏官章颖连上十多道奏疏弹劾葛邲，都不报。
绍熙五年（1194年）正月，为相未满一年的葛邲被罢为观文殿大学士、特进，以“大兼小”，出判建康府。改判隆兴府，葛邲不愿出仕，请求授予自己祠官，为醴泉观使。
绍熙五年（1194年），宋宁宗即位，下诏访求直言。葛邲上疏称：“现在的事务没有比修身齐家更为重要的，应该团结人心、确定方略。”旋即出判绍兴府。在此期间，葛邲事事躬亲，但凡政令施行、钱谷、刑狱之事，不论巨细必亲自过问。有人认为大臣应该“均佚有体（闲散安逸而有体度）”，葛邲说：“崇尚大体却忽略具体的事务，我是不做的。”他曾经说：“十二个时辰当中，不要自己骗自己。”而葛邲也确实以身作则，亲身实践了。后来朝廷又改授葛邲为保信军节度使、开府仪同三司、判福州，葛邲在行途中患病，宁宗加授他太子少保衔，允许他致仕。累授宁武军节度使，封卫国公。
庆元二年（1196年），葛邲病逝，享年六十六岁。朝廷追赠他为太子少师，谥号“文定”。后加赠太师。
嘉定元年（1208年），葛邲得以配享光宗庙庭。
宝庆二年（1226年），宋理宗命绘葛邲像于昭勋崇德阁，是为昭勋阁二十四功臣之一。
葛邲一生著作甚丰，《宋史》称他有《文定集》200卷、《词业》50卷，今已佚。岳珂有《葛文定关外帖赞》，故此可知葛邲有书法作品《关外帖》，今已不存。
赵昚：观所奏，知卿材。（《宋史》引）
赵惇：迪行忱恂，赋资温粹。早遇光华之治，浸预秘谋。雅输辅翼之勤，尤嘉旧德。逮徧更于二府，爰显陟于中台。休休有容，本务弥缝，而藏用谦谦，自牧乃希。明哲以保身，虽叠闻议者之言，顾敢替相臣之礼。（《宋宰辅编年录》引）
张釜：伏见故右丞相、赠太师葛邲，操履静重，议论正平。淳厚之文，驰骋乎百代；渊源之学，根本乎六经。辅导初潜，蔚有成绩，经纶大政，济登丕平。虽居相位，历时不长，而履正奉公之节，爱君忧国之诚，无逾于邲者。 （《宋会要辑稿》引）
岳珂：以文箓传家，以相业济时。貂冠绛裳，予犹及见其丰仪。（《葛文定关外帖赞》）
脱脱：葛邲在相位虽不久，而能守法度，进人才，其处己也，则以不欺为本。 （《宋史》）
