王霸喜好法律，其父曾任颍川郡决曹掾，王霸年轻时亦曾担任过监狱官。常常感叹不愿做小官吏，他父亲觉得他不一般，派他到长安求学。汉兵起事时，光武帝刘秀路过颍阳，王霸带门客见光武帝，说：“将军起义兵，我不自量力，仰慕您的威信品德，愿意在您军中当兵。”光武帝说：“我做梦都想与贤士共成功业，岂有两样！”于是王霸在光武帝的军中当兵，跟随光武帝在昆阳之战中打败王寻、王邑后，回家休息。
更始元年（公元23年），光武帝担任司隶校尉，再次路过颖阳，王霸请示父亲，想跟光武帝走。父亲说：“我老了，过不了军队生活，你去，努力吧！”王霸随光武帝到了洛阳。等光武帝任大司马，任用王霸做功曹令史，跟随光武帝到河北。跟随王霸的几十个门客，渐渐离去。光武帝对王霸说：“颖川人跟着我的都走了，而你独独留下来了。努力！疾风知劲草。”
更始二年（公元24年），王郎起兵，光武帝在蓟，王郎撰写征讨文告悬赏捉拿光武帝。光武帝命令王霸至集市上招募人，准备攻打王郎。集市上的人都大笑，举手嘲弄王霸，王霸惭愧而回。光武帝立即南奔到下曲阳。传闻王郎的追兵跟在后边，随从的人都很恐慌。等到达虖沱河，侦察兵回来报告说河水流淌，没有船只，无法渡河。官吏们十分害怕。光武帝命令王霸前去察看。王霸怕吓着众人，想暂且往前走，到了河边，回来就谎报说：“河面结冰可以过去。”官吏们都很高兴。光武帝笑着说：“侦察兵果然是胡说。”于是往前走。等到河边，河水也结冰了，于是命令王霸保护队伍渡河，还剩几人没过来冰就化了。光武帝对王霸说：“让我的部下安心并得以渡河，是你的功劳。”王霸推辞说：“这是您的恩德，神灵的保佑，即使是周武王的白鱼之兆，也不比这强。”光武帝对部下说：“王霸的权宜之计成就了大事，大概是上天的吉祥之兆。”任用他为军正，封关内侯。到达信都后，发兵攻克邯郸。王霸追杀王郎，缴获他的官印。封王乡侯。
随光武帝平定河北，经常和臧宫、傅俊同一军营，只有王霸善待士兵，对阵亡士兵脱下自己的衣服给他们穿上再装殓，受伤的亲自养护他们。建武元年（公元25年），光武帝即位，因王霸理解士兵爱护士兵，可以独立任职，拜任为偏将军，并且统领臧宫、傅俊的部队，而任臧宫、傅俊为骑都尉。建武二年（公元26年），改封为富波侯。
建武四年（公元28年）秋天，光武帝到谯县，派王霸和捕虏将军马武向东讨伐周建于垂惠。苏茂率五校兵四千多人援救周建，而先派精锐骑兵拦截马武的军粮，马武前往援救。周建从城中出兵夹击马武，马武倚仗王霸的支援，作战不努力，被苏茂、周建打败。马武的部队逃跑时路过王霸的军营，大喊求救。王霸说：“敌兵太强大，我们出兵也会和你们一样失败，你们努力吧。”于是关闭营门固守。部下都劝他。王霸说：“苏茂部队精锐，人数又多，我们军心恐慌，而捕虏将军和我对等，两军不统一，这是要导致失败的原因。现在关门死守，告诉他们不援救，敌人一定会乘胜冒进；捕虏将军见没有救兵，作战自然会倍加努力。这样，等苏茂部队疲劳，我们乘敌人疲惫，才能战胜敌人。”苏茂、周建果然全军出动攻打马武。交战许久后，王霸军中勇士路润等几十人割断头发请求参战。王霸得知士气很盛，才打开军营后门，派精锐骑兵袭击敌人背后。苏茂、周建前后受敌，惊乱败逃，王霸、马武各自回营。不久，苏茂、周建又集合部队前来挑战，王霸死守不出战，正让士兵喝酒作乐。苏茂的箭如雨点般射向营中，射中王霸面前的酒杯，王霸稳坐不动。部下都说：“苏茂昨天已被打败，现在容易打。”王霸说：“不对。苏茂部队从远方来，粮食不够，所以屡次挑战，想要一决胜负。现在关门休兵，就是人们说的不战而屈人之兵，是好上又好的办法。”苏茂、周建不能交战，就领兵回营。这天夜里，周建哥哥的儿子周诵反叛，关闭城门拒绝周建入城，苏茂、周建逃走，周诵率城投降。
建武五年（公元29年）春天，光武帝派太中大夫拿着符节拜任王霸为讨虏将军。建武六年（公元30年），屯垦新安。建武八年（公元32年），屯垦函谷关。攻打荣阳、中牟盗贼，全部攻克。
建武九年（公元33年），王霸和吴汉以及横野大将军王常、建义大将军朱佑、破奸将军侯进等五万多人，攻打卢芳的部将贾览、闵堪于高柳。匈奴派骑兵帮助卢芳，汉军遇雨，战斗没有获胜。吴汉回洛阳，命令朱佑屯守常山，王常屯守涿郡，侯进屯守渔阳。下诏书拜任王霸为上谷太守，率领屯守部队如故，追捕攻打胡人强盗，不限郡界。
建武十年（公元34年），王霸又和吴汉等四位将军六万人从商柳出兵攻打贾览，诏命王霸和渔阳太守陈欣率兵任各军先锋。匈奴左南将军的几千骑兵援救贾览，王霸等人连续作战于平城之下，打败敌人，追出边塞，杀敌几百人。王霸和众将回到雁门关内，和骠骑大将军杜茂合兵攻打卢芳的部将尹由于崞、繁时，没有攻克。
建武十三年（公元37年），增加食邑户数，改封向侯。当时，卢芳和匈奴、乌桓联合，入侵抢劫尤其频繁，边区军民很愁苦。诏书命令王霸率解下刑具的囚犯六千多人，和杜茂修整飞狐道，堆起石头撒上土，筑起亭障，从代城（今河北蔚县东）到平城（今山西大同）三百多里长。王霸总计和匈奴、乌桓大小几十上百次交战，很熟悉边疆军事，多次上书说应和匈奴结亲讲和，又建议运输可以由温水漕运，来省去陆路运输的辛劳，建议都得到实行。后来南单于、乌桓投降，北部边疆没有战事。王霸在上谷任职二十多年。建武三十年（公元54年），改封为淮陵侯。永平二年（公元59年），王霸因重病免官，几个月后去世。
汉朝刘秀：“颍川从我者皆逝，而子独留。努力！疾风知劲草。”
南朝范晔《后汉书》：①“期启燕门，霸冰虖河。”；②“世好文法”；③“霸独善抚士卒，死者脱衣以敛之，伤者躬亲以养之。”
唐朝张仲宣：“汉有二十八将者，上应二十八宿也，或以文雅光国，邓禹有决胜之奇；或以武能威人，吴汉有绥边之略。功论树下，冯异之绩弥彰；冰结河中，王霸之诚尤著。”
宋朝张预《十七史百将传》：“孙子曰：‘能愚士之耳目。’霸诡言冰合而得济。又曰：‘不得已则斗。’霸不救马武而使之力战。又曰：‘屈人之兵而非战。’霸闭营休士而屈茂、建是也。”
清朝郑观应：“古之所谓将才者，曰儒将、曰大将、曰才将、曰战将。英布、王霸、张辽、刘牢之、曹景宗、高敖曹、周德威、扩廓贴木儿等，战将也。”
民国蔡东藩《后汉演义》：“智勇深沈之王霸，能战能守，谈笑却戎。”
