及武為司隸校尉，道過潁，霸請其父，願從。父曰：“吾老矣，不任軍旅，汝往，勉之！”霸從至。及武為大司馬，以霸為功曹令史，從度河北。

賓客從霸者數十人，稍稍引去。武謂霸曰：“潁川從我者皆逝，而子獨留。努力！疾風知勁草。”

及王郎起，武在薊，郎移檄購武。武令霸至市中募人，將以擊郎。市人皆大笑，舉手邪揄之，霸慚懅而還。武即南馳至下曲。傳聞王郎兵在後，從者皆恐。及至虖沱河，候吏還白河水流澌，無船，不可濟。屬大懼。武令霸往視之。霸恐驚觽，且前，阻水，還即詭曰：“冰堅可度。”

屬皆喜。武笑曰：“候吏果妄語也。”遂前。比至河，河冰亦合，乃令霸護度，未畢數騎而冰解。武謂霸曰：“安吾觽得濟免者，卿之力也。”霸謝曰：“此明公至德，神靈之佑，雖武王白魚之應，無以加此。”武謂屬曰：“王霸權以濟事，殆天瑞也。”以為軍正，爵關侯。既至信都，發兵攻拔邯鄲。霸追斬王郎，得其璽綬。封王鄉侯。

從平河北，常與臧宮、傅俊共營，霸獨善士卒，死者以斂之，傷者躬親以養之。

武即位，以霸曉兵士，可獨任，拜為偏將軍，並將臧宮、傅俊兵，而以宮、俊為騎都尉。建武二年，更封富波侯。

四年秋，帝幸譙，使霸與捕虜將軍馬武東討周建於垂惠。蘇茂將五校兵四千餘人救建，而先遣騎遮擊馬武軍糧，武往救之。建從城中出兵夾擊武，武恃霸之援，戰不甚力，為茂、建所敗。武軍奔過霸營，大呼求救。霸曰：“賊兵盛，出必兩敗，努力而已。”乃閉營堅壁。軍吏皆爭之。霸曰：“茂兵銳，其觽又多，吾吏士心恐，而捕虜與吾相恃，兩軍不一，此敗道也。今閉營固守，示不相援，賊必乘勝輕進；捕虜無救，其戰自倍。如此，茂觽疲勞，吾承其弊，乃可克也。”茂、建果悉出攻武。合戰良久，霸軍中壯士路潤等數十人斷發請戰。

霸知士心銳，乃開營後，出騎襲其背。茂、建前後敵，驚敗走，霸、武各歸營。賊複聚觽挑戰，霸堅臥不出，方饗士作倡樂。茂雨營中，中霸前酒樽，霸安坐不。軍吏皆曰：“茂前日已破；今易擊也。”霸曰：“不然。蘇茂客兵遠來，糧食不足，故數挑戰，以儌一切之勝。今閉營休士，所謂不戰而屈人之兵，善之善者也。”茂、建既不得戰，乃引還營。其夜，建兄子誦反，閉城拒之，茂、建遁去，誦以城降。

五年春，帝使太中大夫持節拜霸為討虜將軍。六年，屯田新安。八年，屯[田]函穀關。擊滎、中牟盜賊，皆平之。

九年，霸與吳漢及橫野大將軍王常、建義大將軍朱佑、破將軍侯進等五萬餘人，擊盧芳將賈覽、閔堪於高柳。匈奴遣騎助芳，漢車遇雨，戰不利。吳漢還，令朱佑屯常山，王常屯涿郡，侯進屯漁。璽書拜霸上穀太守，領屯兵如故，捕擊胡虜，無拘郡界。明年，霸複與吳漢等四將軍六萬人出高柳擊賈覽，詔霸與漁太守陳欣將兵為諸軍鋒。匈奴左南將軍將數千騎救覽，霸等連戰於平城下，破之，追出塞，斬首數百級。霸及諸將還鴈門，與驃騎大將軍杜茂會攻盧芳將尹由於崞、繁畤，不克。