曹操的部将徐翕、毛晖在兖州叛乱失败后逃奔臧霸曹操派刘备告诉霸要他把徐、毛二人的级送去。臧霸对刘备说：“我所以能自立于世就是因为不做这样伤仁害义的事。我受曹公不杀之恩不敢违他命令但王霸之君可以义告不可强迫请你替我向他说明！”曹操听了汇报后来感叹地对霸说：“这是古人的行为你能做到这也是我的愿望呀！”遂不杀徐、毛反将他们封为郡守。臧霸也以仁义受到曹操的器重。在此后的征战中臧霸屡建战功皆得封赏先后封为都亭侯、威虏将军沛国公等。
在讨伐东吴孙权的战斗中霸顾全大局舍生忘死深得曹操赞赏拜他为扬威将军假节。后来孙权乞降曹操大军返回独留臧霸和夏侯淳驻守居巢等地。《三国演义》电视中见不到他是因为几次重大战役时他被曹操派到芒砀山区剿办土匪去了。
曹操儿子曹丕即位升这位老前辈为镇东将军进爵武安乡侯又为执金吾。国家遇有大事曹丕就请他拿主意一时成为朝中重臣。死后朝廷加封“威侯”。