魏霸字乔卿，济阴句阳人也。世有礼义。霸少丧亲，兄弟同居，州里慕其雍和。
建初中，举孝廉，八迁，和帝时为巨鹿太守。以简朴宽恕为政。掾史有过，霸先诲其失，不改者乃罢之。吏或相毁诉，霸辄称它吏之长，终不及人短，言者怀惭，谮讼遂息。
永元十六年，征拜将作大匠。明年，和帝崩，典作顺陵。时盛冬地冻，中使督促，数罚县吏以厉霸。霸抚循而已，初不切责，而反劳之曰：“令诸卿被辱，大匠过也。”吏皆怀恩，力作倍功。
延平元年，代尹勤为太常。明年，以病致仕，为光禄大夫。永初五年，拜长乐卫尉，以病乞身，复为光禄大夫，卒于官。