黄霸只是个名不见经传的小官，为何会被很多史学家称颂呢？
在古代，县令这样的“芝麻官”非同小可，是“造福一方”不可或缺的官员，是整个“传送带”中的关键环节。古代的“芝麻官”，被升迁或革职都是常事，在官场能走多远，关键还看自己的德行。贞观十一年(公元637年)，侍御史马周向唐太宗李世民上奏疏说：“治理天下的人要把百姓看作根本。想让百姓安居乐业，在于选好刺史、县令。”
黄霸，西汉阳夏人，史学家班固曾评论说：“自从汉朝建立以来，要讲治理百姓的官吏还是数黄霸第一。”黄霸还在年少时，就立下了做一名好官吏的志向。由于汉时并无科举制度，汉武帝为缓解财政困难，发布诏令，凡是向国家贡献财产的给官做。黄霸便用粮食换了一个卒史。黄霸不坐轿，不骑马，骑着骡子带一个管家去上任。进入其管辖颍川地界，一路上看到逃荒要饭的百姓群一拨又一拨，他就和这些百姓聊起来，问他们为何要背井离乡?逃荒者告诉他因为他们的土地被豪强恶霸掠夺去了，无田可种，不逃荒就得饿死。黄霸说，为何不去县衙告状?逃荒者哭诉：进衙门告状，未开口先挨打，谁还敢去啊!
但在路上，也有让黄霸眼前一亮的地方。到了岭武村，满山树木葱郁青翠，牛羊在田间山边吃草，家家炊烟袅袅，一派祥和的景象。同一块土地上，竟有不同村庄，一边逃荒要饭，满目凄凉;一边安居乐业，牛欢马叫。强烈的对比使他明白了，不是颍川“刁民”难弄，而是豪强恶霸作祟。然而，黄霸到任后先不触动和打击豪强地主，他认为打击这些人的时机尚未成熟。在他看来，最重要的事是重视农桑，发展生产，丰衣足食，使农民上足以赡养父母，下足以抚养妻子儿女。流亡农民见有了出路，便纷纷返乡耕种。
经济上打下了一定基础后，他开始打击豪强地主、恶霸、地痞。凡证据确凿，便狠狠地打击，让他们补足拖欠国家的税款，返还强占百姓的土地、粮食、牧畜、房屋。当然，黄霸也不忘教化他们，给他们出路，让其全家老小开荒种田，自食其力。其他豪强害怕了，便老老实实上缴税收，偷偷地返还强占来的土地，黄霸也就不再追究。五年之后，颍川夜不闭户，路不拾遗，成了繁华富饶之地。
汉宣帝非常高兴，下诏调黄霸出任京兆尹，并赏赐他100斤黄金。他却把100斤黄金捐献给颍川郡修理河道，自己分文不留。黄霸靠他的政绩和治民教化为先的治国之道，从一个小吏一步一步升到相位，史书上称赞他“以外宽内明得吏民心，户口岁增，治为天下第一。”汉宣帝也赞扬他是“贤人君子”、“国家栋梁”。