扫平叛贼

公元192年（初平三年），曹操在担任代理兖州牧时，听说吕虔有勇有谋，便任命他为从事，让他带领自己的家丁镇守湖陆城。 

当时襄贲校尉杜松的部下炅母等人作乱，与昌豨勾结，曹操命吕虔接替杜松。吕虔到任后，招诱炅母和他的首领及党羽数十人，赐他们酒饭，暗中派壮士埋伏在两侧。等看到炅母等人都喝醉后，吕虔便命两侧的伏兵把他们全部杀死，并安抚炅母的部下，这批叛贼于是都被扫平。 

南征北战

曹操又任命吕虔为泰山太守，泰山郡依山连海，世道混乱，百姓大多躲藏起来或四处流窜。袁绍所任命的中郎将郭祖、公孙犊等数十人占山为寇，百姓深受其害。吕虔率领家兵到泰山郡赴任，他施行恩惠、讲求信用，郭祖等人都出来投降，躲藏在山里的百姓都返回乡里定居从事生产。吕虔挑选强壮的人补充到军队中，泰山郡从此便有了精兵，在各州郡中名列第一。 

当时济南的黄巾军首领徐和等人，所到之处劫持县令官吏，攻打城邑。吕虔率兵与夏侯渊一同前去攻打他们，前后数十仗，斩首俘虏数千人。曹操又派吕虔总督青州各郡的部队讨伐东莱地区的李条等各路贼寇，立有战功。曹操发布通令说：“有志向，必定要成就事业，这是英烈之士所献身追求的目标。你在泰山郡以来，捕捉奸人讨伐贼寇，百姓获得安宁。你亲自冒着矢石，每次出征必能取胜。过去寇恂在汝水、颍水之间扬名，耿弇在青州、兖州献策，古今都是一样的。”吕虔被推举为茂才，加任骑都尉，仍然管辖泰山郡。吕虔在泰山郡十几年，有许多威德恩惠。 

治理徐州

公元220年（黄初元年），曹操之子曹丕继任魏王，加任吕虔为裨将军，封益寿亭侯。后又升任徐州刺史，加任威虏将军。吕虔请琅玡人王祥担任徐州别驾，将民政之事全部委托给他，世人都赞扬他能够任用贤人。后来，吕虔在征讨利城叛贼的战役中，斩首俘虏立下功劳。 

去世

公元227年（太和元年），魏明帝曹叡继位，改封吕虔为万年亭侯，增加食邑二百户，连同以前的共计六百户。吕虔去世后，由其子吕翻袭封万年亭侯的爵位。 

曹操：“夫有其志

，必成其事，盖烈士之所徇也。卿在郡以来，禽奸讨暴，百姓获安，躬蹈矢石，所征辄克。昔寇恂立名於汝、颍，耿弇建策於青、兖，古今一也。” 

陈寿《三国志》：“①虔有胆策。”“②虔在泰山十数年，甚有威惠。”“③李通、臧霸、文聘、吕虔镇卫州郡，并著威惠。” 

许浑：“琴清诗思劳，更欲学龙韬。王粲暂停笔，吕虔初佩刀。 ” 

卢弼：“文聘在江夏数十年；杜畿在河东十，在并州、冀州二十余年；吕虔在泰山十数年。皆久于其任，当时信任郡守、刺史如此。”

吕虔佩刀

当初，吕虔有一把佩刀，工匠观看后，认为有佩有此刀的人一定会登上三公之位。吕虔对别驾王祥说：“我不是可以做三公的人，这刀对我说不定还有害。而您有公辅的器量，所以送给您。”王祥坚决推辞，吕虔强迫他才接受。后来王祥官至太保。王祥临终前，又将这把刀送给其弟王览，说：“你的后代一定兴盛，足以配此刀。”果然，王览的后代之中便有东晋政权的奠基人之一王导，其琅琊王氏家族从东晋开始贤才济济，成为其后光耀几百年的望族。 

《三国志·卷十八·魏书十八·二李臧文吕许典二庞阎列传》 

《资治通鉴》等也有记载。