順治十八年（1661年），已經44歲的于成龍，被朝廷委任為廣西羅城知縣。彼時的羅城，僻處嶺南一隅，地瘠民貧，素有煙瘴之地一說，被時人視作畏途。于成龍不顧親朋阻攔，接受了清廷的委任，他拋妻別子，跋涉千里，輾轉來到廣西羅城。
羅城迭經戰亂，新隸清朝的統治不過兩年，盜匪橫行，土酋跋扈，局勢未穩，前兩任知縣一死一逃。羅城名為縣治，卻雜草叢生，遍地荒蕪，所謂的街道，不過居民六戶，茅屋數間，就連堂堂縣衙也只有三間破草房。于成龍等見狀大驚，只得暫時寄居在關帝廟內。在極度的困境中，從山西帶來的五名仆從死的死、逃的逃，于成龍懷著“此行絕不以溫飽為志，誓勿昧天理良心”的抱負，以堅強的意志，篳路藍縷，絕不言棄，他帶病理事，邁開其仕宦生涯的第一步。
于成龍在羅城采取“治亂世，用重典”手法，他當了三年縣令，就使羅城擺脫了混亂無序的狀態，盜匪幾乎絕跡，秩序變得井井有條，百姓各安生理，慢慢形成了三街六巷，出現了以前從未有過的新氣象。史載，于成龍在羅城“插棘為門，累土為幾”，兢兢業業打理政事，他清貧的生活和卓著的政事一時傳為佳話。
于成龍卓越的政績與突出的才干受到了兩廣布政使金光祖的重視，羅城被評為全省治理的模范。
康熙六年（1673年），口碑極佳、政績突出的于成龍被兩廣總督金光祖舉薦為廣西官場上唯一的一個“卓異”，被朝廷攫升為四川合州（今重慶合川）知州。
在合州任知州期間，于成龍廣招湖廣移民屯墾開荒，使合州人口驟增，田地開辟，本已千瘡百孔的凋敝經濟快速得以復原。因招民開荒政績顯著，康熙八年（1669年），大器晚成的于成龍再次被提升為湖北黃州府同知。康熙十四年秋，黃州府發生了百年不遇的自然災害，于成龍發放拯濟糧使數萬災民渡過難關，無數饑民得以存活。由于在黃州同知的位置上干得有聲有色，湖廣巡撫張朝珍十分器重踏實肯干的于成龍，再次將他舉為“卓異”，并屢次向朝廷舉薦。
康熙十二年（1673年）于成龍被調至湖北武昌府主持政務，并將被攫為武昌知府（候補）。恰在此時，史上有名的“三藩之亂”爆發。被清廷封為平西王的吳三桂兵出云南，一路兵鋒凌厲，貴州、湖南很快被其攻占，湖北危若累卵，一日數驚。與此同時，吳三桂派遣許多湖北籍的部將，特封官許愿并攜“札書”回原籍策反，以攪亂荊楚人心，并借機制造暴亂。
康熙十三年（1674年）五月，麻城發現“偽札”，屈姓知縣以“通賊”罪名濫捕濫殺，搞得人人自危。麻城曹家河土豪劉君孚父子暗中接受了吳三桂“副將偽札”，因害怕事發被誅殺，于是暗中聯絡東山一代的“蘄黃四十八寨”私人武裝勢力一起發動暴亂。由于于成龍在當地官聲甚好，素有威望，加上他能力出眾辦法多，于是被地方官請出來幫助收拾亂局。
于成龍果然有辦法，他力主招撫，反對一味剿殺，他命人四處張貼安民告示，使絕大多數被裹挾的百姓繳械回家，事態很快就趨于緩和。之后，他又冒著巨大風險，只身進入率先發難的劉君孚山寨，以誠懇的態度說服劉君孚以及他手下的300剽悍獵戶歸順朝廷。十天之內，本已洶洶的事態得以迅速平息。
同年八月，于成龍被正式委任為黃州知府，剛到任上，“蘄黃四十八寨”第二次叛亂又接踵而至。當時，吳三桂派來的所謂奸細紛紛乘隙潛入黃州，這些人暗中聯絡當地豪紳、巨盜、土寇，各寨紛紛舉事，一時間“高山大潮，烽火相望”，聲勢與規模大大超過前次。四十八寨十萬之眾鼓噪嘯聚，準備圍攻黃州府城。于成龍處變不驚，他深知黃州府的重要性，于是力排眾議，制訂了決不放棄黃州府城，由自己親率團練、鄉勇主動上山進剿的策略。于成龍調集各鄉鄉勇數千人進發到東山黃土坳一帶，隨即向數量遠多于己的叛亂者展開攻擊。劉君孚聞訊亦帶手下趕來助戰。于成龍指揮若定，身先士卒，尤其在戰局不利時置生死于不顧，激勵眾人以弱擊強，最終大獲全勝。此戰一舉擒獲暴亂主謀余世榮以及其他四位巨魁。之后，于成龍乘勝平息了其他多股叛亂。他剿撫結合，恩威并施，只用了二十多天，就干凈利索地將席卷幾乎整個黃州的反叛勢力鎮壓了下去。后來，吳三桂暴斃衡州，他的勢力從未踏進湖北半步。湖廣總督蔡毓榮十分青睞于成龍大才，給予他極大的褒獎。
康熙十八年（1678年），于成龍積功升為湖廣下江陸道道員，在湖北做官期間，盡管地位與境遇都已不同往日，但他仍不忘初心，低調務實，始終保持著迥異于常人的艱苦生活作風。
康熙十七年，于成龍被任命為福建按察使。史載，于成龍離開黃州赴福建按察使任所時，數萬黃州百姓自愿沿路送行至江西九江，一路上，眾人嗚咽的哭聲與湯湯的流水聲，匯聚成一首令聞者動容的悲愴奏鳴曲。
于成龍的清正廉潔，勇于任事，深得康熙的贊許。康熙十二年，他特地在懋勤殿召見于成龍，稱他為“天下清官第一人”，還賞賜白金、良駒、御詩等，勉勵他始終如一，永遠保持不媚流俗、正道而行的崇高氣節。此后，于成龍為政更加勤勉，始終不敢懈怠，常常工作至通宵達旦。即便后來被升為兩江總督，已經貴為封疆大吏的于成龍，還經常微服私訪，使屬下官吏不敢貪贓枉法，更不敢隨意禍害百姓，他上任不久，就讓江南風氣大為改觀。雖然康熙信任，政績卓著，百姓擁戴，但骨鯁直臣于成龍還是得罪了不少官場中人，這些人挾私報復，栽贓陷害，他被迫離任。康熙見奏后特意下詔挽留。
清史載，康熙二十三年（1684年）農歷四月十八日，于成龍走到了他人生的盡頭，享年68歲。于成龍死后，遺物只有一件舊棉袍和一些鹽巴、豆豉等簡單調味品。康熙得知后，心中無限喟嘆加惋惜，他始知于成龍表里如一，一生廉潔，所謂他官做大后變更素行的說法純系小人構陷欺罔之語。于成龍政績卓著，為官清正，卻反遭非議，讓康熙感慨萬千，唏噓不已。為了表彰于成龍并使廉風發揚光大，他特地書寫了“高行清粹”四個大字并制成匾額贈給于家。康熙還破例為他撰寫碑文，以示哀榮的同時，也是對于成龍廉潔刻苦一生的最大肯定與表彰。
于成龍被史家贊譽為“清廉耿介之士，擔當任事之官，情懷深沉之子，古今吏者之師”。他盡忠職守，鞠躬盡瘁，不怕死、不愛財、敢任事、恤百姓，不愧為“天下廉吏第一人”。清史記載，于成龍死后，南京城內民眾聞訊，皆悲慟哭泣，即便是販夫走卒、寺院僧尼、捕快衙役等都為之痛哭流涕，可見他在民間的巨大影響力與絕佳口碑。鐵骨錚錚的于成龍，不愧是整體齷齪的大清官場上一股可彰善癉惡的汨汨清流。
康熙也算一代有為君主。他對整飭吏治堅持不懈，在任內不斷鏟除貪腐，褒獎清流，在一定程度上保證了國家機器的正常運轉。但是，形勢永遠比人強。即便出了于成龍這樣以清廉自許的一代能吏，也阻擋不了當時吏治的日漸腐敗，加上彼時官員的俸祿確實偏低，早已是積重難返，康熙煞費苦心大舉察吏，也只能是小修小補，更無法從根本上扭轉當時官場上屢禁不止的貪墨與萎靡。
