但許琰有著文人的傲骨，既不願向權勢低頭，也不肯與世俗同流合汙，於是揹起琴帶著劍，瀟灑的棄官而去，放浪飄泊於河北、山東、湖北、河南、江蘇、浙江等地，盡情抒發心中的不平之氣，成為塵世中之江湖散人，煙波釣客，還作了首詩自嘲：「寒蟬號罷滿林傷，金氣秋凝蝶也黃，衰草連天悲朽月，垂楊委地泣繁霜。蕭蕭此日過巫峽，歷歷何時望漢陽。最是能詩偏有感，莫教糕字負劉郎。」
其中的這句「莫教糕字負劉郎」，講的就是當時重陽節這一天需登高望遠，代表步步升高，但不是每個地方都有山可登高，於是就有人由登高想到了吃糕，以吃糕代替登高，因為專在重陽吃，就被命名為「重陽糕」。而唐代自稱「劉郎」的詩人劉禹錫，有「詩豪」之譽，相傳他想寫《九日》這首描寫重陽食糕習俗的詩時，為了避俗不想用「糕」字，但查遍《五經》卻找不到可以替代的字，遂擱筆未作，後來被宋祁打趣說：「劉郎不敢題糕字，虛負詩中一代豪。」許琰也因一字之失而斷送前途，故藉此來當作自己的寫照。
雍正九年（1731），離開翰林院之後的許琰，一路遊歷到了山東，聽說齊河縣剛上任的知縣是他同榜好友上官有儀，便來登門拜訪。當時上官有儀正打算修纂縣志，一見到許琰來訪，就力邀他來擔綱主筆。於是許琰接受知縣的聘請，留下助其好友上官有儀修纂縣志。
《齊河縣志》第一部是修於明萬歷十一年（1583），到清康熙十二年（1673）由當時的知縣藍奮興監修了第二部，分為八卷，計三萬字，所以這次由許琰擔綱修纂的是第三部。這段期間他先到縣內各地踏查蒐集資料，並協助上官有儀重修該縣學宮之文昌閣，還同遊當地名勝「玉湄園」，更以此與上官有儀寫了兩首詩作，之後許琰於雍正十三年（1735）開始編撰，也將這兩首詩作一併收錄其中，至乾隆元年（1736）好友上官有儀陞遷為止，歷時五個月告竣，計八萬字。
後來許琰又受邀至鄰縣荏平縣修纂縣志，至乾隆四年（1739）完成後，他就離開山東遊歷到了浙江，去拜訪寧波府的定海縣令黃應熊，剛好當時普陀山住持法澤欲修編《普陀山志》，正苦無適當的主筆來開始動工，於是黃應熊便介紹許琰給法澤認識，沒想到好巧不巧，這位普陀山法雨寺住持法澤，名明智，福建漳平縣人，竟是許琰的族弟，而且他十五歲還在許琰的老師蔡世遠故鄉福建漳浦之清泉巖出家，並與蔡世遠交遊最密，到康熙五十八年（1719）時才來普陀山，因其佛法精深、又能練達應事，故得被推為法雨寺住持。因此法澤就延請許琰來擔綱修編《普陀山志》，由於這部志書不只記錄山水掌故，更著重於觀音大士的應化靈跡與普陀山信仰，所以許琰就在普陀山盤桓了一段時日。
後來他到了江蘇寓居金陵時，就將這段四處飄泊、自我放逐的日子裡所創作《玉森軒稿》、《鰲峰近詠》、《詩餘詞調》、《方知集》、《水泳集》、《餘鱗集》等，集結出版了《瑤洲文集》和《寧我堂詩鈔》。雖此生不得志，卻也促成了許琰在文學上的成就。
回閩後，他徙居同安童嶼（今為桐嶼），閉門謝客，作詩自娛。由於許琰住宅在汀溪下游，自然而然就常朔溪而上，欣賞著溪流沿途的景色，當他走到溪畔的晃巖（明代光祿寺少卿蔡獻臣妻弟池顯方創建的寺院）時，看著潺潺溪水奔流而去，不自覺地脫口就吟詠了一首詩詞：「溪水清，溪水清，水煙朝盡墓還生。一自洛波人去遠，不知何處步溪聲。」這時一旁有人聽見了，也不自覺地稱讚了幾句，便與許琰攀談了起來。（中）