從烈嶼過汶萊，展開了他一段新的人生旅程，這時是三十四歲的盛年。他拿的是工作簽證，僱主是姑丈，只能在他的店裡幫忙，其他的地方都不能去，何況他人生地不熟，馬來話也不會說，也是去無可去。
他起初幫姑丈做工，一天八塊汶萊幣，一塊汶萊幣等於新台幣十四塊多，那時台灣一錢金子兩百多元。做了一段時間，姑媽運用關係，請管理員挪出一個攤位，讓他到巴剎（市場）擺攤。
為了做生意，他入境隨俗學「番仔話」。勞工部如派人要來檢查，管理員是番仔，就會先跟他說：「今天你不要來賣。」汶萊的管理很嚴格，文藩說：「要是不小心被查到，二十四小時內就得遞解遣送出境。」所以他不得不小心翼翼。
他落腳汶萊六年之後，妻子帶著三男一女下南洋依親，全家搬去汶萊，沿襲著金門人落番的天命，在汶萊他又生了一個么兒。文藩說兒女讀中華中學，課程的重點有四：第一番文，第二英文，第三日文，第四是漢文。
兒女下汶萊讀書，適應不良。一九六一年出生的次子吳奎新說，他一九六九年八歲之齡去汶萊，讀汶萊中學附設小學部，唸的是香港教科書，繁體字，但沒有注音符號。他在烈嶼上岐國小唸小二，到汶萊又從小二讀起，唸英文、馬來文，他未從小一讀起，沒有基礎，進度跟不上，很痛苦，害怕，因此在他小小的心靈裡產生抗拒。
文藩眼見如此，妻小在汶萊前後六年，一九七四年妻子就帶兒子搬遷回台。奎新說他在汶萊讀完小五，汶萊的學制一年有三個學期，台灣是兩個學期。他十三歲，汶萊第一學期結束，三月返台，到三重正義國小接讀小六，唸了兩個多月就畢業了。
他說小學讀了三個學校：烈嶼上岐國小、汶萊中華中學小學部及三重正義國小。
三重正義國小畢業後升讀三重民志國中，男生有十二班，他被分發到最後一班放牛班。他從小喜歡讀書，手不釋卷，烈嶼的長輩常喊他「認真的！認真的！」他說那時還不知自己名叫吳奎新。
他在民志國中發揮了一貫認真的精神，逆游而上，國一結束考了全班的第二名，國二就重新讀增額第三班的好班了。（吳奎新訪談時間：2018.02.02 訪談地點：台北市長沙街）
文藩先用四十五萬元在新莊買了一間房子，等到兒子在三重讀書，就換房到三重安置了妻小，此後他在汶萊變成一隻孤鳥，也成為台灣與汶萊之間的空中飛人。他的工作簽證開始只有一年，每年都要回到台灣一趟，後來是兩年一簽。
每次往返台灣與汶萊之間，他都會到新加坡大哥那兒勾留幾日，大哥生了十個兒子，螽斯衍慶，枝葉繁茂，極一時之盛。
他說初抵汶萊之時，擺攤賣「番仔糕」，這時汶萊人口只有二十萬，華人六萬人，他返台之後就學炸油條。他說在汶萊賣油條很好銷，也很好賺，一根油條賣一毛錢，一斤麵粉至少可炸二十根油條。一斤麵粉才四毛錢，扣除一點油錢，可以賺一塊多。
他在家裡炸好之後，拿到市場去賣，起先賣給唐人，後來番人學會吃之後，認為好吃，銷路才厲害。
一九八五年他五十五歲，這個年齡在汶萊不能再做工，他就退休返台與妻兒團聚，頂了一間店面做生意。他唯一的女兒，在汶來嫁給烈嶼西路村來的鄉親，親家已落番幾十年，家道殷實。女婿這時返台跟他做生意，不幸發生車禍喪生了，而女兒又有了身孕，他返台已過了四年，就束裝重回汶萊照顧、陪伴女兒，仍然做吃的生意。
一九九四（民國八十三年），文藩六十四歲了，結束了整整三十年落番飄泊的生涯，返台定居。這時他擁有幾千萬元的身價，而台灣錢淹腳目，經濟情勢一片看好，名列亞洲四小龍之首，股市飛漲上萬點。
他看到一個朋友在玩股票，天天漲停板，心想：「怎麼那麼好賺。」他身邊有的是錢，如果投資台北的房地產，就會成為烈嶼的大富翁，然而他投身股海，剛開始賺了六百萬元，嘗到了甜頭，高興的不得了；這時國壽漲到一千九百多元，一張股票一百九十幾萬，他一下子買了六張，約一千兩百萬元左右。
但好景不長，後來股市翻轉向下，國壽股價盤跌，他沒有設停損點，反而加碼想要攤平，然而股價一直下跌，他加碼不僅沒有作用，損失越來越多；越損失越捨不得出場，越攤平就損失得越多，幾乎溺死股海。
每天看著股市驚跌，他的錢就減少，他的心就驚駭，最後股市跌剩幾千點，他眼見血本無歸，一生心血要化為泡影了，吃不下，睡不著，有如伍子胥過昭關一樣，一夜之間白了頭髮。
文藩痛定思痛，他回想當初的境況：「會死人，幾幾乎要去跳樓了。」他每天憂思愁苦，茶飯無心，沒有那個福份，財富得而復失，那種痛比貧窮忍饑耐餓還痛苦，讓人刻骨銘心。回首前塵往事，一切錢財如春夢一般了無痕，化作人生旅程的一道雲煙，讓他高興保管了幾十年，又回到財神爺的懷抱。
兒子看他如此傷心慘痛，擔心他想不開，就要他遠離台北的傷心地，回到老家上庫養老。他回到故居，住在閩南式舊家，兒子帶媳婦回來，因缺乏現代化的衛浴設備，回來一次就嚇死，他不得不把僅餘的五、六百萬元，蓋了現在居住的西式房子。他繞了地球小半圈又繞回了原點，接了地氣，與鄰老相往還，緬懷與父母親相依為命的生活記憶。
他是一個斷腸人，回到故鄉療傷止痛，想到小的時候，無衣無食，每天都在為賺錢發愁，因此當聽到一天可賺兩塊銀元的工錢，大喜過望，簡直要跳起來，最後錢沒有拿到，空歡喜一場。後來落番下南洋，賺了幾千萬元，那是年輕時夢寐以求的，但是辛苦了三十年，幾乎一夕之間又化為烏有。
他出生於烈嶼，又回到烈嶼的祖居地，難道這是他的天命，老天要讓他勞苦一生的報償嗎？回想八歲的時候，日本的鐵蹄佔領了金門，他跟父親到現今的陵水湖曬鹽，由日軍統購銷往廈門。他說上庫鹽場用破瓦片去鋪，鹽滷可以過濾洩底，因此鹽巴帶有甘甜的味道，比西園鹽場的鹽還好。
日據金門時代，民眾生活普遍很苦，然而上庫因為曬鹽賣鹽的關係，鹽巴收成堆得比房子高，外用泥漿封糊，防止下雨流失掉，因此上庫村民生活比其他地方略勝一籌。除了跟父親曬鹽，就是種田，日本時代還種鴉片，父親被保長誣報偷藏鴉片，被日本人抓去打的半死。（中）