16世紀中葉的東亞海上貿易盛行。中國大陸沿海、臺灣島、日本列島、南洋群島之間的貿易往來十分密切。
隆慶元年（1567年），明朝部分開放海禁，准販東西二洋。但為嚴防倭寇，仍限制「不得往日本倭國」貿易。閩南人善於航海與經商，商人鋌而走險，將閩粵臺等地生產的絲綢、砂糖私自運往日本。當時，「販日本之利倍於呂宋」，於是「冒險設利，視海如陸，視日本如鄰室」，走私相當頻繁。
當時的日本江戶幕府，為了彌補財政困難，增加國庫收入，積極鼓勵發展海外貿易，對中國的走私船舶持歡迎的態度。主要港口為九州島西部的長崎（1570年開港）、以及平戶島和九州南部薩摩藩的鹿兒島、坊津等。17世紀60年代以前，由福建啟航赴長崎的走私貿易船數，佔總數六成以上，其次是江、浙的商船，其中勢力最大者屬閩南籍的鄭芝龍集團，1612年鄭芝龍首次來到日本。明天啟、崇禎年間（1621-1644），幾乎每年都有鄭芝龍的商船開往長崎。因為禁止天主教的緣故，從寬永10年（1633年）頒布第1次鎖國令、寬永12年（1635年）第3次鎖國令，明朝、荷蘭以外的船隻只能進入長崎，一直至安政5年（1858年）之間，為了防止走私及禁止天主教的傳播，江戶幕府實行閉關自守的鎖國政策，在長達二百餘年期間，長崎成為日本唯一的對外開放港口。
明末清初，流寓或落戶於長崎的華人漸多。為了管理在長崎居留的華人，1689年長崎唐人屋敷（唐館）建成，將中國客商、船員在長崎上岸後，限制集中居住在唐人屋敷內，禁止散居至市區。唐人屋敷總面積約9,373坪，內部有20多座長屋，約可容納2000至3000人。這塊基地本身有坡度，四周築起圍牆，外側則有溝渠可供天然屏障，且設有兩道大門，可有效形成與外界之阻絕。入口處還留有空地，用竹柵欄圍起來，設有檢查站，除了妓女（遊女）之外，連管理人員都不能任意進出。唐人屋敷內的一切貿易、採購商品以及船舶返航等事宜，均需委託唐通事（翻譯聯絡官）與日方貿易管理人員接洽辦理。唐人屋敷做為一個特許貿易港口提供給外國人暫時居留的專區，與當時長崎出島（Dejima）荷蘭商船居留地齊名。
因此，華人（船主、船員）被集中於唐人屋敷內，直到下一次返航。一般來說，住上4至6個月是常見之事。由於當時主要的船員為福建籍、江蘇及浙江籍居次，長途跋涉的辛勞及長時間居留的壓抑，久而久之他們需要心靈慰藉，遂發展出華人的寺廟及祭典文化。當時有四座寺廟保留迄今，包括土神堂、天后堂、觀音堂、福建會館（媽祖廟）。其中，土神廟就是土地公廟，天后堂是南京船主所建，福建會館是閩南人的會所加上供奉媽祖的信仰之地，觀音堂則是跨方言群的廟宇。當時也有一些來自福建、江蘇、浙江的漢醫來到唐人屋敷，在早期的圖繪中，可以看到日本當地醫生向他們學習醫術之情景。
換言之，長崎唐人屋敷可說是繼中古時代遣唐史交流之後，近世華人文化在日本傳播的另一高峰。而這個歷史階段，閩南人是主要的歷史作用者，其中不少船員是金門籍。這些船員的身世故事，有待我們進一步的追尋。