金門話裡有「烏肚番」一說，用以形容不諳事理或遇事胡攪蠻纏者；多半用在愛胡鬧的小孩身上，對於那些不遵照民間傳統習俗行事者，也經常冠以「烏肚番」。而「烏肚番」一詞的確切來由實已難考！此詞語是否為金門獨有，也不容遽下斷言。但是，經查網上的台語及大陸的閩南語詞典，均未見蒐錄此詞。
閩南語的「烏」就是黑的意思，「番」則是指尚未開化之人，或指外族。在台灣形容人不講理，多用「你有夠番咧」，在金門則用「烏肚番」／「番嗶叭」，台灣民間普遍稱高山原住民為「番仔」，語中不免帶有貶抑之意，如今為避免讓人產生歧視聯想，能不用就盡量不用，而金門至今尚未有過高山族或原住民存在的證據，可見金門的「烏肚番」一詞（或番一字）與當前台灣話裡的「番」是有本質區別的。
明賢聚盧若騰的《島噫詩》中有一首名為〈烏鬼〉的七言詩：「鬼烏肉、烏骨骼，鬚髮旋捲雙眼碧；慣沒鹹水啖魚蝦，腥臊直觸人鼻嗌。汎海商夷掠將來，逼令火食充廝役；輾轉鬻入中華土，得居時貴之肘腋。出則驅辟道上人，入則譙呵門前客；濟濟衣冠誤經過，翩翩車蓋遭裂擘。此輩殊無驍勇材，不任戰鬥揮戈戟；獨以猙獰鬼狀貌，使人見之自辟易。厚糈豢養作爪牙，威嚴遂與世人隔；如此威嚴真可畏，棄人用鬼亦可惜！」，譯成白話就是：「黑鬼肉是黑的、骨頭也是黑的，鬍鬚頭髮捲曲，兩眼呈藍綠色。習慣於潛在海水裏吃著魚蝦，渾身腥臭味把人嗆得鼻子快不通氣了。航行海外的商旅將他們抓了來，逼迫命令他們吃熟食充當勞役，輾轉賣進了我中華大地，成為時下富貴人家的親近隨從。出門時，他們驅趕著路上的行人，入門時，則苛斥門前的客人。衣著穿戴華美的人誤從他們前面經過，連車蓋都被扯壞撕裂了。這些人沒有驍勇善戰的本領，也不持戈拿戟擔任戰鬥任務，而只是憑藉著凶惡的面貌，讓人見了而害怕退避。他們被人用優渥的俸祿豢養著，當成爪牙驅使，如此就能顯示出和常人不一樣的威儀，這樣的威儀真是可怕，放著人不用而要用鬼也真是可惜了啊！」
在盧若騰筆下，當年在金門的這些倚仗人勢的「烏鬼」（或黑鬼）是豪門大戶人家所豢養的一些「黑人」，但是在三百六、七十多年前，金門的這些黑人到底是從哪來的呢？按盧若騰的說法是「汎海商夷掠將來」，再「輾轉鬻入中華土」的。然而，到底是那些外國商賈把這些黑人擄來（或買來）的？
生卒年皆與盧若騰相近的鄭芝龍（1604年～1662年）是明末清初最大的海商兼軍事集團首領；他曾經透過各種手段收編組織了一支由三百多名黑人所組成的部隊，領頭的黑人名叫路易斯·瑪托斯，這些黑人的軍餉極低，他們精通各種火器的鑄造與應用，而且頗為忠誠可靠，故深得鄭芝龍倚重，成了鄭氏的重要武裝力量。在鄭芝龍降清以後，這支部隊轉而效命於他的兒子鄭成功。後來，鄭成功圍攻台灣的荷蘭軍隊時，由於荷軍裡面也有不少的「烏番兵」（即黑人），因此，鄭成功便派出自己的黑人兵勸降荷軍內的黑人士兵，因而策反了不少荷軍黑人士兵。
而在鄭成功收復台灣以後，據傳有些黑人或被拋棄或輾轉流徙於台灣各偏遠地區及鄰近島嶼；其中，以位處琉球島西南天福村海岸邊的「烏鬼洞」最為著名。洞口旁的《烏鬼洞風景區記事碑》上的碑文內容如下：「明永曆十五年，延平郡王鄭成功，克復台澎，驅走荷人。少數黑奴未及歸隊，逃來本嶼，潛居此洞。數年後，有英軍小艇在此洞西北之蛤板登陸，觀賞風光，黑奴乘虛搶物燒艇，並盡殺英軍。旋被搜尋之英艦發現艇燬人亡，乃上岸搜索，但黑奴潛伏洞中，百般誘脅，誓死不出，乃灌油引火，黑奴盡死洞中。後人遂名之為烏鬼洞，意指黑洋人曾棲息之洞也。清朝時洞中石床、石桌、石鑼、石鼓、銀器、珠寶等時有發現，因而烏鬼洞之名，遂聞遐邇。　茲為發展觀光事業，美化環境，乃以公共造產方式，籌資整建，俾略具規模，藉助遊興耳。」
雖然，烏鬼洞的傳說紛云，而碑文也不能證明洞裡面的烏鬼就一定是荷軍或鄭軍中的黑人，但至少說明南明（明鄭）時期的台灣確曾有過黑人的蹤跡，而以金門和鄭軍的淵源，亦不難理解何以金、台二地同一時期，同以「烏鬼」稱呼黑人，故此「鬼」自當有別於清代被漢族移民以「番」稱呼的台灣原住民；亦即，明鄭時期的「烏鬼」不太可能是屬於南島系統的台灣原住民（土著）」。
盧詩也指出當時在金門的黑人有「鬍鬚頭髮捲曲，兩眼呈藍綠色」特徵。根據人種（race）分類，依區域條件及不同的遺傳性狀（如：膚色、眼色、髮色髮型、身高、面型、頭型、鼻型、血型、遺傳性疾病等），可劃分為四大人種：（一）蒙古利亞人（Mongoloid），即黃種人，特徵為黃皮膚、直髮、平臉、扁鼻、寬鼻孔等；（二）高加索人（Caucasoid），即白種人。特徵為白皮膚、高而窄的鼻子，有色眼睛及多種髮型；（三）尼格羅人（Negroid），即黑種人，特徵為黑皮膚、厚嘴唇、寬鼻、捲髮；（四）澳大利亞人（Australoid），即棕種人，特徵為棕色皮膚、棕色捲髮、鼻寬，多鬍鬚及體毛。
而尼格羅人種，主要分佈在非洲撒哈拉以南和大洋洲西部的熱帶地區，又可細分為：非洲尼格羅、大洋洲尼格羅，矮黑人和布須曼等地方類型。其中非洲黑人身高體長，成年男子平均身長超過一米八。大洋洲黑人分佈於新幾內亞和美拉尼西亞等地。矮黑人則散居在從非洲到新幾內亞赤道附近的熱帶雨林中，平均身長都很矮。布須曼，則曾廣泛地分佈在非洲卡拉哈里（Kalahali）沙漠，但其膚色微黃，臀部突出。
雖然，黑人分佈區域甚廣，但是明鄭時期金門的黑人主要係從事戰鬥任務或粗重勞役，因此對身體條件的要求，非洲黑人應該會更符合條件。然而，遠在非洲的黑人又怎會萬里跋涉來到中國、甚至金門小島呢？他們是在什麼時期，透過何種方式來到金門呢？
明代，海上貿易已經非常發達，三寶太監鄭和從西元1405年起引領船隊七次下西洋，足跡遠抵非洲大陸東岸。但，那畢竟是官方任務，文獻並未記載他們有引進或販賣黑奴的行為。真正大規模虜掠、販賣黑奴的應該是始於十五世紀中末葉以後的歐洲大航海時代；其中，又以葡萄牙及西班牙二個海上霸權為代表。在葡西強勢擴張並爭奪殖民地控制權時，經常起矛盾衝突，後經由羅馬教皇介入仲裁，二國先後在西元1494年和西元1529年分別簽訂了《托德西拉斯條約》和《薩拉哥薩條約》，根據這兩次條約協議，西班牙取得了獨占美洲大陸的權利，而葡萄牙則將非洲及亞洲納入自己的勢力範圍。
也正由於葡西二國的勢力劃分，使葡萄牙成為中國明代最早接觸的海上貿易霸主。西元1517年，葡萄牙人已經到達珠江口和中國通商，1522年中葡雙方在西草灣發生衝突後，葡萄牙商人轉往福建、浙江一帶活動，但仍時而混雜在東南亞貢使團中來華貿易。明嘉靖十四年（西元1553年），廣東官府將「市舶提舉司」遷至澳門地區，允許外國商船入泊濠鏡澳，從此澳門開埠，成為中外貿易之地。　　
　據郭棐的《萬曆廣東通志》稱：「夷船停泊皆擇海濱地之灣環者為澳。先年率無定居，若新寧則廣海，望峒，香山則浪白，蠔鏡澳，十字門，……嘉靖三十二年，舶夷趨濠鏡者托言舟觸風濤縫裂，水濕貢物，願借地晾曬，海道副使汪柏徇賄許之。時僅棚壘數十間，後工商牟奸利者，始漸運磚瓦木石為屋，若聚落然。自是諸澳俱廢，濠鏡獨為舶藪。」這段話的意思是說，起初葡方貿易並無固定港口，後來，葡方以船隻遭遇風暴為藉口，希望讓他們上岸曝曬被海水浸泡的貨物，並趁機賄賂明朝地方官員而入居澳門。到了17世紀初，葡方已取得澳門的正式居住權，鴉片戰爭後則更進一步將澳門據為殖民地。
彼時，葡萄牙的殖民地多數位於非洲沿岸，他們從北非、西非、南非以至東非瘋狂掠奪金銀財寶，更蠻橫殘酷地從事黑人奴隸的販賣交易；從16世紀起，就有大量的黑奴被虜掠到美洲大陸及其他葡西所屬殖民地區從事苦力奴工。自然也有許多非洲黑人被葡萄牙商旅強徵入伍，並跟隨他們到中國澳門或粵閩浙一帶從事護衛或奴工。
明鄭時期，政權更迭頻仍，重心逐漸南移。據有金、廈的鄭成功延續其父鄭芝龍的海上勢力，依然擁有最大的海上貿易力量；期間，與即位於兩廣的桂王永曆政權聯絡頻繁，這也使金門與兩廣的往來更為密切。也或許，明鄭官商透過與葡萄牙商販在澳門通商口岸的貿易或海上直接交易，其中有些身強力壯的非洲黑人被收買、交換至明朝軍中或商隊裡成了「烏番兵」；部份條件稍差者則輾轉流入民間成了豪門大戶的僕役或護衛。也許，當年金門百姓口中的「烏鬼」或今日依然流傳的口語「烏肚番」，正是在這樣的背景下形成的。