就在劉克襄發表〈撤退到金門〉一文之際，我做出了人生一次困難的決定：離開金門大學，返臺任教。
2001年，我在一本書的自序中，寫過一篇「寧做泥足深陷的在地人，不做遙不可及的單戀客」，為自己開始定居金門的選擇，放上了夢想的煙火。那時候的我，滿懷理想與抱負，想為這座在近代飽受苦難歷史的島嶼，盡一些知識分子與空間專業者的棉薄之力。
時間過得很快，不少傾圮的古厝洋樓已然修復，成為一幢幢遊客造訪的展示館或被冠上夢幻名稱的民宿；冠以金門之名的高等學府，也從偏踞一隅的專科分部，升格為擁有壯觀校舍的綜合大學。軍人撤出的速度超乎預期，小三通為機場與碼頭創造了前所未有的榮景。可以這樣說，金門搭上了後冷戰時期、兩岸和解與中國經濟崛起的便車，正快速變遷中。
無疑地，這十多年是我人生最重要的歷程。在我的青春歲月，默默地為這裡耕耘。不論是學術研究、社會實踐或公共服務，我盡其所能地，以我最大的能量做好每一件「我認為該做的事」。
我的「在地化」比許多臺灣人來得徹底。說是「落地生根」也不為過。但我最後還是被迫做出這樣的決定。遠因不談，近果則是：我在這個學校沒有足夠教授八學分的課可教，而且已經長達三年。一所號稱新興的大學，一位教授沒有辦法得到基本授課時數？
我的學術研究與教學熱誠，應該在水準以上，否則我不會得到教育部優秀教授的「彈性薪資」，而且是本校唯一的獲獎者。但自從三年前，我被少數掌權的助理教授（大學法規定是不能由助理教授擔任系主任的，但學校並不按章行事）逐出我一手創辦的建築學系之後，原本教了好多年的課，一夕之間化為烏有。三年來，每學期除了閩南文化研究所的三學分課程外，我只好教些通識課程權充學分。課程既不穩定，也無法將專業充分發揮。先不論學生的權益被犧牲（許多學生無法上到我的課），還嚴重影響我個人工作權。這樣赤裸的政治鬥爭，十分惡劣。少數正義之士，多次為我發聲，也無效果。
加上，人文社會學院分家的過程中（其中還衍生的一個問題，原本的名稱是黃祖耀人文社會學院，新加坡友人問我，分家後，那一個學院才是冠以黃祖耀之名？答案是，沒有。），建築學系多數同仁們竟然通過，他們改隸「社會科學院」，而不是「人文藝術學院」。這些決定完全經不起學術論證，說穿了，只是想將我排除於建築學系之外而已。我赫然發現，這所學校有許多令我無法理解的人心，為了自身的利益，黑的可以講成白的。逢迎權力、顛倒是非。
為了保留我對金門的良好印象，只能選擇離開。但我離開的是這所學校，而不是金門，我仍會出現金門的田野，持續不斷地努力研究。當一個全世界金門研究做得最多、最好的學者被迫離開金門大學，影響最大的恐怕是這所大學人文社會領域的聲望，以及金門公共知識份子的巨大挫敗。如今，泥足深陷已淹沒了我，在沒有斷氣之前，先回去做個單戀客吧。
如果歷史站在他們那一邊，請忽略我、唾棄我的說法。但如果不是，希望公平正義有一天能為我平反。這樣的離別，特別地感傷。