懇請陛下顧念臣所處的地方，三面受敵；又遭逢一整年嚴重的災荒。臣將田仰、馬漢的兵馬放在西面防守，滿虜立刻趁機進攻東面；努力防守外部滿虜的攻擊，而內部的奸逆又起來破壞。驚慌疑懼、接連不斷，催促科稅的法令又難以施行。寺臣王瑞柟按往例預備課稅三千金，卻只能徵收到二千金；科稅大臣李維樾預備課稅二千金，卻僅徵得一千四百金。衢撫臣劉中藻奉命拿二千金進入溫州賑饑，臣寫信請求他允許先將賑災款移做士兵糧餉，又寫了一封，雖然得到應允但是卻沒有送到。溫州地區積欠士兵六個月的糧餉，靖海營則拖欠了七個月的糧餉；士兵因為糧盡而沒有戰鬥決心，百姓因為救援中斷而喪失防守的意志。如此而希望州府能不淪陷，怎麼可能呢！整個東甌的官吏、有名望的鄉紳、士兵百姓，肯定沒有一個會說臣未盡心盡力；然而事已至此，怎敢說自己的罪過可以原諒！恭謹候等皇上定罪責罰；一面招集義兵，伺機收復溫州。

賊人用兵，來勢急如暴風雨，由平陽可以抵達福寧州，由泰順可抵達壽寧縣。懇請嚴令兵將及早扼制險要謹慎防守，微臣不勝恐懼以身待命！

隆武二年七月十四日具題。」

負傷的盧若騰被水師救出，轉入江上靖海營的船上。他一面上表自請處分，同時命族弟盧若驥趕來相助。若驥最初在福州任副將，唐王即位於福州後，授予授遊擊將軍，扼守在盤山關一年多。朝廷收到若騰上疏後，於八月初六日奉聖旨，輕描淡寫的回覆說：「盧若騰，已有旨了，命你儘速設法收復溫州贖罪。」

七月，清軍攻下浙東、浙南，即揮師南下，大舉進逼閩北。南安伯鄭芝龍暗中向清軍請降，撤兵到安平鎮（福建晉江安海），結果福建門戶洞開，清軍長驅直入。隆武帝朱聿鍵出逃往汀州（福建長汀），八月二十八日被清軍追擊並擒殺於福州，隆武政權滅亡。隆武帝清慎廉明，即位之初就下詔親征，可惜始終為鄭芝龍所挾制，難有作為。

盧若騰得知隆武帝殉國後，悲憤交加，竟而跳水自殺，幸被同行的官員救起。若騰裂眥痛曰：是不欲成我也（你們這是不肯成全我呀）！定虜侯鄭鴻逵聞訊後，召請盧若騰回福建。可是，一心想著恢疆復土的盧若騰，不久後即潛入滃州（今舟山一帶），圖謀起兵。之後，從寧波借道出城，城中父老兄弟暗中拜迎，可惜浙東早已遍佈滿虜。若騰眼見事不可為，便又退回到福建南部靠近漳州的曷山，與郭大河、傅象晉等屯兵望山、圖謀起義，盧若騰特書〈望山義盟序〉為記。

惜望山營寨並沒有形成氣候，也未如預期趁機攻佔武安、進而光復失土。就因為官宦之後林某向清軍舉報，望山糧道被斷，出師未捷，徒呼負負。此後，盧若騰見勢更不可為，乃興起不如歸去的念頭。遂與葉翼雲、陳鼎從安平鎮轉入廈門；之後，又偕同吏部尚書曾櫻、左副都御史王忠孝、都察院右都御史郭貞一、大學士沈宸荃、兵科給事中辜朝薦、刑部主事許吉璟，以及紀許國等渡海來浯，自號「留菴」。盧若騰的故鄉也因為聚集了這一批故老賢臣的身影，之後遂改名為「賢聚」。

賢聚之為名，應在西元1646年之後不久。此前，從宋元以降，賢聚皆稱為「顏厝」。至少在盧若騰時，或是遷界以前，賢聚的大姓尚不是盧姓，應該還是顏姓。顏姓與盧姓雖為表親，若以輩份論，顏氏在金門的29至32世「允、章、永、綬」輩分別與盧氏在金門的22至25世「志、禮、敬、賢」輩為平輩。若純以兩姓的昭穆推論，顏氏在金門「顏厝」落戶的年代至少比盧氏早了七世，以30年為一世來估算，約為二百一十年。也就是說，在盧氏開浯始祖盧宗發入贅顏家時，顏氏至少已經在顏厝定居了二百年。

顏、盧雖為表親，但世代繁衍，兩姓摩擦難免。在盧若騰返回金門定居後，盧若騰的著述藏書，甚至還因為兩姓之間的摩擦衝突而遭殃。在盧若騰的〈焚餘小引〉中，就把這個問題揭露的十分清楚。他首先感慨火之危害，再據此引申到鄰里相處之細事。其中寫道：

「………。頃里鄰構釁，其事細於爭桑；而大姓赫然震怒，遽以一炬相加遺。余數椽之居並前人遺書數簏，倏忽煨燼。家人掃除之次，見故紙一帙未全燬，取以呈余，則余舊作若干首也。黔廬赭垣，無所可置；塚而封之，又似未忍。因命持付剞劂氏，將藉是以告四方同人曰：「家已被焚，所餘者止此耳」。其為余悲憤者、為余豪快者，故當各自有說也。」

（最近鄰里間發生爭端，事因比爭一顆桑樹還小；然而大姓勃然大怒，突然縱火加害。我這只有幾根柱子的居所及前人所留下的幾箱書，轉瞬間都化為灰燼。家人清掃的時候，看見有一本未全燒毀的書冊，拿給我看，發現是我以往所寫的幾首詩作。我這黑乎乎的屋子僅剩土紅色的矮牆；想把它埋起來封存，又不太忍心。因此吩咐人拿去印刷，並藉此告訴各方親友說：「我的家已經被燒掉，剩下的就只有這些了」。那些為我感到悲傷憤慨的、為我感到暢快淋漓的，本來就會有各自的看法囉。）

對於盧若騰的藏書，因為鄰里間的細故紛爭而引來火災所造成的損害，的確是令人深感惋惜的。但是，我們好奇的是，盧若騰所宣稱的「家已被焚」中的「家」到底是何所指？是如今的「留菴（庵）故居」、是留菴故居右前方的老宅，還是另有所指？　

　　以民間習俗，子孫考取功名、接受任何封賞、恩蔭，多半以「祖宅」為承受對象。從目前的留菴故居前方遺留的旗桿石等，可以推定留菴故居應是若騰的祖宅。那麼若騰被焚的「家」會是留菴故居嗎？另外，1646年返回金門定居的盧若騰，是否就住在留菴故居現址的屋宅內？從留菴故居的建築規模，大概很難同時住下三代或四代人。比較可能的情況是，因為盧若騰長年在外為官，故宅為父母及侍奉父母的弟弟家人所住。盧若騰返鄉後，則選擇在留菴故居對面的老宅居住，而被火焚毀的屋子，或許正是這些房子裡的其中之一。

另外，在盧若騰的文章裡，多次提到的「與堂」到底在哪裡？由於時移勢異，諸事已不可考，但是，我們仍可以從有限的蛛絲馬跡臆測猜想。在《賢聚盧氏族譜》內，載有盧若騰之孫盧勗吾〈重脩族譜序〉一篇，文末書有「康熙丙申孟夏日二十六世孫勗吾敬書於浯島七星石畔之與堂」。關於七星石的傳說，賢聚的耆老多有印象，七塊石頭散在賢聚村的四圍，有的已被國軍挖掘破壞，有的被沙土雜草掩覆，如今距離留菴故居或與堂最近的七星石之一，可能是位於泰安宮前、俗稱的「魚池」裡面。因此，與堂在七星石畔之說即可理解。另，據盧若騰八世胞侄孫盧德資所撰寫的〈大司馬牧洲公傳〉一文，文首詳曰：「公諱若騰字閑之，一字海韻號牧洲又號留庵別號四留居士，與堂者則書軒之號也」，故與堂為盧若騰的書房殆無疑問。

然而，與堂到底位於留菴故宅內，還是另有他處？要推測這個問題，先得嘗試解開「與堂」這個名稱背後所可能隱藏的意涵。首先，是這個「」字雖然通「耕」字，但是在精通金石治印之學的盧若騰來看，應該是截然不同的，就像「留菴故居」的「菴」字和後人通用的「庵」字，後世之人，若簡略的以「」、「耕」二字相通視之，可能會因而忽略了盧若騰內心的圖像。

目前留菴故居為賢聚九號所在地，但我們十分好奇「與堂」在哪裡？以盧若騰對於金石之學的考據之深，與堂存在的方式不外兩種可能。

第一：按金門人習俗，大厝通常為祖父母或父母輩居住，若騰居長（牧洲、翰如、遠甫），故居為盧若騰所繼承，但因宅第窄仄，勢必再外擴，所以，我們可以發現留菴故居前（以前並不存在馬路），乃是一片廣場，目前，盧若騰後人（亨房子弟）的居所向前延展，一直延伸到前金山，連綿成片，皆為故宅。而與堂雖為書軒，而實則只是盧若騰在留菴故宅內的居室或廳堂之別稱。

第二：與堂為獨立房舍或位於留菴故宅之外的獨立房舍內。因為祖宅故居既已為留菴祖厝或傳給若騰的弟弟家人，盧若騰則另外闢屋建室。目前，盧若騰及後世子孫之神祖牌，皆位於留菴右前方三十米的「祖廳」內，每年農曆三月十九日，賢聚盧若騰子孫皆會到祖廳祭拜。以此推斷，此每年例行祭拜，子孫皆稱之為祭拜「軍門祖」，而民間俗稱的「盧軍門」就是盧若騰，這些故宅相傳亦為「軍門府」所在。「軍門府」可能只是喪亂流離時期權變的稱呼，是對宅第主人官銜的一種尊稱。那麼，軍門府會不會就是盧若騰返金後，和南明遺老故臣過從甚密的地方？若然，則盧若騰跟這些宅第的關係可能就不一般了。

另外，「」字，有「田」有「井」。精研文字學的盧若騰為何不用「與耕堂」，而是用「與堂」？是否返鄉後的盧若騰，在心境上已經有了根本的變化，準備躬耕寄讀以終老？如此，選在有井的田邊，似乎較為便利些。以此觀之，那麼「與堂」所在附近應該存有古井。目前，留菴故居向前延展到今顏氏家廟右前方二十米所在的這片盧若騰子孫世居的這片土地上，尚有三口井存在。分別是今馬路邊的「雙口井」，即民間傳說，盧若騰母親愛在井邊洗衣時，生他的那口井，以外兩口則位於靠近顏氏家廟的另一側。從住宅的屬性的先後次序上來看，雙口井的可能性要大些！

　　綜述之，留菴故居和與堂應該是兩處地方。盧若騰被火焚毀的居室，應屬與堂的部份建物。而與堂和軍門府比較可能是同一建築群所在，與堂附近定然有田有井。若然，則今年年中左廂房屋頂傾塌的盧氏祖廳，其舂搗而成的厚實牆壁，磚石互生的壁面，顯為明代建築，而這一棟建物，也許正是與堂的所在，也是南明遺老聚會之所。如此推想，是耶？非耶？更待有心人繼之析之。