大膽島北山自明朝即有媽祖古廟，《廈門誌》載：「大擔澳在大擔嶼西天后宮前，可暫寄泊」。以及「前園宮在大擔山後，天后主廟也，杯筊甚靈」。廟因年久失修殘破簡陋，據傳清朝靖海侯施琅征台前巡視大膽海域，登島祈求保佑大軍海上平安，凱旋後於康熙二十四年（1685年），為還願向廈門商賈募款重建，將廟擴建成三殿落兩護龍之規模，廟依山順勢而建，殿宇莊嚴、氣勢宏偉，廟址在今日的北山廟前，豎立「大二膽戰役紀念碑」之處。
廟因供奉媽祖娘娘與觀世音菩薩，而稱為「寶靈寺」，但漁民卻依然稱為「媽祖宮」，將北山稱為「媽祖山」，每逢三月二十三日媽祖誕辰慶典，廈門進香遊船絡繹於途，媽祖宮口碼頭帆檣雲集，香客如織，熱鬧非凡。
媽祖山，岩壁陡峭、怪石嶙峋，層層疊疊，登臨其上金廈港灣瞰置無遺，波光帆影水天一色，自然景觀令人陶醉，是廈門人登臨遊覽的天下。當年文風鼎盛，騷人雅士相邀登島，飲酒賦詩，低吟長嘯；帶兵儒將登臨亦意氣風發，揮毫留字，一抒胸中塊疊；島上岩石又極適合題刻，故留下許多文人武將手澤，久而累積不少鉅幅石刻，無論書法、刻工、辭藻皆美，蔚為大觀。可惜歷經砲火摧殘，大部分碑碣已屍骨無存，今僅有少數殘留，彌足珍貴。
寶靈寺有住持和尚數人、菜姑以及經營小店商人，北山另有漁家搭屋數間屯墾，因屢遭盜賊侵擾洗劫，而無法長久居留，開墾的數畝田地成為廟方資產，住持僧侶自食其力，耕種自給自足；廟旁有方池塘可灌溉，也有口水井（非現在的大膽神泉），水質甘甜，可提供香客和捕漁人飲用，因而成為憩息的驛站地。
烈嶼人只把大膽島當做海上中繼站，要到廈門經商或到南普陀寺進香，或探親或到南太武山砍柴取薪，船經過時偶會上島歇歇腳，並向住僧討口水喝。漁船遇到風浪，就把船靠在宮口，卸下風帆拴住纜繩，到寺裡借宿避風過夜。青岐人喜歡呼朋引伴，到大膽島砍柴或漁撈，或到礁石間撿拾貝類，有時就自備糧食，到寺裡借住數日，謂之「站嶼」，都有豐富的收穫。
《廈門誌》載：「道光十九年﹙1839年﹚，廈門以大小擔、浯嶼為門戶，險要稱最，為通泉、漳要衝。水師各分汛地，派營弁領船駐泊巡緝。小擔、浯嶼亦各有分防專守」。《金門縣志》亦載：「道光十九年鴉片禁嚴，有夾板船詭稱遭風，往來大小擔洋面，適福建水師提督陳化成哨至，遂揚帆去」。大膽水域海防雖嚴密，洋人依然勾結海盜探路，試圖運毒闖關。
「鴉片戰爭」爆發，英國艦隊攻佔廣州以後，於道光二十一年﹙1841年﹚八月二十五日，浩浩蕩蕩進軍廈門，船艦三十八艘，運載兵士3,500人，進入大膽海域時，大擔砲台發砲迎擊，旋被艦上強大火力摧毀，艦隊開進廈門港，島上八千清軍嚴陣以待，奮力扺抗，終不敵船堅砲利，廈門陷落，任其燒殺掠奪。
翌年，中英鴉片戰爭結束，滿清戰敗，簽訂喪權辱國的第一個不平等《南京條約》，賠款及割讓香港，並開放廣州、廈門、福州、寧波、上海等五個港埠成為通商口岸。廈門因自乾隆至道光年間，「漳浦兩地由閩南往西洋、東洋、下南、上北四條航路，都經過大擔、小擔，是南來北往船隻取汲的港澳」。交通運輸發達，英國皇家海軍部製作刊印的航海圖，早已將大膽海域列為重要水道，標注水深和礁嶼分布，可見英國覬覦廈門之地已久。
廈門自開放通商後，海上貿易興盛，成為東南沿海對外的重要港埠，進出廈門港的船隻絡繹於途，都以大膽島作為「海門」，大擔海域潮流洶湧又多島礁，不熟航道者在夜間航行，常有觸礁情事發生，相傳有寶靈寺僧人慈悲為懷，為行船人夜間安全，每日爬上南山頂上點一盞燈，做為廈門港的航標，故南山俗稱「點燈火山」，又名「天燈山」。
廈門港埠日益繁榮，商輪川流不息，清廷遂於同治四年﹙1865年﹚，委由英國人設計，在大膽島南山建造閃光燈塔乙座，名為「大擔燈塔」。在中國海關民國十六年印製的《通商各關警船燈浮樁總冊》中記載：「大擔燈塔編號第45燈，屬福建省同安縣廈門關，在廈門外口北路大擔島上，設有白色鐵燈房一座，上置六等透鏡四面，白光聯閃明滅燈」。日本出版的《燈臺-支那/三都/福州》中記載：「大擔燈塔番號125，1863年建造，台塗鐵造小舍，塔高10呎，為第六等折射，複連明暗，光遠距離10浬」。
大擔燈塔因不足以涵蓋全航道，遂又在大膽島的西南方，相隔三千公尺之青嶼崖壁上，建造乙座不動紅光的「青嶼燈塔」，以輔助大擔燈塔運作，共同指引商輪進出航道，燈塔定時明滅閃爍，成為大膽島的標誌。
光緒元年﹙1875年﹚，福建水師提督彭楚漢巡視金廈海域，奏請築建嶼仔尾、磐石、白石頭等砲台，形成互為犄角，守護大膽島洋面、以保衛廈門港，至光緒二十二年﹙1896年﹚，咸感「火力不能及遠，一有戰事，沿岸火力不能破甲，對閩省防衛不能起到戰略性威懾作用」。遂再奏請購置克虜伯大砲，築建第二代海防砲台在胡里山上。
國民政府肇建，軍閥割據，國勢積弱不振，日本狼子野心，企圖侵略中國。《金門縣志》載：「在民國二十五年六月十九日，大膽島海域附近，發現不明國籍軍艦七艘停泊」。大擔燈塔示警，廈門一帶加強警戒，軍艦不久旋即離去，研判為日艦試探中國防務虛實，侵略的觸角已伸向中國東南沿海。
「七七」抗日戰爭爆發，民國二十六年十月二十六日金門淪陷，當時國軍恐日軍艦循九龍江進軍內地，在浯嶼與大膽處炸沉商船數艘以堵江，遲滯日軍之迅速進展，形成金門淪陷而保住廈門的局面。翌年五月，日艦浩浩蕩蕩開到大膽海面，胡里山的要塞發砲迎擊，砲彈飛越大膽島，日艦以強大火力壓制，迅速闖入廈門港，廈門旋被鬼子佔領。
《金門縣志》載：「民國三十一年二月，中央第二十五集團軍諜報室情報員許順煌，因該線同志許水龍行蹤不密，在烈嶼被日軍破獲」。時為元宵節前夕，擔任通訊員的青岐漁民洪水尚、洪水枝、洪培育、陳榮、陳前琪、吳水派、李文秀、陳欽瑞、李炎佳共十一人被捕，經過嚴刑酷打後，以麻繩綑綁成串，又恐其逃脫而擊斷小腿，用船載至二膽島沙灘，令其自掘大沙坑，再用木棍敲昏集體活埋。
抗戰勝利後，在大膽島古寺旁發現一個「忠魂塚」，為當時廈門的愛國志士，不忍被日軍殺害的烈士暴屍沙灘，共收集五十付忠骸，遷葬埋骨之處。今日忠魂塚又毀於戰火，烈士英靈已奉祀於太武山忠烈祠，並在青岐的清遠湖畔，建築「抗日紀念公園」，紀錄抗日英雄芳名供人瞻仰。
我國獨立抗戰，雖是艱難困苦，卻是全民同仇敵愾，汪精衛卻叛國組織偽政府，民國二十九年三月，成立「和平救國軍」，在閩南設警備部，莫清華為司令，駐防浯嶼，派第一中隊長韓金山率百餘人駐守寶靈寺，配備快艇兩艘，對往來商輪臨檢勒索，封守廈門港口。
民國三十年十二月七日，日本偷襲美國珍珠港，太平洋戰爭爆發後，日本節節失利，盟軍飛機的轟炸已擴及金廈地區，日軍恐盟軍進攻廈門港，開始在大膽海域全面佈雷，翌年六月，颱風來臨，固定水雷的鐵鍊斷脫，巨大的圓球形水雷隨波飄流，有青岐漁民用網將其一個個拖回至烈嶼龜山沙灘，卸下信管，倒出火葯販售。
民國三十四年八月抗戰勝利消息傳來，駐紮在寶靈寺內的救國軍頓起內鬨，形成兩派激烈辯論，一派利用熟睡時群起誅殺親日派漢奸二十幾人，血濺佛門聖地，自相殘殺後撤至漳州，部份接受中央國民政府收編，餘作為鳥獸散。
艱苦的抗戰獲得勝利，人民期盼的「和平時期」日子短暫，國家的復員建設未及開展，國共內戰如火如荼燃起，國軍節節失利，共軍渡江後勢如破竹，民國三十八年八月福州陷落，福州綏靖公署代主任湯恩伯上將，坐鎮金門整頓防務。
九月三日，陸軍第五軍李運成軍長率二○○師麻心全部隊進駐烈嶼，派一個步兵連駐防大膽島，作為前哨警戒站，九月三十日金門宣佈封港，管制船隻進出，金廈交通斷絕，滯留廈門的金門人，從此無法返鄉。十月十七日共軍以葉飛的第十兵團攻陷廈門，廈門附近島嶼亦相繼陷落，唯大二膽島卻遺落在國軍掌控中。
金門已是岌岌可危，所幸在十月二十五日「古寧頭大捷」，才使金門與周邊島嶼屹立不搖，但是大二膽島因地處偏遠又深入敵前，防守和補給相當困難，國軍徵召烈嶼青岐的漁民組成「船伕隊」，擔任對大二膽島運輸補給。島上兵力單薄，並無構建永久性之防禦工事，隨時都在準備撤守中。
民國三十九年六月，陸軍步兵七十五師（三谿部隊）汪光堯部接防烈嶼，派225團第一營營長史恆豐率一個半連二百多人進駐大二膽島。中共欲打開廈門港封鎖，以利軍需民食運補，企圖奪取大二膽島，葉飛兵團遂挑選八十六師一個加強營，以精銳700餘人、機帆船27艘，配屬重機砲連，於七月二十六日渡海攻擊，乘暗夜又是颱風天，強行登陸突襲。
營長史恆豐沉著應戰，激戰晝夜，南北山通訊中斷，傳令兵賴生明負傷奮勇穿過敵陣，聯絡合力反擊，使敵悉數就殲，此役國軍以寡擊眾，千鈞一髮中贏得勝利，小兵立大功的戰役，使大膽島聲名遠播，史稱「大擔島大捷」，此後共軍不敢再越雷池一步，對穩定台海情勢，居功厥偉。
清理戰場時，俘虜敵軍252人，擊斃310人，未登陸即溺斃海中百餘人，無一人生還，共軍是偷雞不成蝕把米。國軍以298人守島應戰，遇到敢死隊的勁敵，也是付出慘重代價，國軍軍史館資料記載大擔島戰役：「國軍官兵傷亡一百七十人」，傷與亡並沒有明確區分。國防部為褒忠烈功勳，特在烈嶼興建「軍人公墓」，安葬大擔島戰役陣亡將士忠靈，今烈嶼軍人公墓經整修過後，尚可明確辨認出，該戰役殉國烈士忠墳九十一座，尚缺陣亡的作戰第二功鄒仕祿之塋，還有重傷後送台灣無法醫治而死亡者，並未安葬在此公墓內，所以陣亡人數應在百人以上。
大膽島戰役時，造就出英雄人物，賴生明居作戰第一功，司令官胡璉稱譽為「三谿之魂」，當選為戰鬥英雄。住在寶靈寺的炊事伙夫頭周岳山，利用廟之地勢，以手榴彈襲敵無數，後雖壯烈成仁，胡璉稱其為「三谿之魂」，獲選為作戰第三功。營長史恆豐沉著應戰，獲得勳獎和晉陞，以小搏大的戰役，使其一戰成名，成為家喻戶曉人物。（中）