寶靈寺之前殿為拜亭與鐘鼓樓，中殿為八柱重檐式建構，供奉著媽祖神像，端坐的龐大金身約兩公尺高，形態端莊慈祥，兩邊有順風耳、千里眼配祀，座後龕有十八羅漢塑像，雕工精緻栩栩如生，非常的精美傳神。後殿要經過天井，爬升十餘石階，高高建在坡地上，供奉著觀世音菩薩，金身面海凝視、佛容莊嚴，兩側有神龕配祀註生娘娘與福德正神。兩側為釋仔寺，右側因順著地勢建築，房舍漸次升高，高的稱為是媽祖娘娘的梳妝樓，房舍供僧侶居住、低的房舍做為膳房。左側房舍臨海，供奉文昌公，並有素淨膳房數間供香客借宿之用；整個寺院建築依山勢層疊而上，為三進落二護龍建築，殿宇規模俱備、建築結構古樸、氣勢莊嚴宏偉。
寺貌古色古香，飛簷翹脊、雕繪樑柱、木質窗櫺、浮雕壁堵、磚雕石刻等甚為豐富；寺中匾額林立，大部份為康熙、雍正、乾隆年代御賜或地方官員敬獻，是一座歷史悠久的三百多年古剎。寺院內植竹種花，佈置玲瓏有緻，環境幽雅，頗具詩情雅趣。每當風和日麗時候，廈門一帶商旅、香客遊人僱船登島進香，前來朝山頂禮膜拜，廟內香火裊裊。登島人將小船停泊在宮口沙灘處，纜繩繫在榕樹下的石頭柱上。
昔時寺內有僧人住持，菜姑數人協理寺務，住僧躬耕自理，自食其力，過著與世無爭的生活，然因島上必須自給自足，僧人除耕種外，在天候惡劣無人登島時，僧人也在海邊採紫菜和漁撈，所以寺中僧人私下並不忌魚腥。寺之北側有田地數畝，旁有一水井，為僧人耕種灌溉之用，並取井水烹茶招待登臨遊客，因甘甜芬芳而讚不絕口，古井為磊石砌成，井口狹小，無法大量取水。
宮口碼頭平時就是作業漁船雲集，遇到風浪大作時，閩南七縣的漁船都趕來避風，桅杆連綿不絕，漁家攜家帶眷上島憩息，燒香許願、祈求保佑海上平安，並補給飲水，把漁獲的丁香魚曬滿整個宮埕，在寺後的大石坡上，到處都是曝曬的黃魚乾。
每當黃昏夜幕，媽祖座前的長明燈，照亮整棟廟宇，門戶暢開、燈火通明，留宿香客與捕魚人，齊聚在宮口埕，大家圍繞著一盞桅尾燈，老老少少席地而坐，喝茶聊天、擺龍門陣，有人講古、有人唱曲，一派昇平景象，像是遺世的世外桃源。
在寺後側的巨石縫中，有一滴水甘泉，芬芳清涼、可生飲，人稱「佛祖乳」，傳說此泉在災難飢荒時，會流出米糧救助災民，也會拒盜匪強寇，但因遭宵小覬覦破壞而不再出米，只有泉水終年不絕，登島人都會取來解渴，祈求身體健康。
寶靈寺之靈氣，島上風光明媚，當年的文人武將、名人賢士，在天氣晴朗時，三五好友結伴，僱一葉扁舟，登臨進香遊覽，至此都會一抒胸中塊壘，即興賦詩題字，因而留下珍貴的墨寶石刻，遍佈在寺後整座石頭山坡上。
烈嶼人只把大膽島當做往來廈門的中繼站，以前要到廈門探親或經商，或到南太武山去砍柴取薪，偶會上島歇歇腳，並向住僧討水喝；打漁船遇到大風浪時，就把小船靠在宮口，卸下風帆、拴住纜繩，到寺裡借宿避風過夜。青岐人喜歡呼朋引伴，一起到大膽島砍柴或漁撈，或到礁石間撿拾貝類，有時就自備糧食到寺裡借住數日，謂之「站嶼」，都會有很豐富的收穫。
民國二十六年抗日戰起，有廈門一家三人借住在寶靈寺避禍，人都稱「大擔成仔」，擁有自家小船一艘，往返廈門之間，採購些洋火、香煙等日常雜貨販售，做些登島人的生意。
民國二十九年三月，汪精衛叛國組織偽政府，成立「反共和平救國軍」，閩南警備司令部派穆清華為司令，駐防浯嶼，派第一中隊長韓金山率數十人進駐寶靈寺內，任用烈嶼青岐人洪根福（目前為烈女廟住持）為隨扈兵；軍人曾將匾額卸下，舖成整排當做床舖板使用，名為在島上進行訓練，實為守住廈門港口，並配備快船兩艘，對往來商輪進行臨檢勒索。
民國三十四年抗戰勝利消息傳來，救國軍頓起內鬨，利用熟睡時群起誅殺親日派漢奸二十幾人，自相殘殺，血濺佛門聖地，隨後撤至漳州接受中央國民政府收編；血案發生後，住僧與大擔成仔恐被牽連，連夜逃回廈門，寺廟從此無人管理，遂漸現破敗跡象；菜姑轉往金門水頭金水寺任住持，不久即還俗嫁至烈嶼青岐，菜姑養育一女嫁至后頭村。
國共內戰烽火再起，民國三十八年國軍佔駐大膽島，駐紮在北山的部隊將古寺做為伙房之用，民國三十九年大膽戰役時，被稱為「三谿之神」的炊事班長周岳山，帶領班兵據守在寺後高地，猛向進攻的敵軍投擲手榴彈，造成敵人重大傷亡，自己也中彈英勇殉職。（四）