從前有一位叫吳光彩的人，常坐火輪(輪船)到北頂(大陸北方)做生意。

有一次，因天氣不好，風浪太大，船就開到烈嶼龜山(貴山)避風浪，吳光彩由於太累了，就睡著了。做了一個夢，夢見自己去上庫，碰到一位八十多歲的老太婆，見老太婆哭得非常傷心，聽到老太婆說，「按子仔，緊來食。」吳光彩禁不住這樣叫，他也就前去吃，老太婆請他吃豆菜、芋梗炒土仁(花生芙)、麥粿，吳光彩吃得好飽又滿意，吃完後，忽然醒了過來，原來是做夢。

此刻，正是夏天，船也無法北上，於是下船沿著沙灘走，走了一會兒，看到了一個村莊，看見一位彷彿夢中見到那位老太婆，甚是驚訝，但不敢確定，然心中疑惑，也就趨前問阿婆：「阿婆，妳中午是不是吃菜豆、芋梗炒土仁芙和麥粿？」「是啊，你怎麼知道？」阿婆頗感訝異，不知如何？吳光彩看在眼裡又問阿婆；「妳怎麼一直哭妳兒子呢？」「我兒子像你這年紀的時候就死掉了。」阿婆這樣回道，又顯得很悲傷。吳光彩又問道：「妳為什麼一直叫吳光彩？」「我兒子叫吳光彩，今天是他的忌日。」經阿婆這麼說終於才有點明白，就跟阿婆說道：「我也叫吳光彩，因為妳一直叫，我才來吃的。」「那你一定還沒吃。」阿婆隨即端出那三碗菜餚請吳光彩吃，吳光彩吃飽後，就問阿婆：「這村莊叫什麼？」「上庫。」吳光彩默記於心，對阿婆說：「說起也是很有緣份，才讓妳請，這樣好了，我就給您做兒子。」阿婆聽吳光彩如此說，實在是非常的高興，捨不得他離開，吳光彩待了一會兒，向阿婆辭別，回到船上，此時天氣很好，於是叫大家準備啟航。

船往北方行駛，到了半途，船竟拋錨，此時，炎天赤日頭，全船的人沒有水用，吳光彩滿臉愁城，跪下來求神明，求著求著竟然睡著了，夢到佛祖，佛祖對他說：「我若幫你度過難關，你就幫我蓋廟好不好？」「好。」佛祖繼續說：「因為我原本在觀音山的廟被倭寇拆掉了，所以要你幫我蓋起來。」吳光彩馬上回道：「可以。」雙方就這樣說好了。佛祖說：「你就升起船的布帆，準備讓雨水進入水櫃。」吳光彩聽佛祖這麼說，甚是高興，忽然被吵雜的聲音吵醒了，張開雙眼，原來是一場好夢。

吳光彩趕緊叫船上的人升起布帆，準備接水，船工們深覺好笑，日正炎熱，怎會有雨？不一會兒，忽然烏雲滿天，變得灰暗，竟然下起一場大雨，果是佛祖保佑，全船的人終於解決了飲水的問題。

吳光彩利用販售閒暇時間，跑到佛祖告訴他的地方去看，看東看西，頗覺疑惑，心裡不禁喃喃自語，「佛祖說要蓋廟，奇怪怎麼沒有佛像？」就在此時，佛祖又化身一位老人家告訴他說：「你就向海的西南方駛五浬，有一塊浮著的木頭，你就拿去雕塑。」吳光彩照著佛祖指示的方向將船駛去，果然看到一塊木頭，就把它撈起雕了佛像。

之後，吳光彩即到上庫去發動鄉親出錢出力，烈嶼鄉親得知此蓋廟之消息的，亦慷慨解囊、貢獻心力，終於將西方佛祖宮蓋起來了。

明時海盜在福建沿海一帶燒殺掠奪，在烈嶼地區除了侵擾廢村外，共毀掉三座廟宇，即湖下村落的關帝廟、西方一帶觀音山的佛祖宮，及位於上庫往南塘間福上山的保生大帝廟。

後經西甲(即西方、西吳、下田、東坑、雙口、湖井頭)等六個村落提議重建，特聘堪輿，相地西村莊，夢佛祖指示該地建宮，以其有磐石，狀若蓮花，又謂蓮花地穴可隨地升浮，該宮燈火可照海外甚遠，且謂日後菩薩靈驗必甲全島。

西方佛祖宮主奉神祇有：釋迦佛祖、玄天上帝、觀音佛祖、三府王爺、註生娘娘、敞審巡察。

每年農曆十月十五日會辦「送王船」的作醮，不但西方善男信女忙得不可開交，屬西甲的西吳、下田、東坑、雙口、湖井頭的善信均會趕來共襄盛舉，可說隆重的大慶典，昔往送王船要花三天的時間，近則改為一天。

址薈獅嶺蓮花之秀，而接龜山蛇石之瑞，真山川靈氣所鍾之福地。正如宮廟大門聯：

──「座擁蓮台獅嶺靈勝先開成漉界；

門朝蛇石龜山瑰奇座設輔玄穹。」