「魚生、井深、甘藷甜」，這句俗諺主要是針對昔果山而言，反映了當年昔果山村民謀生艱苦，但是住民奮力更生，讓該村愈來愈有發展。昔果山，舊名菽蒿木山，也名赤果山，名稱的由來，相傳此地乃唐朝陳淵牧馬時種植菽蒿木之處，因而世代相沿，稱之菽蒿木山。另一稱，清朝巡官常來此探訪民瘼，某巡官見路旁百姓採收乾豆之菽豆，形似小麥，村民說：「這叫菽阿！」巡官告訴馬伕：「菽阿乃乾枯之禾草，和蒿木(乾枯之草木)」相似，就稱此地為菽蒿木山吧！」。昔果山一地，最先來發展的，是一位翁姓人士，後來才有由內陸來的捕漁人來此定居，並且傳衍下來，這個村自明朝開基到現在，已有四百多年的歷史。明朝中葉，有島東內洋吳氏之裔孫分衍此地以漁撈為業，清朝雍正年間，又陸續有翁、余、林、張、薛、周等姓人家遷居該村，均以捕魚為業，而形成一個多姓氏的村莊，目前境內分為頂山與下山兩個角頭，頂山多姓余，居宅朝西北，下山多為姓吳，居宅朝西南。住民以吳姓居多。

昔果山在往昔，可以說是童山濯濯，黃沙滾滾之地，有「昔果山、半邊山，不是半飽就是餓死！」，反映住民謀生的困阨。甚至，在萬般不如的自然環境中，該村住民連要喝一口水，也都非常困難，不但水井井深十三潯半，而且常常汲不到水，如果汲到水，也泰半僅得半桶而已，在往昔都要老遠的背山去取水呢！

另外，昔果山的農地不良於耕種，遇雨過濕，遇旱過乾，使大部分的村民，謀生十分困難，因此，大多村民自來即以「無法度就靠海」，只好轉向大海討生活。

昔果山南為料羅灣海域，灣內有礁岩嶼綿延的沙岸地形，自古以來即為牽網(罟)漁獲的絕佳場所，與后湖即為地區有名的漁村之一。村民捕魚外，也墾荒種植，由於此地土質為紅土層、鋁土層及鐵質結核層之混合礫石層，難以栽種作物，村民為了生活，常到海邊採沙作客土改良，才漸有五穀雜糧之生產。因土質關係，種植的花生和甘薯特別堅實甜美，在金門是有名的花生、甘藷產地，近年來因人口大量外移，產量也逐漸減少。

早年的昔果山，雖然是個艱苦地，但是村民卻勤勉的幹活，不怨天、勇敢的挑戰大自然環境，住民們都努力的賺吃，勤奮的農耕，種出遠近馳名的花生和甘薯，也拚力的放洋捕魚，使生活環境有了顯著的改善和變更。

近年來，昔果山隨著人口的外移，農耕和討海的住民愈來愈少，也因自然環境的改變，漁獲量也日漸減少，人口呈現老化的現象。在鄉公所努力推動一鄉一特產的地方傳統產業，期許昔果山的花生、甘藷以及同樣式微的盤山菜脯，能和古寧頭石頭蚵一樣的再振興起來，來活絡地方。