香山在今廈門市翔安區新店鎮和內厝鎮境內，面積約三平方公里，海拔176米。嘉慶版《同安縣志》記載：「香山亦距縣（指同安縣城）東四十里，山巔有石狀如香爐，晨夕雲煙裊繞，舊名荒山，明邑令朱徽改今名。朱徽是江西新城人，明正統四年（1439年）由舉人任同安縣令，據此「香山」之名始於正統年間。但從香山巖齋房遺址出土的石碑考證，明洪武九年（1376年）已有「香山巖」之名，比正統早60多年。又據清光緒二十七年（1901年）董事鄭錦文等十四人同立的《重修香山巖佛祖宮序》（紙質，吳鶴立先生收藏）記述：朱子簿同時來遊斯地，諸山之草木皆香，乃改荒山為香山。朱熹於宋紹興二十三年（1153年）七月蒞任同安縣主簿，志載他有登遊鴻漸山、香山之蹟，由此推測他為荒山改名也是在理。
香山自然景觀瑰麗奇特，素有「香山十八景」和「三獅六虎七麒麟」的奇觀，各景惟妙惟肖，天然成趣。相傳朱熹為之命名的自然景觀有：天鵝孵蛋、彌勒敞肚、通天蠟燭、燕子歸巢、執笏　朝天、仙人芭掌等。還有「仙足跡」遺跡，據傳赤腳大仙自此一步跨海，一隻足跡留在香山，另隻足跡落在對面的金門太武山。這些都是從前的自然與人文景觀。2009年又增添今人張再勇撰文、邵文化書丹的《翔安賦》石刻新景，為古老的香山賦予新時代的內涵。
民國版《同安縣志》記載朱熹遊香山一事說到：「朱子簿同時，已有登眺之跡，手書「真隱處」三字，在寺（指香山岩寺）後山麓，半被鑿壞。」筆者1982年元月30日普查文物時首次發現這塊石刻。石塊高1.10米，寬0.79米，字為直書近乎隸體，每字高0.24米，寬0.20米。相傳清代有位姓鄭的讀書人到香山隱居，見此宛如世外桃源，便在「真」字右邊加耳旁，鑿成類似「鄭」字變成「鄭隱處」。朱熹擅長堪輿，曾為同安蔡林社（今屬集美區杏林鎮西濱社區居委會）「標題八景」。他既遊香山，觸景生情，根據自然實體的形像命名一些自然景觀也是合乎情理。民間甚至相傳，朱熹遊香山時還留下了『香香兩兩」的聯句讓後人答對，據說有人以「散散單單」對之。朱熹在《敬齋箴》中有這樣的警句：不東以西，不南以北。弗貳以二，弗以三。第二句「貳」是動詞，「二」是名詞，是說做事要專一，做一件事的時候，不要插進第二件事。而這裡的「香（形容詞）香（名詞）兩（數詞）兩（量詞）」與上述句式類似，因而此聯傳為朱熹所作也並非空穴來風。
香山有香山巖，也叫香山寺。相傳原有荒山廟，奉祀釋迦佛祖（址在今香山巖西面），清水祖師生前曾雲遊駐足是廟。南宋紹興年間，同安黃厝東派黃氏族人依照神示獻出始祖墓地建香山寺（即今址），奉祀清水祖師。閩台民間對清水祖師陳普足（1045─1101）有蓬萊祖師、黑臉祖師、昭應祖師、輝應祖師、落鼻祖師等多種稱呼，但多稱為「祖師公」。據不完全統計，古同安（括今廈門市區、金門縣、集美、翔安等地）奉祀清水祖師的廟宇有八十多座，幾乎是「有巖就有祖師公」。金門古區奉祀黑臉祖師的太文巖寺，雖然圯廢多年，但已興工重建，2009年10月13日由李炷烽縣長主持上樑儀式。從前廈門、金門的善信多到香山巖進香請火、許願，神緣深遠。明萬曆三十九年（1611年）蔡獻臣（金門瓊林人）的堂侄蔡維英到同安探訪「望洋庵」（蔡獻臣在縣南創築的別業），同時也到香山登遊，蔡獻臣則捐修香山巖僧舍。「金門才子」許鍾斗（即許同安）遊香山時還寫下了《遊香山》一詩：「層巒遊不盡，拍手上香山。舉白浮天色，來青識聖顏。披雲亭渺渺，漱石水潺潺。日暮煙嵐合，相看意未還」。反映了明代香山的風光景色。
現在的香山巖寺是南宋紹興年間始建，明代洪武年間重建，正統年間重修，清代也曾多次維修，1992年再修。寺宇坐東南朝西北，依山而建，勢如「猛虎下山」，佔地面積315平方米，磚木抬樑結構。中軸線上由西南至東北依序為前殿（門廳）、天井、正殿，通面闊三間計12.5米，總進深26米。前殿進深一間，明間高出兩次間，歇山佈瓦頂，門牆立面嵌飾輝綠巖「二十四孝」人物浮雕圖，大門楹聯為：香宇森嚴清水慈濟防患禦災赫赫英靈曌日月，山門壯麗祖師善利降祥賚福巍巍厚德派乾坤。正殿高於前殿，進深四間，屋面前部為捲棚頂，後部為歇山頂。前後殿之間由天井設九級石檯階連接，石階兩側各鑿方形丹池一口，引山泉流經暗溝通往寺前的放生池（池中架石橋，故也稱日月池）。巖寺南側有明正統年間同安縣令朱徽創建紀念朱熹的「徽國文公祠」。朱熹祖籍徽州婺源（今屬江西省），卒後賜謚「文」，紹定三年（1230年）九月改封「徽國公」，故祠以「徽國」稱。該祠曾作「香山書院」，明末有不少讀書人於此結盟習文，應舉登第。據東園張氏族譜載，當時有十位盟友，即東園張及我，集美陳文瑞，縣城周家椿，大嶝張廷拱，金門許鍾斗和蔡復一，澳頭蔣芳鏞，東市林一柱，蓮花葉成章，淗江李揚虞。他們除張及我外，九人於萬曆至天啟間先後登上龍虎榜，成為同安的鄉賢名宦。直到清末，洪國器（縣城北門人，光緒五年舉人）還掌教過香山書院。因此，香山岩是古同安的清水祖師主廟，香山書院也是同安的文化搖籃之一。
香山巖於1996年被同安縣人民政府公佈為文物保護單位，香山景區於2004年12月被福建省人民政府列入第六批省級風景名勝區。每年農曆正月初六日廟會，四面八方香客數萬人「上香山」，民間各種藝陣如宋江陣、車鼓弄、拍胸舞、鑼鼓唱、南音隊等也到場競藝，使一年一度的「香山廟會」成為集禮佛、遊春、登山、貿易、娛樂為一體的民俗節日。因此「香山廟會習俗」也於2009年6月被廈門市人民政府列入非物質文化遺產保護名錄。