因此林習山參與吳山會盟結束後返家，因身穿白衣騎馬經過西宅的祖厝埕前面，當時正在祭祖的西宅人，認為這是犯了忌諱，對他們的祖先不敬，於是西宅人怒氣騰騰掄起棍棒，便一擁而上，將林習山的馬腿給打斷。怎料事後他們定睛一瞧，才得知惹到的是林習山，這一下子不得了，他可是個大官，要是追究起來就糟了，眾人趕緊上前賠不是，但馬腿都已經被打斷了，這該怎麼彌補才好，林習山瞧一瞧他們說：「馬被你們打斷腿了，養傷復元得多走動走動，但沒地方給牠跑，這該怎麼辦？」西宅人一聽就明白林習山的意思，於是西宅便送了位於陽山的一塊地做為「跑馬坡」，也就是現在烈嶼消防局附近，還又贈了一座湖做為「洗馬池」，也就是現在靠近烈嶼東林南海濱的「習山湖」。由於鄭成功相當重視軍隊的訓練，知南兵善水不善騎射，北兵則相反，因此要求交換訓練，讓北方兵將習水操艇，南方兵將則練騎馬射箭，以截長補短，所以林習山就從原本海軍的樓船鎮，轉為陸軍的右衝鎮，而這裡剛好就成為林習山操兵練馬之處。
永曆四年（清順治七年，1650年）清廷派軍攻佔廣州，南明政權岌岌可危，朝不保夕。鄭成功欲馳援，但施琅卻主張不救，鄭成功不聽勸告，仍執意前往，施琅也只好跟隨，結果非但救援失敗，還損失慘重。這時有奸佞小人就趁機向鄭成功進讒言，說施琅定在背地裡扯後腿，才會造成這次的失敗，於是鄭成功開始對施琅產生了猜忌。後來施琅被鄭成功削去兵權，施琅的部屬曾德，竟然還跑去鄭成功身邊當隨扈，施琅得知後，派人把曾德給捉了回來，鄭成功得知後告訴施琅，曾德已經不是他的部下了，沒有直接管轄權，更沒有生殺大權，命令他不准殺害曾德，沒想到施琅根本不把鄭成功放在眼裡，仍擅自將曾德處斬。
鄭成功因施琅堅持殺了他意圖保全的曾德而怒不可遏，在永曆五年（1651）五月二十日密令黃山逮捕施琅之弟施顯，同時命右先鋒黃廷帶兵包圍施琅住宅，將施琅和他的父親施大宣拘捕，交付林習山囚禁於船上看管。林習山或許是顧念同僚情誼，也有可能是疏於防範，不管是有意還是無意，他並未親自監管，而是把施琅交由副將吳芳看顧，才讓施琅有機會脫逃，並在蘇茂的協助下叛降於清廷。這個結果也扭轉了臺灣命運的巨輪，有了施琅的降清，才有1683年六月，施琅指揮清軍水師，在澎湖海戰中大勝明鄭水師，迫使鄭克塽率臣民投降，並上疏籲請清廷在臺灣屯兵鎮守、設府管理，正式將臺灣納入版圖，否則施琅若未逃脫，被鄭成功給處斬了，整個臺灣歷史將就此改寫。
而施琅的逃脫使得鄭成功非常震怒，立即斬殺了施琅的父兄子侄，同時也認為這是林習山故意縱放，所以亦欲殺之，但當時鄭成功剛佔金、廈二島，正值用人之際，對於手握軍事大權的林習山有所顧忌，故免其責，只罷黜其領兵職位，殺了副將吳芳及其家人為這件事負責。但隔年（1652）鄭成功欲借重林習山的軍事專才，復授井宿鎮，履隨各鎮征伐；永曆八年（1653）賜封林習山為忠定伯；永曆十三年（1658）春，林習山隨鄭成功北伐南京，屯劄嶽廟山，連同諸宿鎮護衛鄭成功指揮大營，結果北伐失利，沙場中砲陣亡，時為二月二十二日，享年五十四歲，越年歸葬廈門嘉禾山廿四都衡厝鄉。
由於林習山功績卓著、勳業彪炳，後世子孫尊稱為「習山祖」、「伯爵祖」、「九世祖」，更將他與明嘉靖十三年甲午科進士，授河南府尹、王府左長史、歷任沔陽牧、太平知府、進階太子少保中順大夫的東林林氏六世金波祖林可棟相提並論，所以今林氏家廟大門楹聯上「六世京師文相國、九傳伯爵武軍門」指的就是林可棟與林習山。而據傳為林習山餵養戰馬之湖泊「洗馬池」，則更名為「習山湖」，並在旁興建「習山紀念館」，裡面立有林習山塑像，藉以緬懷先賢，好讓林習山的傳說與故事能在民間繼續流傳下去。（下）