有人提及他對金門教育的貢獻，如吳貴海先生回憶說：「民國四十六年，胡璉第二度出任金門防衛部司令官，他非常注重金門的教育，因此由各師負責興建一所小學，很多新式的小學就在他任內興建完成，這些小學完工後就以師長的名字來命名，例如柏村小學就是郝柏村師長那一師興建的小學；多年小學就是王多年師長那一師興建的小學；安瀾小學就是馬安瀾師長那一師興建的小學。」 有關教育的談訪部分，筆者尚無暇整理。

其實平心而論，金門教育的成長大部分是靠中央政策的推動，才有現在的成果。但在民國四十年前後，金門初期的教育如果不是胡璉的用心，就不可能奠下如此堅實的基礎。尤其在軍務倥傯之際，換一個人擔任金門的司令官，其結果可能是不同的另一番景象。軍人擔任軍政最高首長的地方，注視者乃戰備準備及敵情變化，教育常較不受重視。因為軍事緊急時，教育常常擺在施政的後端，尤其在財源困窘之時。當時國庫困窘，金馬地區的軍需民食都需要胡璉一手來籌劃，游擊隊的經費尚需自籌，胡璉憑著過人的智慧和膽識，開闢金港(金門至香港的航線)航線，並利用物資供應社籌措財源，才能勉強維持收支平衡的局面；換是別人，可能要養活這十數萬軍民的食需都會成問題，那有餘力顧及地方的教育呢？為了開闢金港貿易，胡璉甚至被誣指為「走私」，不過胡璉自嘲是「走公」而非「走私」。

胡璉對金門教育的用心可自︽金門憶舊︾見其端倪，先就中等教育來說。金門原有金中和金東中學，這二所學校都是私立的。他有鑑於大陸的學潮，拖累整個政局的發展，因此他將兩所學校合併，並改由縣政府來辦，分高、初級兩班，學生一律住校，衣食完全公給，設備及教員都由軍隊支助。提起校舍興建，他還提及二則故事：一是爭取三萬元籌辦省立中學。「當時浙江省政府在大陳成立時，行政院每月給省府台幣三萬元，福建省政府便援例請求，院長陳辭公對兼福建省主席筆者(胡璉) 說：『因為你是我舊日部曲，為了避免別人評我徇私，所以錢不能發。』筆者(胡璉)福至心靈，忽然想到院長的籍貫，乃繼續懇求曰：『院長發給浙江不發給福建，別人依然會批評院長厚本籍而薄他省，還是徇私。』 辭公聽我言之有理，又笑問我兩全之道，筆者以為：『行政院是省府的上司，一視同仁，公平待遇，其他各省若有能光復一城一地，行政院准予援例。』於是便蒙核准了。」福建省政府拿到這三萬元，於是把金門中學改為省立。三萬元剛好可以造一間教室，於是圍繞中正堂便一月一間的造了起來，一年十二間，漸漸成了規模。 在威權時代，下屬敢向上級據理力爭者少，何況非關私人利益，只關乎地方發展的經費，如只是想做大平官者，根本可有可無；而且他還把爭取到的經費，投諸於教育設施的建設，從這一點更可看出胡璉超凡的識見和胸襟了。

　二是扛石建牆。中正堂的建築，為了氣象壯闊，雄峙虎踞以臨大陸，所以把地點選定在高崗之上。金門的季候風十分強烈，門窗震動，妨礙教學，於是胡璉又將晨操改作搬運石塊，並率司令部和全校師生扛石築牆擋風。並自喻說：「陶侃運甓，我們運石，時代不同，意義相等。」 溫仕忠先生回憶說：「金城東門街指導員任內，親眼目睹胡璉司令官肩石築牆。民國三十九年三月先總統蔣中正復職視事以後，金門軍民同胞為表達效忠領袖，擁護政府之赤忱，於民國四十年在金城西門高阜興建『中正堂』。中正堂原無圍牆，司令官胡璉乃發起城廂區公教員工、民眾、學生做義務勞動。胡司令官每日早上六時至七時率同副司令官柯遠芬將軍、行政長李德廉等軍政首長每晨到山前村扛石，由山前至后浦中正堂至少有二公里，胡璉身教感動地方父老，民眾紛紛投入搬運行列，每人自動到山前村搬石塊，不到月餘做成數千立方圍牆，胡璉司令官的身教言行，至今仍為地方所稱頌。我剛好擔任東門街指導員，每日亦親身參與搬石工作。」