胡璉除了積極建設金門，為金門奠定日後發展的根基外，他的愛民措施更是不勝枚舉，因而廣受金門百姓的愛戴，被鄉親尊稱為「我們的司令官」。

事實上，最初的金門軍民關係並非如此融洽，胡璉在「金門憶舊」一書中，曾有詳細的描述，書中指出，古寧頭大戰後，為了要制止共軍再度進犯，構築防禦工事便成為軍隊的要務。但構工的材料那裡來？金門無樹可砍，因此，不得不借用民間門板，民眾當然產生反感。

胡璉回憶，民國三十九年至四十年期間，巡視軍隊到鄉村，人民見到他，無不投以厭惡眼光，有一天胡璉見一位老嫗工作，趨前致意，老嫗卻對他大發雷霆。旁邊有位年青人，向老嫗介紹胡璉的身份，老嫗更怒。胡璉一探，才知部隊士兵擾民太甚，田埂上的石塊，都被搬上海岸構工，雨季來到，水沖禾失，辛勤耕種，全化為烏有，難怪老嫗怒氣沖天。

不過，因為胡璉的親民愛民作風，原本的敵意漸漸消失，金門百姓們充分感受到胡璉的愛意與用心後，「我們的胡司令官」，便成為島民對胡璉的親膩稱呼。

胡璉認為軍隊的目的是保國衛民，不可欺侮老百姓。他告誡部隊：「我們現在是軍人，以前是老百姓，退伍之後還是老百姓，我們為什麼不愛民呢？」因此，特別鼓勵「軍助民，民敬軍」。

他巡視地方時，如果看到軍人挑擔，他通常會下車詢問：「東西是你自己種的，還是幫百姓挑的？」如果是幫老百姓挑的，他會當面誇獎一番。在他的提倡之下，「軍助民，民敬軍」成為金門普遍的現象。

胡璉個性隨和、沒有官架子，不少鄉親都曾親身感受胡璉親民的一面。王殊盤回憶，胡璉外出很少帶侍從官，常獨自坐車四處巡視。有一次他挑著剛拔的花生要回家，剛好胡璉行車經過，特別下車問花生收成的情況，還在路邊和他閒聊了一陣子才驅車離去。

歐陽金章就讀金門中學時，有一天起床稍晚，趕忙跑步上學，途中遇到胡璉的坐車，胡璉看他穿著學生制服，停車詢問，知道是金門中學的學生後，胡璉便說：「上車！上車！」。西園村的黃聰明老師，就讀金門中學時亦有相同的經驗，搭乘胡司令官的坐車到學校。

早期金門車輛少，有一次胡璉司令官視察部隊，看到一位老婆婆步履蹣跚的走著，胡璉立刻下令駕駛停車，詢問住處，並專程送她回家。下車時，老太婆說：「謝謝你王八蛋！謝謝你王八蛋」，胡璉不以為意，猜想一定是老太婆平日時常聽阿兵哥講「王八蛋」，以為「王八蛋」是尊稱，因此，事後他特別下令，部隊不能對百姓講「王八蛋」一詞。

胡璉的愛民措施不勝枚舉，小如舉手搭軍車、借車娶親等等，大政策如高粱換米、地瓜換米、無息貸款養豬、建校興學及造林等，都讓老一輩金門鄉親感念不已。胡璉愛民如子的心，也曾表現在民防校閱上，讓金門民眾深受感動，戴克霖先生回憶指出，有一次全縣民防大校閱，天微亮，民防隊就集合出發，因當天早上下大雨，風雨交加，胡璉體恤民情，臨時通知改期再閱。那時民防隊員都已集合，大家認為，反正衣服都已經淋溼了，如果回去，改天還要再來，因此向大隊長反映，請司令官胡璉前來校閱，胡璉接到報告，非常感動，即刻到校閱場，看到金門民防隊精神抖擻，特別下令發給每位隊員三元，讓每位民防隊員都非常高興。

胡璉的愛民作為，拉近政府與民眾的距離，使得金門百姓成為政府強而有力的後盾，願意護衛國家，捍衛這塊土地。而胡璉親民愛民的故事，也一再流傳，成為硝煙味濃的金門島上，最溫馨的一頁。