從民國55年蔣經國先生指示侍衛長郝柏村從第三士校挑選「金門子弟108位」赴憲校受訓，於當年7月31日至士林總統官邸擔任內衛區衛開始，金門人被選入為早年總統府警衛隊至87年國防部警衛大隊止，擔任官邸金馬人士，共有33梯次1630餘人。
這批鐵衛軍於6月11日，在金門盈春閣餐廳成立《金門縣精忠衛隊協會》。
協會發起人、特勤中心上校督導測驗、訓練組長退役的張鴻飛說：成立協會緣起於去年10月31日在台北大直碧海山莊舉行「總統府警衛隊90周年慶」聯誼餐會時，與會袍澤共憶當年赤膽忠心、同生死共患難的豪情不減，為有一個長久交誼的窗口，藉以相互關心照顧，而發起成立協會。
張鴻飛被推選任籌備會主任委員，旅台主要發起人包括何榮昆、洪國興、蔡忠孝、李碧堯、陳鳳麟。金門主要發起人為許景烈、張峰勳、張福全、林有盛、陳國祥、董明回、王國代、李文開、黃文成、王志雄、許修身、洪天南、及縣議員洪鴻斌等人。
民國10年先總統蔣中正任孫文大元帥行營參謀長時麾下4位近身衛士，是精忠衛隊前驅，13年黃埔創校建軍的衛士隊，是精忠衛隊肇始，至去年屆90年。民國44年整編為「總統府警衛隊」也已一甲子。
金門籍衛士組成的第一代內衛區隊，是民國55年5月中旬，蔣經國先生認為金門人忠貞愛國可靠，指示時任侍衛長郝柏村至金門，從54年創立的第三士校第一期學生共3個中隊450名金門子弟中，挑選身高165公分以上、儀表端正、品德、體能良好、家世清白者共108人，進憲兵學校預士班第36期受訓兩個半月，結訓授以憲兵下士（特種警衛士）任用，分配2-4區隊，每一區隊36人，負責士林官邸內衛區警衛勤務，始有「金門108條好漢」稱號！
民國65年，總統府警衛隊改制為「國防部警衛隊」，原遴選官邸補充衛士作業正規化，以前當衛士不足時，曾由三軍部隊甄選金馬籍人士至官邸接受2個月集訓教育，後開設「國防部警衛士官班」，並從第一期（為12梯次）招生，仍延續傳統於金門獨立招考，但不直接於士校應屆畢業生中遴選，改為直接招生後，由金門士校代訓1年，每期招生60人。再至官邸銜接精訓3個月，掛下士階任用。
至蔣經國總統辭世，均維持僅由金門一地招考特種警衛士之傳統，金門子弟大量於內、侍警體系服務。金門子弟也是歷屆總統貼身保鑣的出產地，因此侍衛系統「金門幫」之名不脛而走。
而「精忠衛隊」之名，緣於蔣經國總統勗勉「國防部警衛隊」的訓詞--《精誠團結一條心、忠貞愛國為領袖》。《精誠》與《忠貞》乃成為該部隊的精神與軍風，並以《精忠》為部隊名。