1960年代的信義路三段，師大附中校門對面出現一個美軍營區，旗桿上懸掛著星條旗，旁邊的巷口立了一個牌子─美軍顧問團團本部（Headquarters Military Assistance Advisory Group），巷口有憲兵站崗，134巷7號的大門對面是聯勤台北第一美軍招待所（MAAG Club），這個營區原是美海軍的輔助通信單位，實質上是中情局駐台的不公開機構。
1978年12月15日下午3時，美國駐華大使安克志（Leonard S. Unger）突然打了一通電話給總統府英文秘書宋楚瑜，告訴他一個難以啟齒的消息。16日的凌晨12:30，他前往七海官邸向已入睡的小蔣總統傳達大使將緊急求見。2:15，一臉歉意的安克志登門照會，稱美國政府決定在當天上午9時宣佈與中共建交，強調深夜打擾是為了「提前告知」。
12月27日，美國總統卡特（James E. Carter, Jr.）派副國務卿克里斯多福（Warren M. Christopher）來台說明，剛離開松山機場，座車就遭到憤怒的示威群眾蛋洗。當時國內的反應激烈，北門的大使館也遭民眾包圍，有人試圖越過圍牆進入升國旗，場面混亂，是繼1957年的「劉自然事件」的另一次嚴重的反美抗議。經國先生以「台美斷交」令國家陷入危機為由，斷然將年底的增額中央民意代表選舉延後。
1979年2月28日，北門的美國大使館閉館，這棟建築後來被拆除，原地蓋了國稅局；中山北路二段的大使官邸也人去樓空，後來變身為「城市光點」電影院。1979年美軍撤離台灣，4月16日，美軍顧問團團本部換了新招牌─美國在台協會（American Institute in Taiwan, AIT），成為非正式的準外交機構，負責辦理赴美商務和留學的簽證，門口常出現大排長龍的景象。
台美斷交後，15年的軍事援助停止，根據「台灣關係法」，中華民國政府在美國華府設立矮化的「北美事務協調委員會」（Coordination Council for North American Affairs, CCNAA），作為台灣與AIT對等的協商窗口，維持雙方「非官方」的實質交流。台美關係的遽變，刺激了移民潮，不少台灣的大學畢業生懷著「美國夢」出國唸書，然後就留在美國工作，楚材晉用。台灣在外交折衝不懈奮鬥，挺住驚濤駭浪，套一句當年退出聯合國時的口號，我們是「莊敬自強，處變不驚」，雖是斷交，而非絕交。
1984年我第一次到AIT，是從建國南路二段69巷的後門進入，為了去考「軍售留美」的ECL （English Comprehensive Level），凡是赴美受訓的軍官必須接受這種語文測驗，80題聽力，20題字彙文法，達到80分纔能獲得美方的簽證。所謂「軍售留美」是向美方購買防禦性武器，附帶提供軍事學校的短期班次受訓名額（要付費），和美軍一起上課，因為沒有邦交，不能穿著軍服。有些陸軍作戰兵科的學員在受訓期間，每遇到「機密性」的課程，美方會要求暫時「迴避」。
1990年代，空軍正在進行新型戰機的換裝，我參與一項航空生理訓練裝備的購案，最後國際標案在中央信託局開標，結果是美國廠商落敗，引起AIT的關切，為此奉命和兩位官員餐敘，說明整個採購過程的公平性，上面交待要避免私下以國語交談，因為那些人曾經來台學過中文，聽得懂我們在說什麼，搞不好還娶了台灣老婆。
不久飛行員分批赴美接受F-16換裝訓練，美方又要求必須在當地再受航空生理訓練，我據理力爭，認為我方的訓練裝備和制度俱全，沒有必要重覆這些冗贅的訓練。幾個月後AIT安排一位來自琉球嘉手納的軍官來單位履勘，那位少校（中校候選人）有點來頭，專業背景與我相同（主官職務，博士學位），我穿著上校軍服做簡報，陪他看了兩天的施訓情形，但對不起，他不能穿軍服，因為台灣非邦交國。
1998年6月，五角大廈寄來一份文件，針對那次的參訪報告給予高度的評價，並且附上一張效期4年的專業證書，是全球獲得認證的第8個國家。從此我方出國受訓人員憑本單位簽署的完訓證明，就可免除相同的付費訓練。四年後效期屆滿，AIT又安排另一次參訪，由於單位的硬體設備更加充實，輕鬆過關。那位來台的軍官遂變成朋友，我退伍時收到他從嘉手納基地寄來的簽名紀念品，他晉升上校時，我也同樣地寄賀禮到美國，現在是FB上的朋友。
在台美建交，拿人家好處的年代，美軍的待遇相當優渥，第一任美軍顧問團團長蔡斯少將（William C. Chase）住的是當時省議會議長黃朝琴的「蘭園」（後來改建為國賓飯店），台北市區的招待所有「自由之家」（愛國西路），「彩虹賓館」（中山北路三段，今市立美術館）；懷寧街也有一家供外國記者聯誼的「中國之友社」（今公園路燈管理處）。美軍來台度假的高潮時期，市區有30家合法酒吧，最後一間歇業的是中山堂對面的幸福酒吧（永綏路）。
美軍駐台期間軍紀不佳，性侵害事件時有所聞，其中最人神共憤的是發生在1964年11月2日的「天兵6號」聯合空降演習。3名美軍黑人士兵行經彰化縣埤頭鄉的和豐村時竟然持鎗欲強暴一名農村女子，由於她抵抗不從而被毆打成重傷。美方竟以「外交豁免權」將嫌犯送回琉球審訊，並要求我方的外交部觀察員退席。
當時幸有精通國際法的端木愷大律師（前東吳大學校長）挺身主持正義，他的法學素養最後令美方折服。次年2月，琉球奎裕營區的軍事法庭宣判3名士兵有罪，處以10年以上的徒刑，立即入監服刑，討回了公道。於是美軍纔開始檢束軍紀，延宕多年的「在台美軍地位協定」也於8月31日完成簽訂，我方終於取消美軍的豁免權和爭取到審理權。
1946年成立於南京黃埔路的美軍顧問團，歷經國共內戰和二戰後的冷戰，隨著政治環境的改變，星條旗不再飄揚在台北。2018年，AIT搬遷到內湖的新館，市政府計畫將舊址改建為音樂圖書中心。美國給予國際的觀感是盛勢凌人的霸權，我雖留美，但不親美！