安平古堡已有300年歷史，但留在遊客印象中的白色瞭望台是日據時期所建，由荷蘭人建築的「熱蘭遮城」，也就是安平古堡的前身，如今只剩一堵老榕盤據、厚實而班駁的城牆，這才是安平古堡列名的一級古蹟。

如同「普羅民遮」城(赤崁樓)，熱蘭遮城殘留的遺跡已相當稀少珍貴了，古堡西北側的古壁史蹟公園中還留有一小段殘牆，高大班駁，騎牆榕大剌剌地佔據上緣，由氣根發育而成的系根、樹幹盤根錯結，由3、4公尺的高度直達地面，早已和城牆發展到生存與共的不可分地步；屹立300年，城牆訴說的是一頁滄桑。

熱蘭遮城是在1624年開始動工興建，當時是荷蘭人統治台灣全島政治及經濟的中心，1662年，鄭成功經過8個月的包圍攻下熱蘭遮城後，收復台灣以及籌劃反清復明大業，也以此地為決策中心。

清廷接收台灣，台南地區的行政中心由安平移回府城內，缺乏管理照料的熱蘭遮城逐漸傾毀，再加上建築億載金城時為撙節經費大量利用了這裡的磚石，一般民家見狀，更是有恃無恐，修築屋舍也來此就地取材，熱蘭遮城就這麼被拆得體無完膚。

熱蘭遮城被完全剷平是日據時期的事，1930年，統治者利用原地建起了紅磚平台，以及白牆黑瓦帶有南洋風味的海關宿舍，新建築的使用面積較原熱遮蘭城小，因此部分城牆能保留至今。

安平古堡是台灣光復後的命名，現今參觀的部分大致可分為古蹟紀念館、瞭望台、古壁史蹟公園等部分；古蹟紀念館就是日據時期的海關宿舍，內容包含荷鄭時期的政治史蹟、熱蘭遮城的模型，以及由奇美博物館籌劃的荷鄭時期文物展示等。

在古蹟紀念館中兩幅巨型繪圖，左側呈現的是熱蘭遮城的位置，以及台江內海仍未淤積前安平區的形勢，右側「最後的訣別」(見圖)描繪的是鄭成功包圍熱蘭遮城時，荷蘭牧師奉鄭成功之命入城勸降，卻反而要城內人要英勇抵抗的故事；在陪同前來的鄭氏官員前竟然公然違命，出城必是死路一條，住在城內的牧師女兒當然說什麼也不肯讓父親離開送死，但牧師態度堅決，毅然決然趕赴黃泉路。畫中牧師女兒跪地懇求，牧師既不捨又堅毅的表情，再加上明鄭官員寫在臉上「自找苦吃」的內心想法，帶領觀畫人真真切切地貼近當時的情境。