Pada awal dibangunnya benteng ini bernama Benteng Jum Pandang(Ujung Pandang) namun pada tahun 1667 kerajaan Gowa kalah setelah melakukan perjuangan yang hebat pada masa penyerbuan Belanda, dikarenakan mereka(Pasukan Belanda) ingin menguasai jalur rempah rempah yang ada di bagian timur Indonesia. Hingga pada akhirnya kerajaan gowa meneken Perjanjian Bongaya, di mana salah satu poinnya berisi penyerahan benteng ini kepada pasukan Belanda. Di bawah pimpinan Gubernur Jenderal Hindia Belanda Cornelis Janzoon Speelman, benteng ini diubah namanya menjadi Fort Rotterdam yang di ambil dari nama Kota Rotterdam yang merupakan tanah kelahiran Gubenur Hindia Belanda pada masa itu. Sejak saat itu benteng ini menjadi pusat pemerintahan Belanda di wilayah timur Indonesia dan merupakan salah satu tempat penyimpanan rempah rempah dari tanah Indonesia.
