Den imponerende fæstning med dens 10 meter høje mure og voldgrave en del af vejen rundt om fortet er anlagt af hollænderne i perioden fra 1652 til 1679 og ligger godt en kilometer inde i byen nær centrum i dag. Da det blev bygget, lå det lige ud til vandet. Men i 1930'erne og 1940'erne blev en masse land omkring stedet inddæmmet fra havet blandt andet for at anlægge byens store industrihavn.
Administrerende direktør for Castle of Good Hope, Calvyn Gifellan, fortæller, "at den gamle fæstning i dag er ramme om mange forskellige kulturelle aktiviteter året igennem. Dels er der daglig en lille vagtparade i slotsgården med fem soldater, der får overgivet nøglen til fortet. Men ellers er her seminarer af forskellig slags, foredrag, undervisning af skolebørn i stedets historie, ungdomslejre, modeopvisninger, koncerter, veterantræf, hvor boernes efterkommere mindes deres forfædres opbrud fra Kapstaden og deres vanskelige migration mod nord, etc.", sige Calvyn Gifellan.
Udover de mange forskellige aktiviteter er der tre museer på slottet, hvor den besøgende kan få et indblik i, hvordan Castle og Good Hope blev bygget, ligesom der er en udstilling over militærets uniformer og udrustning samt fotos og genstande, som på fremragende vis illustrerer deres daglige liv igennem flere hundrede år. Her er også et museum med malerier, møbler og andre brugsgenstande, som fortæller om fortets første tid. Gæster kan også komme ind og se et svømmebassin, bageriet, officerernes opholdssteder og fængslet (Dark Hole), hvor fangerne opholdt sig, indtil de kom for retten.
Baggrunden for fortet
Da verdenshandlen voksede hos de europæiske stormagter, udvidede de handlen til Østen i 1500-tallet via Bosporusstrædet. Men da Konstantinopel (i dag Istanbul) blev erobret af tyrkerne i 1453, blev denne handelsrute lukket for europæerne. Derfor måtte de i gang med at finde en ny søvej syd om Afrika, og mange ekspeditioner blev sendt ud fra Europa.
Den første, der rundede Kap Det gode håb, var portugiseren Bartholomeus Dias i 1488, og året efter lykkedes det Vasco da Gama at finde ruten til Indien syd om Afrika. Men først i 1503 gik en anden opdagelsesrejsende Antonio de Sladanha i land i bugten ved Taffelbjerget. Her på bjergskråningerne fandt han masser af vand. Fundet af vand ændrede Sydafrikas historie, fordi det betød, at man her kunne oprette en koloni, hvor de opdagelsesrejsende og handelsskibene kunne få vand og andre forsyninger på den lange vej mellem Europa og Sydøstasien. Mange opdagelsesrejsende blev også betaget af Afrika sydspids.
I 1602 havde Holland grundlagt Det hollandske Østindiske Company (VOC), der hurtigt voksede til at blive et magtfuldt handelsselskab. Og i 1649 besluttede selskabets ledelse, at der skulle etableres en handelsstation nedenfor Taffelbjerget cirka 60 km nord for Kap Det gode Håb. Søfareren Jan van Riebeeck sejlede sydpå og gik i april 1652 i land i bugten ved Taffelbjerget. Han og hans mænd gik straks i gang med at bygget et fort, som skulle forsvare den nye bosættelse og give husly til de, der skulle drive bosættelsen eller kolonien. Foruden træfortet byggede han flere mindre forter ved floderne Liesbeek og Salt for at beskytte indbyggerne mod angreb fra de sorte indfødte. Jan van Riebeeck forlod stedet i 1662 og en ny bestyrer kom til. I 1664 udbrød der krig mellem England og Holland. Derfor besluttede selskabet, at der hurtigst muligt skulle opføres et større og bedre forsvarligt fort i sten og cement. Den nye bestyrer Zacharias Wagenaer gik i gang med opgaven, der varede fra 1666 til 1679.
