L’emplacement a connu successivement la villa gallo-romaine des Pontii, un château médiéval, une citadelle aménagée à la fin du XVIème siècle et une chartreuse appelée « Château de la Citadelle ».
La citadelle a tant marqué la population et l’histoire qu’aujourd’hui encore, et même après sa destruction en 1664, le Bourquais appellent « Château de la Citadelle » la chartreuse qui lui a succédée en 1723.
Le château menait une paisible existence entre les mains de nobles familles jusqu’en 1940 lorsque les Allemands le réquisitionnèrent. Ils détruisirent le bâtiment lors de la Débâcle en août 1944. En 1963, la ville reconstruit le château, ne conservant que ses murs extérieurs.
Aujourd’hui, le château abrite le Musée « Au Temps des calèches », une collection de voitures hippomobiles, et classée « Musée de France ».
L’intérieur du château est réservé aux réceptions privées, mais les visiteurs peuvent se rendre au parc du château, dont les jardins à la française plantés de magnolias, et sa terrasse avec vue sur la Dordogne et l’estuaire de la Gironde fait de ce parc une promenade très agréable et ombragée.
