Los estudios y actuaciones arqueológicos realizadas sobre el sitio, declarado Bien de Interés Cultural, señalan la existencia de tres fortificaciones superpuestas temporalmente: 

Restos de un castellum militar romano, del que se conservan gruesos muros construidos con sillares, y que ocupa la mayor parte de la cumbre del cerro. En el lado este cuenta con un frente de muralla de más de 60 metros de longitud, que tiene adosadas a tramos regulares seis pequeñas torres rectangulares, y dos grandes estructuras cuadrangulares defensivas de las mismas características adosadas en el flanco sur. Hasta el momento, no se han encontrado fortificaciones de estas características en ningún otro punto de la península ibérica.

Restos del alcázar árabe, del que se conservan varios tramos de murallas construidas con tapial, cuya fábrica se realizaba con una mezcla prensada de tierra, pequeños guijarros, trozos de cerámicas y algo de cal, que a juzgar por los materiales que se han sacado de su fosa de cimentación podría ser del siglo XI, de época almorávide. El perímetro de este nuevo castillo es sensiblemente mayor que el anterior.

Restos del castillo medieval, mandado a construir por Enrique Pérez de Guzmán y Meneses, II duque de Medina Sidonia.

Entre finales del siglo XVI y bien avanzado el siglo XX el castillo y su entorno sirvieron de cantera para extraer piedras que se utilizaron en nuevas construcciones de la ciudad, como la iglesia Mayor de Santa María la Coronada y el Ayuntamiento, dejando a la fortaleza en las ruinas que han llegado hasta nosotros.

En el siglo XIX el castillo se convierte en cuartel general de las tropas francesas durante el asedio de Cádiz y San Fernando. En el periodo de ocupación francés, entre 1810 y 1812, se volvieron a levantar las murallas y se construyeron dependencias en su interior, como barracones para la tropa, cuadras, cocinas, etc.