Il nucleo originario sorge all’estremità dell’isola di Sant’Andrea e il suo asse longitudinale è rivolto a Sud/Sud-Est. Il complesso presenta verso il mare aperto un torrione poligonale che invece è rettilineo sul lato Nord verso la parte restante dell’isola. Al primo piano vi è un ampio salone che, considerate le dimensioni, potrebbe essere stato impiegato per lo svolgimento di importanti riunioni. Nel 1481, cacciati i Turchi da Otranto, Ferdinando I incaricò il figlio Alfonso, Duca di Calabria, di ampliare la fortezza che venne quindi prolungata verso Nord-Est con l’aggiunta di possenti antemurali e baluardi. A scopi difensivi fu ricavato sul lato orientale un canale che isolò completamente il forte. Il castello fu ampliato con l’aggiunta di un puntone triangolare, verso il mare, ed una torre circolare sul lato del porto. Quest’ultima, modificata in seguito da Filippo II, prese il nome di “Bastione di San Filippo”. Il piccolo porto interno, caratteristica del castello, si formò in seguito alla creazione dell’antemurale di Nord. In seguito all’assedio della città avvenuto nel 1528 da parte di soldati francesi, veneziani e romani contro l’imperatore Carlo V d’Asburgo per le rivendicazioni sui domini italiani, venne fortificata gran parte dell’isola di Sant’Andrea con la costruzione del Forte a difesa del castello per volere di Filippo II d’Austria. "Il complesso presenta verso il mare aperto un torrione poligonale che invece è rettilineo sul lato Nord verso la parte restante dell’isola. Al primo piano vi è un ampio salone. La fortezza presenta possenti antemurali e baluardi. Vi sono inoltre un puntone triangolare, verso il mare, ed una torre circolare sul lato del porto. Il Forte, dalla forma a trapezio allungato, è isolato a Nord dal resto dell'isola dal ""Canale Vicereale"" e presenta quattro bastioni: Tramontana e San Pietro rivolti verso la città; Intavolata e Santa Maria verso il mare aperto