Dell’antica fortezza, che a quanto risulta doveva svolgersi lungo un tracciato pentagonale, non rimangono oggi che pochi ruderi ed un’alta torre accorpata all’abitazione dei signori Suzzi. È difficile stabilire a quale delle numerose ricostruzioni appartengano queste strutture e anche se ruderi e torrione – evidentemente ristrutturato al momento di entrare a far parte di un’abitazione privata – siano coevi o meno. Storici locali sostengono si tratti di una fortezza eretta da Federico II. Sulla destra di Porta Montanara – costruita nel XVII secolo – è posto un bastione a pianta circolare, oggi trasformato in terrapieno, da cui parte un muro che si conclude all’altezza del torrione di casa Suzzi. Sulla sinistra un’altra cortina, intervallata dalla sporgenza semicircolare di un altro bastione ormai scomparso e scandita da archi in muratura, si collega al muro dello Sferisterio. L’attacco delle fondamenta degli archi permette di vedere come, col passare del tempo, il terreno circostante sia stato sbassato di alcuni metri. Il torrione dei Suzzi sovrasta l’abitazione novecentesca e risulta ben visibile a quanti costeggiano le mura cittadine provenendo da Porta dei Santi. L’edificio, a base quadrata, s’innalza di tre piani dal terreno. È illuminato da finestre con volte a sesto ribassato e presenta ancora ben visibili sul muro che guarda il giardino le parti con cui era attaccato alle altre costruzioni