Il centro storico, dominato dai ruderi dell'imponente castello, si presenta oggi fortemente modificato nell'aspetto originario, con il perimetro delimitato dai resti delle vecchie cinque porte di accesso: Porta di Suso, Porta Marina, Porta Raca, Porta Tripi e Porta Giudaica. La prima, posta a sud-ovest a delimitazione del percorso di crinale che proveniva dalle Serre, costituiva l’ingresso principale, maggiormente fortificato perché dava l’accesso al castello. Porta Raca, che in greco vuol dire crinale, attigua alla precedente, delimitava il percorso di crinale proveniente da est. Questa si immetteva nella zona bassa della città in prossimità dei più importanti edifici religiosi e si affacciava sul percorso che conduceva agli antichi mulini, situati sulle sponde del fiume Alessi. Porta Tripi, il cui termine, presumibilmente di origine araba, vuol dire “terza porta”, posta sul percorso di contro crinale, a settentrione, introduceva nel rione ebraico che si affacciava sul torrente Ghetterello. Porta Giudaica, infine, situata sul semiarco settentrionale del perimetro urbano, era accessibile solamente dagli abitanti dell’omonimo rione. In questo contesto si inseriscono i resti della Torreta di avvistamento e parte della vecchia cinta muraria. L'edilizia del centro storico è per lo più di base, se pur con una serie di elementi di rilevanza architettonica e decorativa mano degli scalpellini di Altilia ed è puntellata da numerose emergenze religiose, molte delle quali ricostruite dopo il distruttivo terremoto del 1783, altre oggi a rudere