Il complesso fortificato, conosciuto come “il Torrione”, è posto all’estremità occidentale dell'abitato di Avetrana, su uno dei punti posti alle quote più alte del territorio comunale. Costruito verso la fine del XIV secolo, il castello si eleva sulle antiche fortificazioni preesistenti del casale medievale di Santa Maria della Vetrana, era circondato un tempo da un fossato ed era raggiungibile mediante una ripida rampa di scale, a sua volta collegata con la torre da un ponte levatoio, di cui restano visibili nei muri gli appoggi per le travi lignee. Quando il castello perdette la sua funzione militare il ponte in legno venne sostituito con uno in muratura, che si conservava ancora ai primi anni del Novecento. Nel 1353 il feudo fu dato in dono a Pietro Tocco per i suoi meriti presso la corona angioina, e a lui si deve la costruzione della possente torre quadrata, alta 17 metri, probabilmente fondata su una preesistenza normanna. Il Torrione si articola su tre piani, tra loro congiunti da una scaletta che si sviluppa nell’intercapedine dei muri perimetrali. Al principe Galeotto Pagano, succeduto al governo del feudo di Avetrana, si deve sul finire del Quattrocento la costruzione della torre cilindrica a due piani, detta “del Cavaliere". Nel 1583 Carlo Pagano vendette il feudo e il castello a Giovanni Antonio Albrizzi, che divenne principe di Avetrana nel 1604. In questo periodo l’edificio venne modificato per adeguarlo alle nuove esigenze difensive diffuse nell’età aragonese che portarono all’adozione di torri più basse, munite di rampe per i pezzi d'artiglieria, e larghe per poter contenere un maggior numero di cannoni nelle casematte. Attualmente il castello è un assemblaggio di diverse strutture che si sono adeguate nel corso dei secoli prima alle esigenze militari e poi alle diverse funzioni d’uso. Il castello come appare oggi è composto da un poderoso mastio parallelepipedo centrale, la torre maestra caratterizzata da una maggiore altezza e provvista di balestriere e feritoie. A nord della torre quadrata, il nucleo più antico dell’edificio, sorge un torrione circolare caratterizzato da cornicione aggettante sostenuto da una serie di mensolette (i cosiddetti beccatelli) e cordone marcapiano collocato a metà della sua altezza. Alcuni elementi nelle merlature e il tipo di bugnato della parte superiore sono accostabili a quelle della Torre della Leonessa di Lucera, o ai bugnati più spessi delle torri di Rutigliano ed Adelfia, e della torre di Bitonto. Al di sotto degli ambienti posti a piano terra si sviluppano numerosi vani ipogei: dei trappeti (i frantoi oleari), depositi e ambien, oltre alle casematte della torre tonda angolare