Castelmezzano appare come un piccolo presepe arroccato con alle spalle le Dolomiti Lucane; vi si arriva attraverso una galleria scavata nella roccia, dopo aver superato una gola. La struttura urbana è tipicamente medievale, un agglomerato concentrico di case con tetti a lastre di pietra arenaria incastrate in una conca rocciosa, costruzioni inserite nella nuda roccia e numerose scale ripide che si aprono tra i vicoli. Sono presenti i resti del castello risalente al periodo normanno (XI-XIII secolo), costruito come roccaforte in posizione centrale rispetto ai castelli di Pietrapertosa e Brindisi di Montagna, una parte delle mura di cinta, una cisterna per la raccolta delle acque piovane e una lunga e ripida scalinata scavata nella roccia, utilizzata probabilmente come postazione di avvistamento, da cui era possibile sorvegliare la sottostante vallata del fiume Basento. Fra le altre testimonianze storico-architettoniche figurano: la chiesa madre di Santa Maria che si erge in piazza Caizzo, il cuore della vita cittadina; molti palazzi storici tra cui Palazzo Ducale, appartenuto ai De Lerma, e il Palazzo Coiro, situato alle spalle della chiesa madre; le cappelle della Madonna dell’Annunziata e di San Marco