Dopo la costruzione della Chiesa, avvenuta negli anni successivi alla data di edificazione dell'edificio (1371), venne costruito anche un piccolo ospedale per la cura dei malati, in particolare per gli affetti del cosiddetto “Fuoco di S. Antonio”, affidato alle cure dei Monaci Viennesi dell’ordine del Tau, che si occuparono, inizialmente, anche della gestione del Santuario. Dalla sua fondazione, fino al 1860, momento in cui il Santuario passò alle dipendenze della diocesi di Matera, il Santuario fu alle dipendenze dell’Ordine Costantiniano. La chiesa era articolata come una navata unica a sviluppo longitudinale, alla cui destra se ne apre una seconda, minore. La navata principale, sul lato sinistro, è arricchita da nicchie, contenenti le statue di S. Rocco e S. Biagio e in prossimità dell’ingresso presenta un’acquasantiera in pietra composta da una conchiglia sormontata dalla testa di un putto, di datazione poco chiara. In corrispondenza di questa sull’altro lato dell’ingresso, in particolare su un pilastro della navata, vi è una seconda acquasantiera realizzata in marmi policromi e con raffigurazione del santo. La navata minore, a sinistra, contiene due altari più recenti e un fonte battesimale moderno (opera di Nisio Lopergolo) e custodisce, vicino all’ingresso del presbiterio, la statua antica del santo posta su un baldacchino di legno dorato (dono dei fedeli di Craco del 1871). A destra dell’altare maggiore, si apre la sagrestia, che custodisce una lapide del XVIII che votava un altare a S.Francesco di Paola all’interno della Chiesa. Nell'edificio sono presenti numerosi segni di devozione donati come ex-voto dai pellegrini e dai devoti. L’esterno è molto semplice: gli unici ornamenti sono quelli relativi al portale di pietra, sormontato da una nicchia con una rappresentazione del santo e da un semplice rosone. La struttura è realizzata in muratura portante in pietra e mattoni lasciati a vista. L’interno è intonacato. L'abbazia è coperta, in corrispondenza delle navate, da una struttura a doppia falda rivestita interamente con coppi laterizi, mentre a padiglione in corrispondenza del presbiterio