La costruzione del castello/palazzo fu promossa nel XV secolo dal conte Carlo Oliva, una delle famiglie tra le più importanti, in grado di stabilire fortunati rapporti con i Malatesta, i Montefeltro, i Bentivoglio, i Gonzaga e perfino con i Medici. In realtà, i lavori del XV secolo al castello degli Oliva consistettero nella ristrutturazione di un fortilizio già esistente, del quale non si conoscono le origini, ma che tuttavia potrebbe risalire al 1200. Quest'ultimo doveva sorgere a picco sul fiume Foglia, come attestavano i ruderi visibili fino al 1950. Il complesso monumentale, di pianta grossomodo quadrangolare, somma sia le caratteristiche del fortilizio sia del palazzo signorile. Nel 2001, a seguito di lavori di completamento del restauro del cortile interno del palazzo, sono stati rinvenuti diversi frammenti ceramici di epoche diverse (secc. XVI-XIX) e una piccola sottostruttura pavimentale che interessava un lato del pozzo presente su un lato del cortile stesso