Il castello di Farneto, edificato attorno al X secolo è legato alle vicende della sottostante abbazia di San Tommaso in Foglia. L'etimologia del luogo sembra derivare dall'antica presenza di una vasta estensione di farnie, alberi di cui tutta la zona è effettivamente ricca. Dell'antico fortilizio oggi non restano che la cinta muraria, la rampa d'accesso un piccolo corpo di guardia e alcuni agglomerati abitativi. Il piccolo borgo di Farneto dentro le mura ha mantenuto intatta la sua struttura. La tradizione vuole che il castello fu fondato sulle rovine del tempio di Priapo. Nel XVIII secolo si aveva notizia di una iscrizione che ricordava la costruzione di un sacello (templum) dedicato a Priapus da parte di un servo di nome Faustus (CIL XI, 6314)