Il centro storico di Cartoceto si identifica in quello che era il "Castello". I rari documenti d'archivio attestano che, sin dal XII secolo, Cartoceto fu un luogo fortificato e circondato da mura, tanto da farne uno dei capisaldi difensivi del territorio di Fano. La Rocca e le sue mura furono completamente distrutte il 13 luglio 1572 da un violento terremoto. Oggi, le mura di Cartoceto (Area Archeologica AA167) sono soggette a vincolo arheologico ai sensi dell'art. 142, comma 1, lettera m del D.lgs 22 gennaio 2004, n. 42 “Codice dei beni culturali e del paesaggio ai sensi dell’articolo 10 della legge 6 luglio 2002, n. 137”