La torre fu eretta per volere dell’imperatore Carlo V d’Asburgo, una delle numerose torri di avvistamento per difendere le coste adriatiche dagli attacchi dei pirati. Da allora la località prese il nome di ""Torre Apellosa"" o ""Torre Lapillosa"", trasformato dal gergo popolare in ""Torre Pelosa"", divenendo successivamente un piccolo borgo di pescatori che vivevano per lo più in trulli e grotte naturali, che riparavano le proprie imbarcazioni nel porticciolo alla foce di lama Giotta. L’edificio Torre Pelosa oggi domina la piazza principale del paese con la sua imponente struttura a pianta quadrata; fornita di una grande scala monumentale di accesso, sorretta da un arco, che si collega alla torre tramite un ponte di legno, presenta tre feritoie per ogni lato e un cordolo che divide esternamente i due piani interni. La torre è inserita nel tessuto urbano ed è divenuta simbolo del paese di Torre a Mare