Nel XV secolo il sito dell’attuale Pozzallo era conosciuto dai naviganti per le sorgenti di acqua chiamate di “Pozzofeto” e della “Senia”, in quei tempi tanto famose da essere segnalate sui portolani e sulle carte nautiche per il rifornimento delle scorte d’acqua dei navigli. Quando i Chiaramonte, Conti di Modica, vi costruirono un Caricatore, cioè un complesso di magazzini sulla costa completo di pontili e scivoli per l’imbarco di merce sui velieri, considerato il secondo per importanza della Sicilia dell’epoca, si rese necessaria anche la costruzione di strutture per la sua difesa; agli inizi del XV secolo il re Alfonso V d’Aragona autorizzò la richiesta del conte Giovanni Bernardo Cabrera, di costruire una torre di difesa che da lui prese il nome: Torre di Cabrera.