In principio, questa struttura era un santuario dedicato alla dea della fertilitá che assunse, con il passare dei secoli e dei popoli, nomi diversi. In epoca romana fu destinato al culto della Venus Erycina. Qui risiedevano le sacerdotesse che praticavano la prostituzione sacra. Nel tempo ha cambiato nomi e funzioni. Per la ricostruzione medievale della fortezza, ad opera dei Normanni (sec.XII) furono utilizzati anche frammenti dell'antichissimo santuario, e del tempio di epoca romana. La fortezza fu "piazza reale" per i Vicer´ aragonesi fino al XVI secolo. Con i Borboni divenne carcere. Nei primi decenni del XIX secolo passó al Comune, che alla fine del secolo lo diede in concessione al conte Agostino Pepoli in cambio di un restauro. Furono effettuati degli scavi archeologici alla ricerca del tempio dal Cultrera nel 1934-36.
