Замок Венеры располагается на вершине горы, на улице Viale Conte Pepoli, в 750 м юго-восточнее Кафедрального собора. Замок стоит на месте построенного в римскую эпоху храма в честь богини Венеры. С 8 века до нашей эры на этом месте существовал более ранний храм, в котором почитался культ богини Эвплои (Euploia), покровительницы мореплавателей, отождествляемой с Афродитой, Венерой. Замок был возведён в 12 веке норманнами, он являлся королевской собственностью до конца 16 века, и выполнял функции казармы и тюрьмы. В 17 веке замок был куплен местной знатной семьей Пальма и реконструирован. С 1819 года замок перешел городу. В 1872 году при помощи графа Агостино Сьери-Пеполи были проведены масштабные реставрационные работы. К замку, увенчанному гибеллинскими зубцами, ведёт лестница. Попасть во внутренние помещения можно через портал в виде стрельчатой арки, над которым находится герб Карла V Габсбурга. Справа от входа располагаются помещения бывшей тюрьмы, за ними - эспланада с остатками древнего храма. Слева от входа находятся бывшие жилые помещения и развалины небольшого бассейна (кальдария), вероятно, римских времён, выполнявшего при средневековом замке функции цистерны для воды.