Nel 1294 il borgo di Acaya ( il cui antico nome era Segine) fu donato da Carlo D'Angiò al capitano Gervaso Acaya le cui generazioni lo possedettero , per circa tre secoli .

Nel 1506 Alfonso di Acaya iniziò la costruzione del castello sino a che il figlio barone Gian Giacomo dell'Acaya famoso Ingegnere militare, nel 1535 ne progettò tutta la struttura difensiva con i bastioni e il fossato per conto di Carlo V.

Nei tempi successivi , il castello fu venduto ai Vernazza , poi agli Scarciglia di Lecce e ancora ai Rugge. Il castello man mano fu trascurato e andò in rovina sino all'acquisto da parte della Amministrazione Provinciale di Lecce .