Το μοναστήρι της Παναγίας ιδρύθηκε το 1225. Το κτίσμα όμως που σήμερα βλέπει ο επισκέπτης είναι του 16ου-18ου αιώνα.
Τα πρώτα κτίσματα φαίνεται ότι ήταν μέρος παλαιότερης οχύρωσης από όπου και το όνομα "Παλαιοκαστίτσα". Καταστράφηκε από Γενοβέζους το 1403. Ξανακτίστηκε το 1469 και καταστράφηκε εκ νέου το 1537 από τους Τούρκους. Το 1572 ξανακτίστηκε και διατηρείται έως σήμερα με αρκετές προσθήκες και επισκευές, όπως η βόρεια είσοδος του 1722.
Εδώ υπάρχει μουσείο με βυζαντινές και μεταβυζαντινές εικόνες, ιερά άμφια, βιβλία και σκεύη, καθώς και τα οστάενός κύτους.