Ο Ναός της Παναγίας, κτίσμα μεταξύ του 16ου και 17ου αιώνα μ.Χ., από τον οποίο έχει διασωθεί η εφέστιος εικόνα της Παναγίας της Μεγαλομάτας, την οποία και περιγράφει ο Αλέξανδρος Παπαδιαμάντης στο διήγημά του «Τα Κρούσματα», εόρταζε το Σάββατο του Ακαθίστου.
Είχε όμως την τύχη και των άλλων σαράντα παρεκκλησίων του Κάστρου. Μετά την εγκατάλειψη του Φρουρίου το 1830 μ.Χ. και την επιστροφή των Σκιαθιτών στο χώρο της πάλαι ποτέ βυζαντινής πολίχνης, όπου έχτισαν την σημερινή πόλη της Σκιάθου, ο ναΐσκος ερειπώθηκε και κατέρρευσε. Εξαίρεση βέβαια αποτελούν οι τέσσερεις ενοριακοί Ναοί που διατηρήθηκαν έως των ημερών μας.
Μόλις τον χειμώνα του 2010 μ.Χ. ο Ναός αποκαθάρθηκε από τις προσχώσεις. Κατά τις εργασίες αποκαλύφθηκε το σωζόμενο δάπεδο του ναΐσκου, η είσοδος, η διαγράμμιση του αγίου βήματος καθώς και ίχνη τοιχογραφίας και κονιάματος. Στο σημείο της εισόδου ο Ναΐσκος συγκοινωνούσε με άλλο ορθογώνιο δώμα που πιθανώς χρησιμοποιούνταν ως πρόναος, το οποίο γειτνίαζε με τα λουτρά. Εντοπίστηκαν ακόμη κάποια μικροαντικείμενα όπως και ένα μικρό κανόνι σε άριστη κατάσταση.
Μετά την αποκάλυψη των ερειπίων του Ναού πλήθος σκιαθιτών επισκέφτηκε το Κάστρο, και όλων η γνώμη συνηγορούσε στο να καθιερωθεί και εδώ υπαίθρια Αγρυπνια, όπως καθιερώθηκε λίγα χρόνια πιο μπροστά και στον άλλο ερειπωμένο Ναό του Κάστρου, τον αφιερωμένο στην Κοίμηση, την Παναγία την Πρέκλα, που είχε την τύχει να αποκαλυφθούν και εκείνου τα ερείπια.
Έτσι καθιερώθηκε να τελείται η εξοχική αυτή Αγρυπνία την τελευταία Κυριακή του Ιουνίου, ώστε να είναι αφορμή να επισκεφθεί κανείς το Κάστρο, τον Ιούνιο, που από Απρίλιο έως Αύγουστο έχει κάθε μήνα ένα τουλάχιστον πανηγύρι στις Εκκλησίες του.
Η Αγρυπνία αρχίζει με την Ακολουθία του Όρθρου του Ακαθίστου, που τελείται κατά παράβαση της Τάξεως, ιδιαιτέρως την ημέρα αυτή, καθώς ο Ναός της Παναγίας ετιμάτο στην εορτή του Ακαθίστου, και ακολούθως λαμβάνει χώρα η Θεία Λειτουργία.
Η πρώτη Αγρυπνία έγινε το 2011 μ.Χ.