Λίγες μέρες αργότερα όμως η εικόνα εξαφανίστηκε για να βρεθεί στη συνέχεια σε μια σπηλιά στην κορυφή ενός μεγάλου βράχου. Οι κάτοικοι την επέστρεψαν στο ναό αλλά το περιστατικό επαναλήφθηκε. Για το λόγο αυτό αποφασίστηκε να χτιστεί στη σπηλιά μια εκκλησία όπως και έγινε λίγα χρόνια αργότερα, η Παναγία η Σπηλιανή.
Ήδη από τα πρώτα χρόνια ίδρυσής της, η Μονή της Παναγίας Σπηλιανής ήταν γνωστή. Επί τουρκοκρατίας εξέδωσε χάρτινα νομίσματα με ελληνικά γράμματα για τις συναλλαγές των κατοίκων ενώ τον Μάρτιο του 1823 μ.Χ. συμμετείχε στη Γενική Συνέλευση της Επαναστατημένης Ελλάδας. Ανεβαίνοντας ο επισκέπτης 270 σκαλοπάτια φτάνει στην ιερή σπηλιά και αντικρίζει το αξιόλογο ξυλόγλυπτο τέμπλο του 1725 μ.Χ. Επάνω σε αυτό εδράζονται οι εικόνες του Ιησού, της Θεοτόκου με το Βρέφος, της Κοιμήσεως της Θεοτόκου και του Αγίου Χαραλάμπου. Η εικόνα της Παναγίας, επενδυμένη από ασήμι, είναι αμφιπρόσωπη: στο πίσω μέρος εικονίζεται ο Άγιος Νικόλαος ενώ στο άλλο η Παναγία με το Βρέφος, φιλοτεχνημένη με την τεχνοτροπία της ρώσικης σχολής. Λέγεται ότι στο αριστερό χέρι της Παναγίας βρίσκεται η μικρή εικόνα που είχε ανακαλυφθεί τον 13ο αιώνα μ.Χ. Η εικόνα είναι θαυματουργή, γι αυτό και τον 15 Αύγουστο πλήθος προσκυνητών επισκέπτεται το νησί.