Ο Όσιος Γερόντιος ήταν ηγούμενος της παλιάς Μονής των Βουλευτηρίων του Αγίου Όρους. Αλλά επειδή η Μονή αυτή ήταν παραλιακή και δεχόταν πολλές επιδρομές βαρβάρων, εγκαταλείφθηκε από τους μοναχούς, που πήγαν σ’ άλλα δυσπρόσιτα μέρη του Αγίου Όρους.
Έτσι και ο όσιος Γερόντιος, μαζί με έναν υποτακτικό του, εγκαταστάθηκε στο πάνω μέρος της Σκήτης της Αγίας Άννας, όπου έκτισε ησυχαστήριο με εκκλησία στο όνομα του Αγίου Παντελεήμονα.
Έτσι ο Όσιος Γερόντιος είναι ο πρώτος, που δημιούργησε τη Σκήτη της Αγίας Άννας. Εκεί κοντά μάλιστα, ο Όσιος δια αποκαλύψεως της Παναγίας, βρήκε νερό (ενώ ο τόπος εκεί ήταν εντελώς άνυδρος), που και σήμερα αναβλύζει και οι μοναχοί το χρησιμοποιούν σαν άγιασμα.
Ο Όσιος Γερόντιος έζησε μια υπερθαύμαστη ζωή και κοιμήθηκε σε μεγάλη ηλικία. Συνδέονταν με πνευματική φιλία με τον Όσιο Μάξιμο τον Καυσοκαλύβη (βλέπε 13 Ιανουαρίου), καθώς φαίνεται στον βίο του.
Η σκήτη που ίδρυσε ανέδειξε περί τους δεκαπέντε γνωστούς αγίους και πολλούς μεγάλης αρετής πατέρες. Ασματική ακολουθία συνέθεσε ο μοναχός Γεράσιμος Μικραγιαννανίτης.