Από την περίοδο αυτή άρχισε να κρατά σημειώσεις από όσα διάβαζε. Ό,τι τον βοηθούσε στον αγώνα του το αντέγραφε σε ένα τετράδιο και προσπαθούσε να το κάνη πράξη. Ο εσωτερικός του αφανής αγώνας ήταν: Λίγη πρακτική μελέτη στα ασκητικά συγγράμματα, πολλή προσοχή, αδιάλειπτη προσευχή και επίμονη προσπάθεια για την κάθαρση από τα πάθη και την απόκτηση της θείας χάριτος.
Αλλά και στην εργασία, τόσο στο διακόνημά του όσο και στις παγκοινιές (εργασίες που συμμετέχουν όλοι οι πατέρες), προσπαθούσε να μη διακόπτη την προσευχή. Εργαζόταν γρήγορα και σιωπηλά. Ο γερω-Γεράσιμος ο Κουτλουμουσιανός, παλαιός συγκοινοβιάτης του, διηγήθηκε: «Εμείς όταν δουλεύαμε στις παγκοινιές, μιλούσαμε, γελούσαμε· αυτός τίποτε. Δούλευε απόμερα και απέφευγε την πολυλογία και την κατάκριση. Ήταν πολύ προσεκτικός καλόγηρος».
Κάποτε έστειλε το Μοναστήρι πατέρες, μεταξύ των οποίων και τον π. Αβέρκιο, έξω από τα σύνορα του Αγίου Όρους, για να φυτέψουν λεύκες σε ένα κτήμα. Πιο πέρα υπήρχε δρόμος και περνούσαν διάφοροι κοσμικοί. Ο π. Αβέρκιος επέβαλε στον λογισμό και στα μάτια του να μη δη κανέναν· και πράγματι κατώρθωσε παρόμοιο άθλο με τον αββά Ισίδωρο της Σκήτεως, που πήγε στην Αλεξάνδρεια και δεν είδε κανέναν παρά μόνο τον Πατριάρχη (βλ. Γεροντικό, Αββάς Ισίδωρος 8). Τα μάτια του ήταν ανοιχτά για να βλέπη μόνον καλά παραδείγματα προχωρημένων πατέρων και να ωφελήται.
Όταν ο π. Αβέρκιος προσήλθε στο Μοναστήρι (του Εσφιγμένου), παρακάλεσε τον Ηγούμενο να μείνη για ένα χρονικό διάστημα και έπειτα να του δώση ευλογία για την ησυχία, και αυτός το δέχθηκε. Ωφελήθηκε βέβαια πολύ από όλους τους πατέρες και έβαλε καλό θεμέλιο σε εκείνο το πολύαθλο κοινόβιο, αλλά και ο πόθος του για την ησυχαστική ζωή γινόταν εντονώτερος. Όταν προσευχόταν, ο νους του ηρπάζετο σε θεωρία. Η καρδιά του ήταν πυρωμένη «τοις άνθραξι τοις ερημικοίς» (Ψαλμ. 119:4) και αισθανόταν το κάλεσμα της ερήμου.
Έλαβε ευλογία να αναχωρήση από την Μονή για λόγους ησυχίας. Άφησε στο Μοναστήρι κόπους και διακονία, αίματα και ιδρώτες, και εξήλθε με την ελπίδα στον Θεό και στην Παναγία, για να τον οδηγήσουν «εν γη ερήμω».
Πρώτα πήγε και προσκύνησε την εικόνα της Πορταΐτισσας στην Ιβήρων. Αλλοιώθηκε η μορφή της Παναγίας! Έγινε πολύ γλυκειά! Από αυτό πληροφορήθηκε ότι είναι σύμφωνη με το θέλημα του Θεού η αναχώρησή του.
Από το βιβλίο: Ιερομονάχου Ισαάκ, ΒΙΟΣ ΓΕΡΟΝΤΟΣ ΠΑΪΣΙΟΥ ΤΟΥ ΑΓΙΟΡΕΙΤΟΥ, Στ’ έκδοσις, Άγιον Όρος 2008, σελ. 94, 98.