Σύμφωνα με παράδοση το 71 μ.Χ. σε αυτό το σημείο τελεύτησε μαρτυρικώς ο εκ των Δώδεκα μαθητών του Σωτήρα Άγιος Απόστολος Βαρθολομαίος. Στη συνέχεια στον τόπο εγείρεται χριστιανικός ναός, ενώ το 1892 με προσφορές πιστών κατασκευάζεται παρεκκλήσι προς τιμήν του Αγίου Αποστόλου Βαρθολομαίου. Τον 20ο αιώνα κατά τους διωγμούς σε βάρος της πίστεως το παρεκκλήσι τινάχθηκε στον αέρα.
Παρέστησαν προσευχόμενοι ο Πατριαρχικός Έξαρχος πάσης Λευκορωσίας Μητροπολίτης Μινσκ και Ζασλάβλ Παύλος, ο Πρόεδρος του Τμήματος Εξωτερικών Εκκλησιαστικών Σχέσεων του Πατριαρχείου Μόσχας Μητροπολίτης Βολοκολάμσκ Ιλαρίωνας, οι Μητροπολίτες: Τασκένδης και Ουζμπεκιστάν Βικέντιος, Αικατερινουπόλεως και Βερχοτούργιε Κύριλλος, ο Αρχιεπίσκοπος Μπακού και Αζερμπαϊτζάν Αλέξανδρος, συνοδεία του Πατριάρχη Κυρίλλου, κληρικοί της επαρχίας Αζερμπαϊτζάν, πλήθος Ορθοδόξων πιστών του Μπακού.
Η διάδοση του χριστιανισμού στο χώρο του Αζερμπαϊτζάν συνδέεται με το όνομα του Αποστόλου Βαρθολομαίου. Όπως διηγείται ο βίος του μετά από κόπους στη χώρα της Ινδίας μετέβη στην Αλβανία του Καυκάσου για να κηρύξει την πίστη του Χριστού.
Ο Άγιος μαρτύρησε για τον Χριστό το έτος 71 μ.Χ. στην Αλβανούπολη στη δυτική ακτή της Κασπίας, το σημερινό Μπακού. Σώζεται σημείο στο βάθρο του Παρθένου Πύργου, όπου τελεύτησε μαρτυρικά δι’ανάποδης σταυρώσεως. Μέχρι το έτος 1936 ο τόπος σημαδεύθηκε με το παρεκκλήσι με την αναμνηστική πλάκα, που έλεγε ότι «στο σημείο αυτό ένας εκ των Δώδεκα μαθητών του Χριστού, ο Άγιος Απόστολος Βαρθολομαίος, έχυσε το αίμα του για το Χριστό».
Τα έργα κατασκευής του παρεκκλησίου του Αγίου Αποστόλου Βαρθολομαίου άρχισαν το 1892 στη θέση του προϋπάρχοντος αρχαίου ναού. Κατεδαφίσθηκε το 1936 ώστε έμειναν μόνον θεμέλια. Τα θεμέλια αυτά ανακαλύφθηκαν από αρχαιολόγους το 1964.
Αυτή τη στιγμή στα θεμέλια του κατεστραμμένου παρεκκλησίου ανήμερα της εορτής της μνήμης του Αγίου Αποστόλου Βαρθολομαίου, στις 24 Ιουνίου, ετησίως τελείται δοξολογία.