Βρίσκεται στα όρια του χωριού Δρυόβουνο της επαρχίας Βοίου στο Νομό Κοζάνης και σε υψόμετρο 800 μέτρων στους πρόποδες του όρους Άη – Γιώργη.
Πιθανολογείται όμως, ότι ιδρύθηκε κατά τον 13ο αιώνα, ότι αρχικά ήτανε μία ανδρώα Μονή και με μεγάλο μάλιστα αριθμό μοναχών.
Παύει να λειτουργεί περίπου το 1835, όταν μέσα από τις βίαιες ταραχές και τις πολεμικές συρράξεις στην ευρύτερη περιοχή της Μακεδονίας, καταστρέφεται ολοκληρωτικά και σώζεται μόνο το Καθολικό, στο οποίο υπήρχαν ιδιαίτερης αξίας και σημαντικότητας βυζαντινές τοιχογραφίες στο ιερό βήμα του.
Τελικά και το ίδιο το Καθολικό πέφτει, αφού είχε αφεθεί δίχως φροντίδα για πολλά χρόνια, περίπου το 1960.
Κατά την ανέγερση του νέου Ναού, βρέθηκαν στην θέση του παλαιού Ναού 4 λαξευτοί τάφοι καθώς και νομίσματα του 18ου αιώνα, κάτι που πιθανολογείται ότι ήταν τάφοι σημαντικών εν γένει ανθρώπων, αφού μέσα σε Ναό, ειδικά μιας Μονής, ενταφιάζονταν μόνο σημαντικοί κληρικοί, πνευματικοί άνθρωποι αλλά και άγιοι.
Η παράδοση μάλιστα αναφέρει ότι ένας εκ των ενταφιασμένων εντός του Καθολικού ήτανε Δεσπότης, είτε της οικείας Μητρόπολης είτε όμως και από το φημισμένο Δεσποτάτο της Ηπείρου, κάτι που, αν αληθεύει, αναδεικνύει και την γενικότερη μεγάλη φήμη αλλά και σημαντικότητα αυτού του μοναστηριού.
Στα χρόνια της τουρκοκρατίας, στην Μονή της Παναγιάς λειτουργούσε Κρυφό Σχολειό. Μάλιστα, στην τράπεζα της μονής υπάρχει ακόμη και σήμερα η καταπακτή της εισόδου μιας υπόγειας στοάς μέσα από την οποία τα ελληνόπουλα έμπαιναν στην Μονή για να μάθουν γράμματα, από μία διπλανή ρεματιά, που υπάρχει ακόμη και σήμερα.
Το 1993 η Μονή της Παναγιάς ανακηρύσσεται γυναικεία.