Po predanju osnovan je u 13 veku u vreme srpskog krallja Dragutina.Nezavisno od legende današnji hram leži na temeljima još starijeg iz 11.veka.U porti su drevni grobovi.Najstariji pomen manastira potiče iz 1572.god.U okolnim skrovitim pećinama živeli su
monasi pustinjaci pa najverovatnije odatle potiče naziv manastira.
Manastir je više puta rušen i spaljivan.Obnavljan je nekoliko puta. Za vreme Kočine krajine Bušatlija paša spalio je manastir pa je isti opusteo.Bio je tada jedina bogomolja u valjevskom kraju i tu su dovodjeni bolesnici kod monaha na lečenje.Hram je zidan od kamena i pravilno tesane sige.Naos je prekriven crepom.Hram ima pored zapadnog ulaza i drugi manji sa severne strane,što je retkost kod pravoslavnih hramova.
Postoji i veoma lep zidani ikonostas sa ikonama.Zidani ikonostasi su karakteristični za veoma stare hramove.Način gradnje upućuje na pravoslavne jermene što takodje govori o starosti ovog manastira.Freske potiću iz 1622 god i dobro su očuvane.Tu je ktitorski portret Joakima,zatim freske:Veliki praznici,stradanje Hrista,služba Agnecu,nebeska liturgija,
svetitelji,po lepoti čuvena freska svetog Jovana sa krilima koju uporedjuju sa Belim Andjelom iz Mileševe.Zanimljiv je i prikaz svetog Silvestera mučenika na fresci jer se njegov lik ne sreće ni u jednom drugom pravoslavnom hramu.Bio je parohijska crkva i aktivan muški manastir do 1951.god.
Danas je ženski manastir i o njemu brinu monahinje.