La storia di questo luogo inizia nel XII secolo, quando un certo Adamo e il suo servitore vi si ritirano come eremiti, ma il primo documento che fa riferimento al dormitorio del Venda è del 1197. Nel 1207 salgono alla cima del Monte in cerca di pace e solitudine Alberico e Stefano, Monaci Benedettini di Santa Giustina (Padova).

Questi sono considerati i padri fondatori del monastero, i cui patroni furono i nobili Maltraversi di Castelnuovo.
Si costruirono gli alloggi, i vari servizi, il chiostro e una nuova chiesa dedicata a San Giovanni Battista. Alla fine del 1300, con la crisi dell'ordine benedettino, il monastero decade e il vescovo di Padova sostituisce i padri Albi con l'ordine aristocratico degli Olivetani. Questi, sotto la protezione dei Carraresi, signori di Padova, ingrandiscono e abbelliscono il monastero. Dopo un periodo sereno durato fino al 1771, la repubblica di Venezia sopprime il monastero, ne vende i beni e trasferisce d'autorità i monaci condannando i prestigiosi edifici alla rovina.