In 1886 is Het Klooster gebouwd als nonnenklooster. Nadat in de jaren zeventig de laatste nonnen waren vertrokken, kreeg het gebouw een andere functie. Het werd een cultureel centrum. De openbare bibliotheek vestigde zich daar in 1971 als eerste en zou spoedig gevolgd worden door andere Nuenense verenigingen en culturele instellingen.
Rond 1980 is verhinderd dat het gebouw onder de sloophamer terecht zou komen. Daarna zijn er plannen gemaakt om te gaan verbouwen, want het gebouw zelf moest functioneler ingericht worden. Heel wat ideeën zijn de revue gepasseerd. In 1995 kwam eindelijk de goedkeuring en in 1996 kon met de verbouwing c.q. renovatie worden begonnen. In 1997 werd het vernieuwde Klooster officieel geopend door staatssecretaris Aad Nuis.

Aan de achterkant van het Klooster werd een stuk aangebouwd. Daarin kwam een theaterzaal met plek voor 273 mensen. Op de plek waar voorheen de kapel was, is nu de raadszaal te vinden. Die kan ook gehuurd worden voor andere activiteiten.
Het Klooster werd een multifunctionele locatie, in die tijd uniek door de inrichting en mogelijkheden. Iedere daar gevestigde vereniging of culturele instelling kreeg z’n eigen plekje. Het had een industriële uitstraling, waar oude elementen in terug kwamen. In het midden ligt een grote ruimte met bar en podium. Daar worden feesten gevierd en ook wordt de ruimte regelmatig in gebruik genomen voor informatieve doeleinden.

De bibliotheek heeft tot 1994 in Het Klooster gezeten, op de eerste verdieping. Met een tussenstop op het Vincent van Goghplein, waar ze tien jaar gevestigd waren, verhuisde de bibliotheek in 2014 naar het gemeentehuis.
Het Klooster is een niet meer weg te denken plek geworden waar Nuenen ca van vindt, dit is ons dorpshuis. Anno 2020 voldoet het gebouw niet meer aan de eisen van de tijd van nu. Plannen voor een nieuwe renovatie liggen klaar. Daarin is te zien dat de bibliotheek weer onderdeel wordt van Het Klooster.