Wie Oud-Poelgeest zegt, zegt natuurlijk Jan Wolkers, die in Oegstgeest is geboren. Het landgoed speelde een belangrijke rol zijn jeugd.
Het kasteel zelf werd in de huidige stijl gebouwd rond 1640 en heeft door de eeuwen heen meerdere eigenaren gehad. Een beroemde bewoner van het kasteel was de Leidse professor Herman Boerhaave rond 1725. Hij plantte bijzondere bomen en gewassen aan op het landgoed en legde er een kruidentuin aan.
Tijdens de laatste jaren van de Duitse bezetting doolde de jonge Jan Wolkers regelmatig met zijn schetsboek en schilderkistje door het bos van Oud-Poelgeest. Zo bracht hij de hele omgeving in beeld. Het schetsboek, dat hij als jongen van 17 en 18 daarmee vulde, is bewaard gebleven.
Het tillenbeest
Het kasteel speelt een belangrijke rol in een verhaal uit het debuut van Jan Wolkers, de bundel ‘Serpentina’s petticoat’ uit 1961. In ‘Het tillenbeest', steelt de hoofdfiguur uit een naburig kasteel een beeld, dat de sfinx voorstelt uit Sophocles' tragedie Koning Oedipus. Wolkers was geïnspireerd geraakt door de twee tillenbeesten van Oud-Poelgeest.
Het verhaal is behoorlijk autobiografisch. Want Wolkers stal het beeld uit Kasteel Poelgeest. Een paar jaar geleden kwam het marmeren voorwerp, via de zus van de overleden schrijver, weer in handen van de stichting die het kasteel beheert.
Historicus Frank Lugt schreef een boek over de historie van kasteel Oud-Poelgeest en geeft regelmatig rondleidingen: