In 1680 toen de Utrechtse notabele Diderick van Velthuysen Heemstede had verworven begon hij direct met de aanleg van de tuinen. Eerst moderniseerde hij de tuin uit het midden van de zeventiende eeuw. Daarna kocht hij in fasen nieuwe stukken grond aan om de tuin in oostelijke richting uit te breiden. Dit verklaart het verschil in aanleg tussen de drie hoofdgedeelten – het westelijk deel met het huis, het middeldeel met de sterrenbossen en het oostelijk deel met de wildbaan. De boomgaard halverwege het middendeel vormde waarschijnlijk de overgang tussen de oude tuin en de nieuwe uitleg. Het kale slagenlandschap leende zich uitstekend om de tuin langs de hoofdas te verlengen. Uiteindelijk werd deze centrale zichtas ruim twee kilometer lang.