Huis De Voorst behoorde tot een ring van havezates rond Zutphen, maar was lange tijd van geringe betekenis. Daar kwam verandering in toen het in de zestiende eeuw overging in handen van het geslacht Van Keppel. In 1692 verwierf dat ook het aangrenzende 't Velde.
Het hoogtepunt in de geschiedenis van het landgoed vormt de bouw van huis De Voorst en de aanleg van park en tuinen rond 1695 door Arnold Joost van Keppel. Van Keppel was al op jeugdige leeftijd in de gunst gekomen van koning-stadhouder Willem III, die de bouw van het huis mede financierde en er over enkele vertrekken kon beschikken. Van Keppel wist de bekendste ontwerpers van zijn tijd in te schakelen: de stadhouderlijke architect Jacob Roman, die ook Het Loo bouwde, en de ontwerper Daniel Marot, die werd ingeschakeld voor het interieur en de tuinen. Het huis had met zijn colonnades, zijn bijzonder rijke interieur en indrukwekkende tuinaanleg een on-Nederlandse allure. Reeds vijftig jaar na de bouw werd De Voorst verkocht, waarna het in handen kwam van de geslachten Van Lynden, Bentinck en Van Neukirchen.
Van de uitzonderlijke rijkdom van het oorspronkelijke interieur is in het huidige huis niets over. Deuromlijstingen en schouwen waren van gedetailleerd snijwerk voorzien. Stucwerk en schilderingen sierden wanden en plafonds. De schilderingen in het trappenhuis waren in dezelfde trant als op Het Loo uitgevoerd. De vergulde deursloten en de uitzonderlijke meubilering spraken tot ieders verbeelding.