Ridders met de naam Van den Latmer duiken al in de dertiende eeuw op, maar in 1414 wordt ook het tiendgoed Lathmer voor het eerst genoemd. Oorspronkelijk heet het huis Laekmer, want laak betekent beek. Het middeleeuwse huis dat ten zuidwesten van Wilp ligt, wordt in de achttiende eeuw afgebroken en krijgt zijn huidig uiterlijk in 1911.
Achttiende-eeuwse tekeningen van Cornelis Pronk laten een versterkt huis de Lathmer uit de vijftiende of zestiende eeuw zien op een eilandje te midden van water. Eigenaren komen uit de familie Van Soerhuis. In de loop van de zestiende eeuw koopt een burgemeester uit Harderwijk, Jacob van Brienen, het huis van een Veluwse dijkgraaf. De familie Van Brienen blijft tot 1631 in bezit van de Lathmer, waarna de familie Van Broeckhuysen het bezit overneemt.
In de jaren zestig van de achttiende eeuw laat het echtpaar Van Broeckhuysen-Van Lynden de Lathmer rigoureus vernieuwen tot een neoclassicistische landhuis. Ook het park rond het landhuis wordt veranderd en waarschijnlijk uit deze periode stamt het speelhuis in de vorm van een miniatuur boerenwoning. Dit alles levert de familie grote schulden op en in 1766 maakt een openbare verkoop een einde aan dit familiebezit. Eind achttiende eeuw is het landgoed bezit van een Amsterdamse koopman, Jan Willink, en in het midden van de negentiende eeuw gaat het over op de Amsterdamse bankiersfamilie Crommelin. Rond 1860 wordt huis de Lathmer in de stijl van een Italiaanse villa verbouwd en na de brand van 1911 ontwerpen de broers van Nieuwkerken een huis in neorenaissancestijl. De tuinarchitect Springer ontwerpt dan van het park.
De diplomaat Claude Crommelin verblijft veel in het buitenland en verhuurt huis de Lathmer. Zo is vanaf 1950 de Daniël de Brouwerstichting de huurder en later de eigenaar van het huis. De stichting gebruikt het huis voor de verpleging van zwakzinnige jongens en mannen door de Congregatie van de Broeders Penitenten. Sinds 1987 is de Stichting Voorzieningen voor Geestelijk gehandicapten De Lathmer de nieuwe bezitter en exploitant. De Stichting Zozijn beheert na enkele fusies het huidige complex, waarvan het hoofdgebouw een rijksmonument is en het speelhuis een gemeentelijk monument. Publiek mag het terrein betreden.
Bron:
Ben Boersema, Erfgoed Gelderland, CC-BY