Het 'buitengoed den Ruitenbergs Ham' was van oorsprong een boerderij. De naam Kleine Ham doet vermoeden dat het een kleine boerderij is geweest maar deze was in de negentiende eeuw allesbehalve klein te noemen. Het huis de Kleine Ham was zelfs groter dan dat van de Grote Ham; dat gold echter niet voor de bijbehorende grond.
De veldnaam 'Ham' zou verwijzen naar land dat in de kromming van een beek of weg ligt. In dit geval zou dat een bocht in de nabijgelegen Terwoldse Wetering of in de Fliert kunnen zijn. Een andere verklaring is dat het een verwijzing is naar een ham van een varken, zoals die op de gevelsteen bij de Kleine Ham is te zien. Hoewel de naam 'Ruitenbergsham' al begin achttiende eeuw voorkomt, is het onduidelijk waar deze naam vandaan komt. Voor zover bekend is er geen Ruitenberg eigenaar of bewoner van het huis geweest.
In 1543 is er al sprake van een erve Ham. Waarschijnlijk was het goed toen nog onverdeeld. Dat is er uit op te maken als Warner Jansz. en zijn 'echte huisfrouw' Gertruidt, o.a. verkopen 'eijn guedt gnandt den Ham (…) hoer anbestorven van selige Hille Wessels' aan Derrick van Duiren en diens vrouw Jutte.
De eerste duidelijke vermelding van het 'erve den Cleijnen Ham' vinden we in het verpondingskohier van 1648. Eigenaar is dan Catharina Lieftinck, weduwe van Gerardus Cremers. Het is dan 21 morgen groot. Net als veel boerderijen, die later uitgroeiden tot buitenplaatsen, had ook de Kleine Ham een lanterskamer die in 1749 werd gebruikt door 'mons. Sluijter'.
Het moet in die tijd geweest zijn dat de Kleine Ham het aanzien had van een buitenplaats zoals op de fraaie en waardevolle muurschildering boven de (destijds) open haard in de keuken te zien is - helaas zonder vermelding van het jaartal.
Door een huwelijk in 1745 kwam het 'erve en goed de Kleine Ham, met herenhuis, hoven, vijver, prielen' in bezit van de familie Wijnoldij. Daarna komt het huis aan de Steven en Jan van Delden. De erfgenamen Van Delden verkopen de Kleine Ham in 1827 aan Willem Bessem, koopman te Deventer. De familie Bessem woonde nooit op de Kleine Ham.
Dat is wel het geval met Hendrikus Hermanus Tangerman, getrouwd met Johanna Zuethof, die het 'buitengoed Ruitenbergsham' in 1869 kochten voor 23.000 gulden. Het buitengoed bestaat dan 'uit Heerenhuis, boerenhuis met schuur, tuin, bouw en weilanden'. Na het overlijden van hun zoon hertrouwde zijn weduwe met Johannes Christianus Boerkamp (1873-1967). Hun nazaten wonen nog steeds op de Kleine Ham. In 1924 werd het vervallen herenhuis vervangen door een boerderij, die opnieuw de naam 'De Kleine Ham' kreeg.
Milly Westerhuis & Jan Groenenberg zijn de auteurs van het in eigen beheer uitgegeven Kastelen en buitenplaatsen in de gemeente Voorst.
Milly Westerhuis & Jan Groenenberg