Het huis Geldersweert stond in de gelijknamige uiterwaard, ook wel 'de Gelderse weert'. Waar 'weert' staat voor uiterwaard en 'Gelderse' voor de eigenaar. De eigenaren waren voor een lange tijd namelijk de hertogen van Gelre. Karel van Gelre, die van Egmont heette, schonk het goed in 1538 als huwelijksgeschenk aan zijn bastaardzoon Karel van Gelre 'de Jonge', wiens kinderen van Gelder zijn gaan heten.
Naast Geldersweert werd Karel ook beschonken met de Gelderse Toren bij Spankeren en een molen bij het 'Gulden Spijker'. In 1539 werd Karel in de Ridderschap van de Veluwe beschreven als Karel van Gelder de Jonge, heer tot Spankeren. Hier wordt hij nog niet heer van Geldersweert genoemd terwijl hij dan al wel de eigenaar van het goed is. Het is niet duidelijk of er destijds al sprake was van een (adellijk) Huis of dat dit later pas is gebouwd. De Gelderse Toren werd nagelaten aan zijn naar hem vernoemde zoon; Karel van Gelder de Jongste, die het op zijn beurt weer schonk aan zijn zuster Catharina van Gelder, zijn andere zoon Adolph van Gelder kreeg Geldersweert.
In de periode dat Adolph van Gelder de eigenaar was van het goed, woonde hij met zijn gezin op havezate Warmelo, wat in de familie is gekomen via zijn schoonvader Godert van Batenburch, en werd Geldersweert verhuurd. Toen de kinderen volwassen waren geworden, waren beide ouders al overleden. Een van de dochters, Charlotte van Gelder, kreeg de havezate Warmelo en trouwde in het geslacht Sloet in 1633. Haar oudere dochter Judith huwde voor 1632 al met Daniel de Bedarrides, een hugenoot die gevlucht was uit het prinsdom Orange, samen betrokken zij Geldersweert. Na het overleden van Judith hertrouwde De Bedarrides haar jongere zuster Elsabé of Elisabeth geheten.
Toen Daniel en Elisabeth beiden waren overleden in 1678, erfde hun enige nog levende zoon, Carel de Bedarrides, huis Geldersweert. Acht jaar later overleed hij en erfde zijn zuster het goed, Catharina Florentina de Bedarrides. In 1668 was zij getrouwd met Arent Sloet, heer van Boekelo en Warmelo. Warmelo had hij geërfd van de nakomelingen van Charlotte van Gelder tot Warmelo en hierdoor was het goed weer terug in de familie. Catharina en Arent Sloet woonden inmiddels al sinds 1673 in de havezate waardoor zij het huis Geldersweert verhuurden. Uit het kasboek van de familie Sloet blijkt dat zij zelf nooit gewoond hebben op Geldersweert.
In 1971 werden de funderingen van het adellijk huis tijdens ontgrondingwerkzaamheden ontdekt. Deze restanten lagen ongeveer 800 meter ten westen van het Ingense veerhuis. Het huis was ongeveer 20 bij 15 meter, waarvan de funderingen een muurdikte hadden van 1 meter. Aan de steunberen was te zien dat het huis mogelijk op een hoek een toren heeft gehad, hoewel hier in oude documenten niets over gezegd wordt. Op de kasteelplaats stonden naast het huis ook nog een duifhuis en een schuur. Het kasteelterrein was aan drie zijden omgracht. Er was een houten brug die de kasteelplaats met de oprijlaan verbond.
Door hoogwater en het verstreken van de tijd kwam het huis in verval en werd het in 1803 afgebroken. Hiervoor in de plaats werd een nieuw huis gebouwd wat werd gebruikt als woning voor de steenovenbaas. De laatste gronden werden in 1818 door de douairière van Dierderik Bentinck, heer van Diepenheim verkocht. De gronden hadden een oppervlakte van 56 morgen (48 hectare) en strekten uit tot Ommeren en Maurik. De woning en een gedeelte van de omliggende landen werden gekocht door de heer Jhr. Dr. Mr. F.A. van Leyden van Westbarendrecht, oud-minister van Binnenlandse Zaken, die getrouwd was met de dochter van des H.R. Rijksgraaf Adolph Warner van Pallandt van Eerde. De schoonzoon van Bentinck, kocht ook enkele gronden evenals een dochter van Joan Derk baron van der Capellen tot den Pol, die vooraanstaand partiot was. Haar moeder was ook een Bentinck die nog verre familie was van de familie van Geldersweert.
Bronnen: