In de uiterwaarden bij Ingen liggen de resten van kasteel Geldersweert, een versterkt huis van de hertogen van Gelre. Hertog Karel van Gelre schonk het als huwelijksgeschenk aan zijn bastaardzoon Karel van Gelre tot Spankeren. Het kasteel werd in het begin van de 19e eeuw gesloopt. De naam Geldersweert wordt sinds 2003 levendig gehouden door de naam van de veerboot Ingen-Elst.
Karel van Gelre tot Spankeren
Het Huis Geldersweert was een versterkt huis van de hertogen van Gelre. Het kasteel lag 800 meter ten westen van het veer Ingen-Elst. Karel van Gelre overleed in 1538 zonder wettige nazaten. Karel had wel geschikte buitenechtelijke kinderen (bastaardkinderen) om hem op te volgen, maar die telden voor de wet niet mee. Karels bastaardkinderen kregen wel land en kastelen. Eén van zijn bastaardkinderen, Karel van Gelre de Jonge, heer tot Spankeren, ontving kasteel Geldersweert.
Elsabe van Gelder
Een kleindochter van Karel van Gelre tot Spankeren was Elsabe of Elisabeth, vrouwe van Gelder. Elsabe trouwde in 1632 met Daniel de Bedarrides, een gevluchte hugenoot uit het prinsdom Orange in Zuid-Frankrijk en officier in het Staatse leger. Toen Daniel een aanvraag deed om in de ridderstand van Gelre te worden opgenomen, werd hem dat geweigerd. Voor de commissie woog het feit dat hij een ‘vreemdeling’ was zwaarder dan zijn bezit en huwelijk met de adellijke Elsabe. Daniel werd wel Ouderling van de gereformeerde gemeente in Ingen. In 1678 stierf Elsabe op het kasteel Geldersweert. Ze was de laatste kasteelvrouwe van Gelder.
Fundering Geldersweert
Door invloed van de rivier raakte Geldersweert in verval en werd in 1803 afgebroken. In plaats daarvan verrees een woning van de plaatselijke steenovenbaas. In 1971 werd de fundering van het adellijk huis opgegraven en in kaart gebracht. Het versterkte huis was ongeveer 20 bij 15 meter, waarvan de fundering een muurdikte van 1 meter had. Het was een vrij eenvoudig huis met één toren in de noordwestelijke hoek. De archeologische vondsten dateren het kasteeltje in het begin van de 16e eeuw.