Op 12 juni 1672 vond hier de Slag bij Tolhuis plaats. Het Hollandse leger kon weinig aanrichten tegen de grote overmacht van het Franse leger van Lodewijk XIV, die van hieruit Nederland wilde veroveren. Er vielen veel doden, ook Kasteel Tolhuis ging in de strijd jammerlijk verloren.
De Hollandse Oorlog
In 1672 begon de Hollandse Oorlog (1672-1679) tussen de Republiek der Zeven Verenigde Nederlanden en de Franse ‘Zonnekoning’ Lodewijk XIV. Lodewijk wilde zijn gebied uitbreiden en tot elke prijs de kleine, maar machtige Republiek der Nederlanden veroveren. Hij trok naar het noorden met 120.000 manschappen, het grootste leger dat Europa ooit had gezien. Tegen de verwachting in liet hij het Hollandse bolwerk Maastricht links liggen en verschanste zich met zijn manschappen op de oostoever van de Rijn bij Lobith.
Hoog bezoek
De Fransen, onder leiding van generaal Condé, kregen hulp van een boer uit de omgeving, die hen wees op een doorwaadbare plaats in de rivier. Een dag later stonden de Fransen aan de andere kant van de Rijn, in de buurt van Kasteel Tolhuis. De Hollandse soldaten hadden de opdracht om de opmars van de Fransen te stoppen, of in ieder geval te vertragen. Maar bij de eerste aanval van 2000 Franse ruiters bleken de Hollandse huursoldaten geen partij voor het goed geoefende Franse leger. De overwinning werd in Frankrijk gevierd als een grote overwinning. Generaal Condé raakte evenwel zwaar gewond.
Einde van het Tolhuis
Omdat deze veldslag zich afspeelde bij Kasteel Tolhuis, kreeg het de naam ‘Slag bij Tolhuis’. Na deze slag lag het oosten van het land voor de Fransen open. Alsof dat nog niet erg genoeg was, werden de Nederlanden ook door andere landen aangevallen. 1672 ging dan ook de geschiedenis in als het ‘Rampjaar’. Ook het Tolhuis deelde in de malaise: het kasteel met ‘de dikke toren’ brandde af, alleen het Schipperspoortje bleef over.