De Vanghentoren dankt zijn naam aan de stadsgevangenis die hier lange tijd was gevestigd. Maar voor die tijd was de toren een onderdeel van de Burg, het stadskasteel van de graaf van Gelre in Harderwijk. Tegenwoordig herinneren alleen de straatnamen Blokhuissteeg en Burgtstraat nog aan de plaats van de oude grafelijke burcht.
Herderewich
Op 11 juni 1231 verleende graaf Otto II van Gelre stadsrechten aan de nederzetting Herderewich. Hiermee werd Harderwijk officieel een echte stad. Harderwijk mocht nu zelf rechtspreken, week- en jaarmarkten organiseren en zichzelf verdedigen door middel van stadsmuren. Rond 1280 trad Harderwijk toe tot de Duitse Hanze. De Hanze was een handelsverbond tussen kooplieden en later tussen steden. Toetreden tot de Hanze was een teken dat Harderwijk inmiddels een internationaal georiënteerde handelsstad was geworden. De week- en jaarmarkten leverden de stad veel geld op.
Stadskasteel Harderwijk
In 1310 kocht Otto’s zoon, graaf Reinoud I van Gelre, een stuk grond bij de stadsmuur en liet daarop zijn stadskasteel bouwen. De Vanghentoren was de Zuiderzeepoort van het kasteel. Met zijn versterkte muren was de burcht vooral een symbool van de macht van de graaf. De stad mocht dan wel zijn eigen rechten hebben, de graaf was nog steeds de grote baas en ontving de nodige belastingen uit de welvarende stad. Harderwijk bouwde in de 14e eeuw stevige stadsmuren. Als bescherming tegen vijanden, maar ook tegen de zee.
Blokhuis
In 1393 stond de hertog van Gelre zijn kasteel af aan het stadsbestuur van Harderwijk. Het werd een zogeheten blokhuis, een versterkt onderdeel van de stadsmuur. Een deel van de burcht werd in gebruik genomen als gevangenis. In 1673 werd het blokhuis bijna in zijn geheel afgebroken, alleen de Vanghentoren bleef min of meer overeind. Tussen 1820 en 1941 werd de toren het ‘soephuis’ genoemd. Hier werd soep uitgedeeld aan de armen van de stad. In de vloer bevindt zich nog steeds een houten luik met daaronder een gigantische soepketel van maar liefst 1200 liter. Momenteel is de toren in gebruik als woonhuis.