In de 15e eeuw werd de gehele Waalkade voorzien van een stadsmuur met daarin maar liefst acht stadspoorten, waaronder de Veerpoort.
Aan beide uiteinden van de Waalkade stonden grote torens: aan de oostkant de Melaten- of Lappentoren en op de westelijke hoek de St. Hubertus- of Rode Toren. De Lappentoren, gebouwd in 1463, stond op de plek waar nu de weg onder de Waalbrug doorgaat. De toren is in zijn oorspronkelijke staat goed te zien op een schilderij van Lieve Pietersz. Verschuier. In 1784 trad de Waal, als gevolg van kruiend ijs, buiten haar oevers. Dit onstuimige moment is getekend door Steven Goblé. De Lappentoren was niet bestand tegen het kolkende water en stortte in. Hendrik Hoogers legde de ingestorte Lappentoren nauwkeurig vast.