De Duitse keizers hebben een belangrijke reden om Tiel te beschermen: de kooplieden die er komen en voorbijvaren moeten hen tol betalen. Maar vanaf 1020 begint de Tielse handel minder te worden.
Graven in de omgeving geven veel rechten aan hun eigen steden, zoals Dordrecht. Bovendien slibt de aftakking van de Linge bij Tiel dicht. Het wordt steeds lastiger om die route te bevaren en voor grotere schepen wordt het onmogelijk. Als in 1174 keizer Frederik Barbarossa de Tielse tol verplaatst naar Kaiserswerth (bij Duisburg in Duitsland), dan is dat een teken, dat de bloei van Tiel als handelsstad echt voorbij is.