In 1804 besluit de Burense domeinraad het ernstig verwaarloosde kasteel te slopen. Na de dood van Frederik Hendrik in 1647 is het in verval geraakt. Eind 18e eeuw zijn Pruisische troepen ingekwartierd en is het kasteel gebruikt als hospitaal voor Hessische en Engelse militairen. Maar omdat er geen nieuwe bestemming wordt gevonden, valt het besluit om het kasteel en een groot deel van de daaraan verbonden gebouwen voor afbraak te verkopen.
Het is zoveel materiaal, dat het jaren duurt voor het hoofdgebouw is verdwenen. In 1809 protesteert het stadsbestuur nog omdat het hooggelegen complex met de omliggende wallen als wijkplaats bij watersnood dient. Maar de sloop gaat door. Intussen worden veel middeleeuwse grote stenen gebruikt voor de bouw en verbouw van lokale huizen en muren. Hardstenen onderdelen worden apart verkocht en komen vaak in de Burense gevels terecht. Met het puin wordt de Hondsbosse Zeewering versterkt.
Het stadsbestuur heeft het geheel in eigendom verkregen onder voorwaarde 'ten eeuwigen dage de wallen te behouden als wijkplaats bij watersnood'. Als in 1883 ook het allerlaatste deel, de voorpoort, onder de slopershamer valt, worden die stenen gebruikt voor een poortgebouw voor de begraafplaats en de bouw van een vloedvrij lokaal met ruimte voor een gevangenis, de brandweer en een schietschouw.
Eind 19e eeuw neemt J.A. Heuff Azn., de schrijver Huf van Buren, het initiatief de in de stad en elders voorkomende ornamenten te verzamelen en daarmee een monument op te richten ter herinnering aan het kasteel. Dat lukt in 1899. Er worden zelfs ansichtkaarten van gemaakt. Maar veel onderdelen zijn gestolen. Het uitgeklede nieuwe monument uit 1971 is het enige dat rest van dit eens zo machtige kasteel van Buren.
Dit verhaal is onderdeel van de canon van Buren. Het volgende venster is hier te vinden.
Wim Veerman
Buren
Streekgeschiedenis
1800-1900
Buren
Monumenten
Rivierengebied