Hoewel het authentieke uiterlijk van het Arsenaal anders doet vermoeden, is dit al lang niet meer het volledige oorspronkelijke gebouw zoals het in 1824 gereed kwam. Niet alleen de bestemming maar ook het uiterlijk is meerdere keren aan verandering onderhevig geweest.
De fundamenten onder het gebouw stammen zelfs al uit de 13e eeuw en maakten toen deel uit van het pal tegenover gelegen klooster Mons Mariae dat ergens voor 1412 op die plek werd gesticht. De huidige naam Mariënburg is een afgeleide van de naam van dit klooster.
Tussen 1820 en 1824, als er op deze plek al lang geen sprake is van een klooster, werd er gebouwd aan een arsenaal waar wapens en munitie werden opgeslagen. In dezelfde periode verschijnen er meer militaire gebouwen op de Mariënburg.
Vanaf 1878 krijgt het Arsenaal een groot aantal verschillende bestemmingen. De laatste militairen vertrokken in 1905, waarna een gedeelte van het gebouw gesloopt werd in 1910. Het overgebleven deel werd ingericht als stadswerkplaats. In 1975 kwam het plan om het gemeentearchief naar het gebouw te verhuizen, waarna een verbouwing volgde om het archief te kunnen huisvesten. Rond de eeuwwisseling volgde na een prijsvraag een flinke verbouwing waarbij de huidige doorgang op de begane grond met horeca aan weerszijden werd gerealiseerd onder de naam Vlaams Kwartier. Dit gebeurde onder supervisie van architect Paul van de Hontem in samenwerking met de stichting ‘Vlaams Cultureel Kwartier'. Op de eerste en tweede verdieping werd ruimte voor culturele instellingen gerealiseerd. In 2006 volgde de officiële feestelijke opening van het gebouw met in het midden een opening als verbinding tussen voor en achterzijde. Intussen is de horeca overgegaan naar nieuwe uitbaters.