De herkomst van de naam Kinkelenburg is niet bekend. Het gebouw zoals het er nu staat, omvat vier delen, elk met hun eigen voorgeschiedenis. In de veertiende eeuw is het oudste deel, een woontoren, gebouwd. Volgens de oudste gegevens moet daarin Johan Van Ambe gewoond hebben. Zijn naam leeft ook voort in een Bemmelse straatnaam.
Alleen de kelderverdieping van de woontoren is in stand gebleven. Losstaand van de woontoren werd in de vijftiende eeuw een kleine poorttoren gebouwd. Woon- en poorttoren werden tussen 1575 en 1625 met elkaar verbonden. Op de overgebleven kelderverdieping van de woontoren werd tenslotte in 1765 een voor die tijd moderne vleugel gebouwd.
In de Tweede Wereldoorlog is de Kinkelenburg ernstig beschadigd en in verval geraakt. Het vervallen gebouw werd onder leiding van Charles Estourgie gerestaureerd en is later als gemeentehuis in gebruik genomen. Het pand is een rijksmonument