In de 10de eeuw stond op de plaats van het huidige kasteel een waterburcht, die deel uitmaakte van een versterkingsgordel aan de Schelde. De kelder uit de 15de eeuw en de toren uit de 16de eeuw de oudste restanten.
In 1981 werden het kasteel, het imposante poortgebouw, de oude duiventoren en de elegante hangbrug over de parkvijver beschermd als monument. Het vormt vandaag het decor voor culturele activiteiten (concerten, tentoonstellingen), vergaderingen en recepties. Begeleide groepsbezoeken op aanvraag.