Selon de vieux récits, le site remonte à la période romaine, on parle d'une tour de guet ronde en bois ou d'une tour de guet construite dans un méandre de l'Escaut sur un donk.
Des sources littéraires mentionnent déjà un motte castrale du IXe au Xe siècle, conçu comme tour de défense contre les invasions normandes et ensuite résidence des seigneurs de Bornem.
Les comtes de Flandre laissent la gestion du Pays de Bornem aux puissants vicomtes de Gand, qui seront propriétaires du château du début du XIe siècle à 1250.
Certains d'entre eux ont laissé leur empreinte, par exemple, le vicomte Lambert I y fit ériger un castellum en bois. Les vicomtes ont ainsi contribué au développement ultérieur du domaine et ont eu un impact significatif sur la vie quotidienne dans et autour du château.
En 1250, Marguerite de Constantinople, comtesse de Flandre, achète le château et le manoir aux vicomtes, faisant désormais partie du château du domaine du comte.
Son arrière-petit-fils Robrecht van Kassel devient seigneur de Bornem en 1314 et possédait les droits fluviaux. A cette époque, il existe deux chenaux estuariens, l'Ancien Escaut, qui s'envase, et le Nouvel Escaut. Robrecht endiguera l'Ancient Escaut en construisant le Steendamdijk et le Breendonkdijk. Les deux rivières étaient reliés par une serrure.
Par héritage, le Land de Bornem passa aux mains des grandes familles du Barreau, du Luxembourg et du Bourbon.
En 1544, Jan van Bourbon, 31e seigneur de Bornem, devient également le premier baron de Bornem. Il échange le Pays de Bornem contre une baronnie d'Anjou avec sa nièce Anna d'Alençon. Elle épousera plus tard le marquis italien du Monferrato et donnera le Pays de Bornem, qui mettra les familles Gonzaga et Avalos dans l'entreprise.
En 1586, après la chute d'Anvers, Pedro Coloma, officier de l'armée espagnole, achète le domaine de Bornem. Il fit reconstruire le château en ruine et construisit l'abbaye de Bornem avec ses propres ressources.
À la fin du XVIIe siècle, Jean-François Coloma, petit-fils de Pedro Coloma, est élevé au rang de 1er comte de Bornem par le roi d'Espagne Philippe IV.
La gravure de Sanderus dans son Flandria Illustrata (1641) donne une bonne impression de l'aspect du château à cette époque.
Fille du premier comte de Bornem, la comtesse Marie Florence de Coloma a épousé Jean-Théodore de Corswarem en 1694. Leur fille Anne épouse Philippe Adrien François de Marbais.
Leur fils Bernard, sans enfant, nomme son neveu Adrianus de Lannoy comme successeur, mais il n'accepte pas l'héritage et le laisse à sa sœur Eléonore-Aldegonde de Lannoy.
.Comme elle est mariée à Baudry de Marnix, le domaine passa aux mains de la famille Marnix en 1780 et leur fils Claude devint le 7e comte de Bornem.
Commandé par Ferdinand Jozef, 11e comte de Bornem et marié à Adriana de Marnix, la famille entame une rénovation complète du château et des dépendances. Sous la direction de l'architecte Hendrik Beyaert, l'ancien château Renaissance est presque entièrement démoli et reconstruit comme on peut encore l'admirer aujourd'hui.
Son fils Jean I de Marnix dirigera ensuite le domaine pendant 50 ans jusqu'à sa mort en 1963.
John II de Marnix, 14e comte de Bornem et 54e "seigneur du château, gère désormais le domaine et le château avec cœur et âme depuis plus de 50 ans. En 1985, il a ouvert une partie du parc du château au public et aujourd'hui, il existe des projets encore plus concrets pour mettre en valeur ce patrimoine unique.