Volgens oude verhalen zou de site opklimmen tot de Romeinse periode, er is sprake van een houten wacht- of uitkijktoren die werd gebouwd op een donk.
In literatuurbronnen wordt er reeds een mottekasteel uit de 9de-10de eeuw vermeld, opgevat als een verdedigingstoren tegen de invallen van de Noormannen en naderhand de verblijfplaats van de heren van Bornem.
De graven van Vlaanderen laten het beheer van het Land van Bornem over aan de machtige burggraven van Gent die het kasteel van begin 11de eeuw tot 1250 in bezit zullen hebben.
Sommigen van hen lieten hun stempel achter, zo liet burggraaf Lambert I er een castellum in hout oprichten. De burggraven droegen zo bij tot de verdere ontwikkeling van het domein en hadden een aanzienlijke impact op het dagelijkse leven in en rond het kasteel.
In 1250 koopt Margaretha van Constantinopel, gravin van Vlaanderen, het kasteel en de heerlijkheid van de burggraven waardoor het kasteel voortaan deel ging uitmaken van het grafelijke domein.
Haar achterkleinzoon Robrecht van Kassel wordt in 1314 heer van Bornem en bezit het rivierrecht. In deze periode zijn er twee scheldelopen, de Oude Schelde die aan het verzanden is en de Nieuwe Schelde. Robrecht zal de Oude Schelde indammen door het bouwen van de Steendamdijk en de Breendonkdijk. Beide lopen werden verbonden door een sluis.
Door erfenis komt het Land van Bornem in handen van de belangrijke families van Bar, van Luxemburg en van Bourbon.
In 1544 wordt Jan van Bourbon, 31ste heer van Bornem, ook de eerste Baron van Bornem. Hij ruilt het Land van Bornem voor een baronie in Anjou met zijn nicht Anna van Alençon. Zij zal later huwen met de Italiaanse markies van Monferrato en het Land van Bornem wegschenken waardoor het in het bezit komt van de families Gonzaga en Avalos.
In 1586, na de val van Antwerpen, koopt Pedro Coloma, officier in het Spaanse leger, de heerlijkheid Bornem. Hij laat het vervallen kasteel heropbouwen en bouwt met eigen middelen ook de abdij van Bornem.
Op het einde van de 17de eeuw wordt Jean-François Coloma, kleinzoon van Pedro Coloma, verheven tot de 1ste graaf van Bornem door de Spaanse koning Filips IV.
De gravure van Sanderus in zijn Flandria Illustrata (1641) geeft een goede indruk van het uitzicht van het kasteel in die tijd.
De dochter van de eerste Graaf van Bornem, Gravin Marie Florence de Coloma huwt in 1694 met Jean-Théodore de Corswarem. Hun dochter Anne huwt met Philippe Adrien François de Marbais.
Hun zoon Bernard die kinderloos is, duidt zijn neef Adrianus de Lannoy als opvolger aan, maar deze aanvaardt de erfenis niet en laat ze over aan zijn zus Eléonore-Aldegonde de Lannoy.
Gezien zij gehuwd is met Baudry de Marnix komt het domein zo in 1780 in de handen van de familie de Marnix en wordt hun zoon Claude de 7de graaf van Bornem.
In opdracht van Ferdinand Jozef, 11de graaf van Bornem en gehuwd met Adriana de Marnix, start de familie een grondige renovatie van het kasteel en de bijgebouwen. Onder leiding van architect Hendrik Beyaert wordt het voormalige renaissance kasteel bijna volledig gesloopt en heropgebouwd zoals u het vandaag de dag nog kan bewonderen.
Zijn zoon John I de Marnix zal het domein daarna 50 jaar beheren tot zijn dood in 1963.
John II de Marnix, 14de graaf van Bornem en 54e kasteelheer, beheert ondertussen ook al meer dan 50 jaar het domein en kasteel met hart en ziel. In 1985 stelde hij een deel van het kasteeldomein open voor het publiek en vandaag de dag zijn er nog meer concrete plannen om dit uniek stuk erfgoed in de kijker te brengen.