Kaštieľ bol postavený v roku 1720, spočiatku slúžil ako klasická vidiecka kúria, letné sídlo rodiny Esterházy. Pôvodne baroková stavba bola v 19. storočí prestavaná v klasicistickom štýle. Kaštieľ obklopuje nádherný anglický park s potokom, nachádzajú sa tu vzácne dreviny - platany , vzácny tisovec dvojradový ako i historický, 350-ročný dub letný.

Gróf Ján Karol Esterházy (1775 – 1834) bol známy svojim pozitívnym vzťahom ku kultúre, podporoval napríklad Národné múzeum v Budapešti a podieľal sa aj na rozvoji Maďarskej akadémie vied. V roku 1818 pozval významného – dnes už svetoznámeho hudobného skladateľa Franza Schuberta ako učiteľa hudby pre svoje dcéry Máriu a Karolínu. Schubert tu strávil niekoľko mesiacov v službách rodiny a vrátil sa sem aj po šiestich rokoch teda v roku 1824. Podľa dostupných informácií tu prežil síce krátke (máj – december), ale z hľadiska jeho tvorby významné, inšpiratívne obdobie. Je viac, ako pravdepodobné, že jeho skladba s názvom Fantázia F-moll bola ovplyvnená tajnou túžbou po mladej kontese Karolíne.

Ďalšou osobnosťou, ktorá svojim pobytom spestrila – alebo skôr osladila život rodiny Esterházyovcov, bol viedenský cukrár Franz Sacher, ktorý sa stal svetoznámym svojou tortovou špecialitou. Historické dokumenty potvrdzujú, že  v rokoch 1842 - 1843 pôsobil práve v Želiezovciach ako hlavný kuchár grófskej rodiny a jeho syn Eduard  - neskorší zakladateľ prestížnej hotelovej siete sa tu narodil vo februári 1843.

V blízkosti kaštieľa  sa nachádza tzv. Soví zámoček, ktorý dnes slúži ako Mestské múzeum prezentujúce miestnu históriu od najstarších čias až po novodobé dejiny.  Klasicistická stavbu dal postaviť už spomínaný  Ján Karol Esterházy pre rodinných učiteľov: čelnú fasádu zdobí socha sovy – symbol múdrosti. Na poschodí domu bola zriadená pamätná izba F. Schuberta, ktorá dobovým nábytkom a zachovanými osobnými predmetmi znázorňuje každodenný život tohto hudobného génia počas jeho pôsobenia  v Želiezovciach.