Prízemný barokový kaštieľ v Jelenci postavil biskup Pavol IV. Forgách v roku 1722. Forgáchovci v ňom žili a zdržiavali sa až do konca druhej svetovej vojny, potom slúžil na rôzne účely. V roku 1911 zomrel v kaštieli gróf Karol III. Forgách, ktorý sa stal slávnym vďaka introdukcii muflóna v Európe. V kaštieli sa nachádza aj malá kaplnka, vo veľkej sále je možné usporiadať koncerty. Na neďalekých kopcoch nad obcou Jelenec vlastnila rodina svoj hrad z 13. storočia, ktorý bol obývaný do konca 19. storočia - Hrad Gýmeš. Sem sa uchyľovali najmä v čase nebezpečných tureckých výbojov a vojen. Po výstavbe nového kaštieľa v obci v roku 1722 sa rodina rada zdržiavala v ňom.

V októbri 2009 sa v zrekonštruovanej časti kaštieľa, v štyroch miestnostiach, sprístupnila stála expozícia Múzea rodu Forgách. Tento významný šľachtický rod vystupuje v uhorských dejinách, ktorých súčasťou bolo aj dnešné Slovensko, už viac ako osem storočí. Bohaté dejiny rodu sú spojené s mnohými miestami na Slovensku. Vojaci, diplomati, generáli či cirkevní hodnostári, to je široká škála životných príbehov členov rodu, ktorých portréty tu nájdete. V kaštieli môžete vidieť archeologické nálezy z hradu Gýmeš - ich najstaršieho rodového sídla. V prvej miestnosti je inštalovaná národopisná (etnografická) expozícia, ktorá predstavuje tzv. prednú izbu. Na chodbe sa usporadúvajú príležitostné výstavy.