Na mieste stredovekého hradu dal v polovici 18. storočia postaviť hontiansky župan a generál cisárskych vojsk A. J. Koháry barokovo-klasicistický kaštieľ. Klasické formy stavby viac vychádzajú z pretrvávajúcej renesančnej tradície než z patetického a pompézneho barokového prejavu. Hlavný vstup do nádvoria kaštieľa vedie cez mohutný polkruhovo zaklenutý portál s trojuholníkovým tympanónom v mierne vystúpenom rizalite. Za najcennejšie súčasti výtvarnej výzdoby kaštieľa sa pokladá baroková fresková výzdoba kaplnky a reprezentatívne schodisko.
Bohato zariadené interiéry s nábytkom z 18. – 19. storočia, poľovnícke trofeje a zbrane sú súčasťou expozície Múzea vo Svätom Antone. Kaštieľ stojí na okraji rozsiahleho prírodno-krajinárskeho parku voľne prechádzajúceho do lesoparku s pozostatkom predchádzajúcej barokovej úpravy z polovice 18. storočia na štvrtej terase. Na najvyššej terase sa nachádza jazierko, napájané z jedinečnej vodnej sústavy privádzajúcej vodu z Kolpašského jazera. Súčasťou parku sú romantické stavby, mostíky umelá jaskyňa a altánky.
Kultúrne dedičstvo > Národné kultúrne pamiatky