Magnacka rezydencja została gruntownie przebudowana w stylu klasycystycznym w latach 1779–1781 przez Aleksandrę Ogińską. Dobudowano wówczas m.in. górną kondygnację w części frontowej (wraz z nową elewacją i kolumnowym portykiem) oraz dwa skrzydła poprzeczne. Autorem projektu był architekt Stanisław Zawadzki.
Zamek wzniesiony został w II połowie XIV wieku jako najbardziej wysunięta na południowy-zachód warownia Mazowsza, usytuowany w bagnistych widłach rzek Rawki i Rylki, na ważnym szlaku handlowym z Pomorza na Ruś.