Lensmann Peter Bryn overtok Søndre Sverdstad i 1824.
Seilskuterederen Anton Fredrik Klaveness overtok i 1871.
A.F. Klaveness den yngre overtok i 1904, og flyttet rederiet til Lysaker ved Oslo.
Berit og Johan Rasmussen overtok i 1914, samtidig som Rasmussen gikk inn som eier i P. Bogens rederi.
I 1968 ble gården overtatt av sønnen, Kåre Rasmussen.
I 1970 ble det solgt ca. 50 da jord til Sandefjord kommune til utvidelse av kirkegården.
Ca. 1975 ble det som var igjen av gården, overtatt av Odd Bergland, barnebarn av Johan og Berit K. Rasmussen.
I 1985 ble gården solgt til Sandefjord kommune.
Før salg og utbygging begynte, hadde gården ca 200 dekar dyrka mark.