I 1937 ga Sandefjords Sparebank tilsagn om lån til bygging av Speiderhuset i Halvdan Svartes gate 16, og mange instutusjoner og privatpersjoner ga pengegaver slik at huset komme føres opp. Sandefjord kommune skjenket tomten til speiderbevegelsen.
Den 9. februar i 1937 ble det førsste spadestikk for utgraving av tomta. Arkitekt var arktiekt Aase, og bygget stod ferdig like før krigsutbruddet den 9. april 1940.

Les mer

Den tyske okkupasjonsmakten rekvirerte huset, og brukte det i krigsårene. Etter krigen var det helt nødvendig med oppussing av hele huset. En oppussing som den lokale speiderbevegelsen utførte på  dugnad.

Det kan også nevnes at i frigjøringsdagene ble lokale nasister  internert i speiderhuset noen dager