Den 17. april i 1878 løste Wilhelm Halvorsen borgerbrev som bakermester i Sandefjord, og startet sitt bakeri i Langgaten i 1879. Allerede i 1882 kljøpte han Kirkegaden 123 som lå ved Steentorvet og tilhørte enkefru Mathilde Hotvedt, men før han egentlig rekk å komme ordentlig igang brant husene.

Les mer
Se bilde av stedet idag

Han hadde imidlertid assuransen i orden og fikk bygget opp husene igjen ved bybrannen i 1900.
Etter bybrannen og omregulering ble Steentorvet  til Chr. Hvidts Plass, og Halvorsen ville raskt igang igjen. Han engasjerte Kristianiaarkitekten  Gustav Guldbrandsen som tegnet Halvorsens nye bygg, et flott bygg i tre etasjer i markent  jugendstil.
I 1906 kom sønnen Ivar Halvorsen hjem etter læreår i Tyskland med store kunnskaper som finbaker og konditor.
Senior forstod raskt at sønnen hadde brag med seg kunnskap på områder som ikke var så vanlig i byen, og han trakk seg tilbake i 1914, og overtok den videre drift til Ivar som snart lanserte mange gode søtsaker inne bakerikunsten.
Da Ivar Halvorsen as nærmet seg 75 års jubileum var det blitt en bedrift  på nær 50 personer hvorav 23 kviner i butikk og konditori. 4 sjåfører kjørte varer til andre butikker i området.
I 1920 kom Josef Lang som var født i Wien til Sandefjord som 10 åring og ble lærling i bakeriet. Ivar Halvorsen døde i 1947, og Josef Lang overtok driften.  Ved 75 års jubileet hadde bedriften en årsomsetning på vel 4 millioner kroner og hadde  45 heltids og fast ansatte pluss deltidsansatte. Ivar Halvorsen Bakeri var en god arbeidsplass , og flere av de ansatte hadde mer enn 50 år i bedriften. Ved et intremesso ble bedriften solgt utenbys i 1962, men snart kjøpt tilbake av familien Lang med Josef Lang som daglig leder.

I 1973 ble dagens aksjeselskap etablert med Josef Lang som styreformann og Hans Martin Lang som daglig leder. Hans Martin  ville egentlig bli maskinteknikker, men på grunn av sykdom i bedriften måtte Hans Martin avbryte sin utdannelse, og fikk som han sa "livsvarig kakebu".
Ivar Halvorsen as er kjent for sine gode bakervarer på flere områder, både kaker, brød og annen gjærbakst. Ikke minst er "Kosmos" kaken er velkjent produkt, og i forbindelse med byens 100 års jubileum i 1995 fikk bedriften i oppdrag å bake verdens lengste "Kosmoskake" som ble 53,64 meter lang, og kom i Guinness rekordbok.
Fra 1 januar i 2018 overtok Nøtterøy Bakeri  AS driften av utsalgsstedet, mens bakervarene blir produsert ved Nøtterøy Bakeri as sentranbakeri