Strekningene langs fjorden ble skilt ut fra Huvik gård midt på 1800-tallet.
Kjøpmann P. C. Pedersen kjøpte Fjellvik i 1874, og bygde i 1881-82, som landsted, den store bygningen i sveiserstil som ennå står i 2020.
I 1890 ble Fjellvik solgt til verkseier Chr. Christensen og direktør Ole Wegger ved Framnæs Mek. Værksted.
Wegger overtok bygningene med et areal rundt, og bodde fra ca. 1900 til 1932 på Fjellvik med sin familie.
Hvalfangstbestyrer Oscar Nielsen eide Fjellvik, og bodde her med sin familie fra 1932 til 1947.
Fra 1954 til 1985 var Fjellvik eid av Framnæs Mek. Værksted, som brukte huset til funksjonærbolig.
Fjeldvig Gjestegaard  var i drift fra 1986 til 1999.
Deretter ble Fjellvik seksjonert til leiligheter.