Nærholmen var, som Storøya, opprinnelig en del av storgården Sørby.
Det var skipsmegler A. C. Olsen som kjøpte øya i 1914 og har siden vært i familiens eie.
Øya ble delvis brukt som seter for Åsly før og under krigen.