Huset ble bygget av Ellef Thomassøn i 1711. Hans familie og etterkommere bodde i huset fram til1805 da Morten Michael Kallevig kjøpte det. På 1840-tallet ble eksteriøret endret til senempire, en stil huset fortsatt har. Huset var bebodd av medlemmer i Kallevig familien helt til midt på 1900-tallet. I 1968 ble det overdratt til Arendal Sjømandsforening som har holdt til her siden.