Foreløpig trives de godt i Loshuset, som eies av Kystverket. Den aktive foreningen har utstillinger i her, og de bruker det også som lager for mange historiske gjenstander. Nedleggelse av losdriften på Hvasser har imidlertid vært oppe til diskusjon, og Hvasser og Brøtsø historieforening ber kommunen om å få være med i diskusjonen rundt etterbruk av huset om det skal selges.

Også mobilmasta som står rett på utstiden av Loshuset har vært mye diskutert den siste tida. Kystverket ønsker ikke lenger å leie ut denne grunnen til mast, og Netcom har derfor måttet se seg om etter nye områder som kan dekke behovet, før Hvasser blir fritt for dekning.