Johannes Aagaard bygde huset til sin sønn Lauritz Nicolai Aagaard antagelig midt på 1800-tallet. Huset finnes på kart fra 1868.
Anders og Kristine Johansen kjøpte huset rundt 1900, og overdro gården til Hans Johansen (populært kalt «Hans Tomta»).
Arvingen etter Hans Johansen solgte gården til Druidenes Hus Prinsens gate 7 AS 1.11.1974, og det ble foretatt en bruksendring fra bolig til forsamlingslokale. Husets grunnflate ble utvidet med 150 m² i 1987.Druidenes Hus eies av byens fire druidiske losjer. Naboeiendommen, Prinsens gate 5, er Druidordenes Kanselli i Norge.
Druideordenen eier og holder til i dette bygget.:
Den første druidelosje i Norge, losje Nordstjernen i Oslo, ble stiftet i 1935. I dag (2021) er det rundt 55 losjer i Norge, og ordensarbeidet vinner stadig større tilslutning. Fra Norge har Ordenen spredt seg videre til Island.
I losjene vil du finne åpne, vennligsinnede menn fra forskjellige yrker og i alle aldre. Medlem kan alle bli som har fylt 25 år og som har god vandel og velordnet økonomi. Stilling og tittel er uten betydning. Det er bare personligheten og interesse for Ordenens høye formål som teller.
Losjene har møter hver 14. dag, bortsett fra skoleferien om sommeren. Den som søker medlemskap må være forberedt på at det koster noe å være medlem.
Ordenen er noe mer enn vanlig foreningsliv. Hovedsaken er arbeidet med Ordenens ideelle formål, arbeidet med å utvikle seg som et bedre medmenneske, og arbeidet med å tilegne seg kunnskaper av varig verdi. Et viktig element i dette arbeidet, er den rituelle del av et losjemøte. Gjennom tidløse, faste ritualer meddeles medlemmene kunnskaper og holdninger.
På møtene er det også foredrag og musikalske innslag. For å angi retningen på foredragenes innhold, kalles de ' ideelle innlegg'.
Ordenen arbeider gjennom et gradssystem der medlemmene tilegner seg skrittvise kunnskaper om Ordenen og dens idealer. Nye medlemmer opptas i 1. grad. I alt er det 7 grader, hvorav 7. grad er en spesiell æresgrad som bare et fåtall brødre kan innstilles til.
De vanlige losjene kalles grunnlosjer og arbeider i 1., 2. og 3. grad. Grunnlosjene er tilsluttet såkalte storlosjer som arbeider i 4., 5. og 6. grad. Storlosjene dekker et større geografisk område som f. eks. et fylke, deler av et fylke eller flere fylker, avhengig av antall grunnlosjer i området.
Grunnlosjene er av variert størrelse fra de nystiftede med 15-25 medlemmer til de største og eldste losjer med 80-100. Et medlemstall midt i mellom er ideelt for at brødrene skal bli godt kjente med hverandre og for å gi de fleste som ønsker det en oppgave for losjen. Losjene velger hvert annet år medlemmer til å lede losjen og til de forskjellige utvalg. Det første utvalget som et nytt medlem stifter bekjentskap med er festutvalget som blant annet har ansvaret for å servere ved brodermåltidet.