In augustus 1878 trok een groep Amersfoortse notabelen onder leiding van de rooms-katholieke geestelijke W.F.N. van Rootselaar naar de Leusderhei om grafvelden te onderzoeken. Gesterkt door de vondsten die ze daar deden, besloten zij met die activiteit door te gaan. Al spoedig werd besloten ook andere historische voorwerpen te gaan verzamelen. Deze werden vanaf 1880 tentoon gesteld in een bijgebouw van het stadhuis aan de Westsingel. Twee jaar later werd de archeologische onderzoekscommissie omgezet in de Oudheidkundige Vereniging Flehite (OVF), naar de oude benaming van het oostelijke deel van Utrecht vermeld in een oorkonde van Karel de Grote uit 777. Van Rootselaar bleef bij dit alles de stuwende kracht. Door ruimtegebrek werd in 1889 een muurhuis in de Breestraat aangekocht. Nog geen tien jaar later bleek de bouwkundige toestand van dat pand zodanig dat instortingsgevaar dreigde. Er volgde een restauratie en een forse uitbreiding. Het gebouw kreeg een fraaie neorenaissance gevel en een brug naar de ingang aan de Westsingel. Op 1 mei 1899 vond de opening plaats. De collectie groeide door allerlei schenkingen en legaten. Met name het bestuurslid A.M. Tromp van Holst was daarbij een ware mecenas.