Menighedens historie begynder i 1895, hvor papirfabrikken hentede en række kvindelige arbejdere fra Bøhmen til byen. De skulle sortere klude til brug ved papirproduktionen. Disse piger var katolikker, og fik en gang om måneden læst messe af præsten Frederik Kerff fra Horsens. Den lille menighed holdt til i en bygning som papirfabrikken stillede til rådighed.

I 1898 købte det katolske bispedømme - Ansgarstiftelsen - den gamle Birkedommerbolig på hjørnet af Vestergade og Hostrupsgade. Kort tid efter fik fire søstre fra ordenen "Den kristne kærligheds søstre" fra Paderborn overdraget villaen. Der blev indrettet et kapel, og påbegyndt en skole.

Første juledag - Sct. Stefans dag - 1898 blev det lille kapel indviet og præsten Frants Ronge blev menighedens første sognepræst.

I foråret 1912 påbegyndtes byggeriet af kirken på Hostrupsgade inspireret af den daværende sognepræst Pastor Frederiksen. Allerede den 8.december samme år kunne man foretage indvielsen, hvor kirken fik navnet "Vor Frue Kirke."
Kirken udmærker sig ved dens særlige placering af vinduerne, der alle vender således at lyset centreres mod alteret.
Udsmykning i kirken de første år var præget af Pastor Frederiksen egne værker. Ligeledes skrev Pastor Frederiksen en række salmer, der findes i den nuværende salmebog.

Kærlighedssøstrene fik under første verdenskrig nogle hårde år i Silkeborg. De var fattige og kunne ikke få støtte fra deres moderhus i Tyskland. I 1922 blev Kærlighedssøstrene kaldt hjem til Paderborn i Tyskland, men allerede i april samme år ankom der tre Sct. Joseph Søstre fra København. Trods yderst spartanske forhold formåede søstrene at fortsætte arbejdet med skolen, og oprettede endog et børnehjem beregnet på polske landarbejderbørn, der i kortere perioder boede i huset.

Børnehjemmet måtte dog lukke i 1942 og skolen i 1949, men allerede på dette tidspunkt havde søstrene taget et nyt initiativ, og oprettet en børnehave. Denne fungerede frem til 1973 som privat børnehave, hvorefter den pga. søstrenes alder overgik til at blive en selvejende institution. I 1978 rejste Sct. Joseph Søstrene fra byen , og overdrog bygningen til Bispedømmet med brugsret for sognets menighed.

I 1960 flyttede en lille afdeling af søstrene fra ordenen Jesu små søstre til sognet. De oprettede deres kommunitet på en lille gård i nærheden af det tidligere Øm kloster ved Mossø, hvor de drev et mindre landbrug.