大慈寺は天平9年(737)に行基菩薩による開山と伝えられている。
往時は広い敷地に七堂伽藍を備えた立派な寺であったと伝えられるが、
創建当時の宗派などは未詳である。

延暦年間(782~806)に円仁が9歳で同寺に入り、第三祖広智のもとで修行を行ない、
15歳の時に唐から帰国していた最澄に師事するために比叡山へ向かった。

弘仁8年(817)最澄が多くの弟子僧を連れて東国を訪れた際、
同寺において灌頂や受戒を行い、そこで広智や円仁も儀式に参列した。
現在も、円仁が剃髪に使用したという「御霊水の井戸」が残されている。

同じく広智の弟子に、後に第4代天台座主につく安慧がおり、
同寺が初期天台宗の人材を輩出した名寺であったことがうかがえる。

また、最澄が建立したと伝えられる相輪操は、全国に6か所だけの貴重なもの。
現在残っているものは享保10年(1725)に再建されたもの。

他にも、平安時代の歌人・小野小町についての伝説も伝わっている。
年老いた小野小町が、病気平癒の祈願を本尊薬師如来にし、
快復したことにより終生この地に住んだ。

伝説によれば小野小町は小野寺で淵に身を投げて亡くなり、
その墓所は今も大慈寺境内の近くにある。
彼女が身を投げた場所は「身投げ淵」と呼ばれている。

円仁研究家としても名高いライシャワー駐日大使が、
昭和39年(1964)に同寺を訪れており、
それを記念する碑と植樹したメタセコイアが残されている。