延暦13年（794年）平安京遷都の折り、桓武天皇は新都への加護を願い、藤原小黒丸左大弁紀古佐美を通じ、 南都興福寺の僧賢憬上人に四神相応の地、探求を命じられました。そこで上人は東国に下り、この地に滞在の折り、 にわかに眼病を患い、大いに苦しまれたそうです。上人は勅命を果たせぬことをおそれ、一宇を建て薬師如来を安置して病気平癒を祈る。
ある夜、上人の夢枕に春日大社の大神が現れ、「汝か居りしところより西方の地に井を穿て、されば井中より両個の寶玉出でんその清水にて汝の眼を洗へされば眼病は忽ちに癒えん」と告げられ、村人の協力を得て井戸を掘ったところ、 綺麗な清水が湧出し、上人がその清水で眼を洗ったところ、忽ちに眼病が癒されたとされています。
この時、井戸の中より美しく輝く宝玉２箇が出土され、その１箇は寺宝として現在も安置されています。もう１箇は東北方の地に埋め、その上に祠を建立されました。これが現在の玉井神社にあたります。 また、上人は春日の神恩に報い奉らんと春日大神を祀るため、井戸の南方に祠を建立されました。これが現在の春日社にあたります。 井戸から宝玉が出土されたことを以て、「玉の井」と名が付けられ、寺の名を玉井寺と名付けたとされています。
