創建年代は不詳。大日如来が本尊のため、創建時は真言宗寺院であったと考えられているが、一度何らかの原因で廃れた。
その後、現在地の北西・西ヶ洞に玉芳和尚によって臨済宗の寺院として再興された。しかし慶長10年（1605年）、明暦元年（1655年）と相次ぐ山崩れで堂宇が倒壊した。瑞泉寺の住職に嶺常が就くと、寺を熊野山中腹に移転し再興した。
享保10年（1725年）、寺は現在地に移転された。このとき大日堂が建てられ、大日如来を安置した。しかし安政6年（1859年）に火災が起きて堂は全焼した。大日如来は救出され、本堂に安置されて本尊とされた。
