往古土持氏の時代に奉祀したと伝える。最初の宮所はこの所ではなく、伊東氏の時代は弓場の地に鎮座していたが、島津氏の時代に当地に遷座したものである。
古老の伝えるところによれば、当社の由緒は次の通りである。
一夜物あり天より落ち光を放つ、衆人怪しみ到りてこれを見れば一つの小石あり。形は楕円形にして小童の持つ位の小石であったが、年を経て大きくなり、大人の一人では動かすことのできない程の物となった。これを奉祀して祠を建て天子と称して奉斎した。天子は小石ならんか、参拝する者社殿下に出る小石粒を請うと、虫蛇の被害を免れんこと最も神験あり。
永禄年間、伊東氏の時代には田嶋備後なる者がこれを祀る。田嶋氏衰えて後は、島津氏の世となりて佐賀利休に祭祀する。
佐賀利は「元阿佐賀利也、上古神武天皇の麻を刈り給ふ」の略語であると言われている。
紀元二千六百年（昭和十五年）に神武天皇の聖蹟として宮崎県奉祝会により顕彰された。
