由加神社本宮

由加山は太古より磐座信仰が行われていたとされる。天平5年（733年）行基によりこの地に十一面観音が祀られ、神社仏閣が一体となった瑜伽大権現（由加大権現）と呼ばれる神仏習合の山となったという。北麓にある熊野神社の縁起によれば、奈良時代の初めに役行者の高弟5人が紀州熊野より熊野本宮大社を捧持してこの地に熊野神社を興し、その後、新熊野三山の一つとして由加山に那智宮を開いたとしている。
江戸時代中期より備前藩主池田氏の祈願所となり、正月・五月・九月には藩主自ら参拝していた。池田氏は当神社の社殿や、蓮台寺の客殿を造営した。
参道には多くの土産物店等が軒を連ね門前町を形成しており、初詣などの時期には多くの参拝者で賑わう。なお、この門前町で売られている「あんころ餅」は由加山の名物である。
明治時代になると神仏分離令により、由加神社と蓮台寺に分離された。現在は西日本を中心に全国に末社52社を有する。
第二次世界大戦後の国家神道解体により、形式的には分離したままながら、僧職が本殿で祈祷を行う等事実上明治以前の形態に復し、蓮台寺により一体的に運営されていた。このため由加神社としての宗教法人資格は一応保持、神職を配置しつつも、事実上休眠状態に近かった。
1997年3月3日、由加神社が一部の建物を占拠し、宗教法人としての独自活動を開始した。これ以降蓮台寺と由加神社は対立関係となり、蓮台寺が建物の明け渡しを求めるなど裁判沙汰にもなるが、由加神社側が独自の宗教活動を開始した経緯は当時の兄（蓮台寺住職）と弟（由加神社宮司）の間の対立が原因とされている。
江戸時代には、瑜伽大権現（瑜伽山蓮台寺）と讃岐国の金毘羅大権現（金光院松尾寺）を両方参拝するという両参りといわれる慣習が成立。そのため、由加山南方の港町である田ノ口地区は、由加山の門前町の様相も呈していた。