石城山は、第二代綏靖天皇即位五年の春（紀元前六八二年）、海中深くから湧出した霊山で、当時は名前がありませんでした。
第十代崇神天皇即位元年の年（紀元前一四八年）に、インドの摩訶陀国の慈悲大験王が日本へ仏法を伝えたいと願い、有縁の地に留まるようにと五本の剣を投げたところ、一本は豊前の国彦山へ、一本は周防の国の当山へ、一本は紀伊の国牟婁の郡へ、一本は淡路の国喩鶴の峰へ、一本は下野の国日光山へ留まりました。
そして慈悲大験王は剣を探して日本へ向かい、途中、百済の国に立ち寄りました。その時、百済の国の石城山にて多々羅王に会い、仏教が日本どころか、インドの東方には全く伝わっていないことを聞いて驚き、インドから持ってきた釈迦・普賢・文殊の三尊の仏像を、百済の石城山に安置することにして、まず仏教を百済に伝えることにしました。そして、慈悲大験王は日本への仏教伝播を多々羅王に託し、インドに帰ってゆきました。
それから時が経ち、第一四代仲哀天皇（一九二～二百年）が、百済の聖明王に琳聖太子の訪日を請うたところ、その願いに応じて太子が、インドの慈悲大験王が百済に伝えた三尊像を携え、海路はるばる周防の国に上陸しました。琳聖太子は陸路、仲哀天皇の元へ向かう途中、当山に立ち寄ったところ、当山が百済の石城山に瓜二つであることに驚き、当山に寺院を建立して三尊像を安置し、三社権現として祀りました（現在の石城神社）。この不思議な話を第三十代敏達天皇（五七二～五八五年）がお聞きになり、大変感心されて、当山に「石城山」の額を贈られました。この時から、当山は石城山と呼ばれるようになりました。その後、第四十八代称徳天皇が神護元年（七六五年）に長州へ臨幸の際、称徳天皇から現在の当寺の名称である「舎那院神護寺」の額を賜りました。
弘化五年（一八四七年）、一人の僧が神護寺を訪れ修法を行い、真言密教を伝えました。
