いにしえの武蔵野を思わせるような、閑静な雑木林の中に当社は鎮座している。この辺りは周囲よりも標高が少し高くなっており、遠望すると緑色の島がぽっかりと浮かんでいるように見えるため、緑島と呼ばれる。
当社は、同じ緑島の地内にあり、延暦九年(七九〇)の創立と伝える本山派修験の古刹玉林院が支配していた模様で、『風土記稿』中尾村の項には玉林院の境内社の一つとして「鹿島明神社」と載せられている。創建の年代は明らかでないが、鹿島信仰が民衆の間に浸透した近世初頭には既に玉林院によって祀られていたものであろう。
明治初年の神仏分離により玉林院の管理下から離れた当社は、鹿島社と称し、明治六年に村社となった。その後、明治四十一年に、同じ大字内の字駒形から無格社駒形神社と同境内社の第六天社・須賀社、字不動谷から無格社稲荷社と同境内社の第六天社、無格社稲荷社と同境内社の第六天社・八雲社の計一〇社を合祀し、社名を中尾神社と改めた。しかし、これらの合祀は、実際は書類上のことにとどまり、対象となった諸社は、現在も旧地に社殿が残っている。このほか明治三年に字緑島内の榛名神社を当社境内に移したとの記録があるが、これも実際は昭和二十年代になってから行われた。