慈尊院の南の高台に位置し、金剛峯寺の荘園であった官省符荘の鎮守として丹生・高野の２明神を祀り、後に厳島・気比の２神を合祀し「四所明神」を祀るようになった神社である。
明治初年の廃仏毀釈までは境内に仏教関連建造物が建ち並び、慈尊院と一体で信仰を集めた。