下三栖字岩屋谷の古道沿いにありましたが明治元年、近くの八坂神社に合祀され、明治４年に八坂神社が一倉明神（現・珠簾神社）に合祀されてそこに移っています。
。
三栖王子について、定家は「次にミス山王子」としていますが、近世ではほとんど「影身王子」としています。この名前の由来は「土人いふ、古御神社辺の谷川に影を映したまいて此社に鎮座す。故に影身といふとぞ」（紀伊続風土記）
紀南郷導記（１６６１〜７２）にこの在所の地蔵縁起が紹介されています。「海道より十八間ばかり南に、五郎地蔵という石仏の堂あり。近頃、五郎という土民、薪柴を刈らんとて山に行くに、常にこの道を往復する度毎に時の草木花を手折りてかの地蔵に奉ること懈怠なし。ある時、五郎戯れに、この地蔵に堂もなく雨露に侵されたまふ、さぞ本意なくおはしますらんとて、かりそめに柴をもって仏の頭に蓋いて行き過ぎぬ。かの五郎ほどなく罪を犯して牢舎す。すでに斬られるべきに決まりしところ、地蔵枕上に立ちたまい、汝が命助くべし心安く思うべし、と示したまうことたびたびに及ぶ。五郎は夢現ともなく返答すること繁し。番人怪しみて故を問う。しかじかと答ふ。このこと主人聞きて不思議の思いをなしすなわち命を助けしとかや。その後、人々奇異のことに思ひ、一宇を造立せりという。」
今に残る話では、無実の罪で五郎が打ち首と決まり、役人が刀を振り下ろすが、首は石の様に固く、三本の刀が折れてしまった。地蔵が正直者で信仰深い五郎の身代わりになったからであるとされ五郎地蔵は、その後剣難よけの地蔵とされ信仰を集めてきました。