創建年代については不詳であるが、景行天皇の代の創建とされる。また、社殿は斉明天皇の牟婁の湯行幸の際に建立されたと伝わる[1]。

中世熊野御幸の盛期には、九十九王子の中でも特に格式の高い五体王子のひとつとして崇敬され、熊野詣の途上における要所であった。吉田経房の参詣記（『吉記』所収）承安4年（1174年）9月25日条に「於藤代王子行里神楽」、藤原経光の参詣記（『民経記』所収）承元4年（1210年）4月25日条にも参拝の折には馴子舞や藤代王子におかれていた巫女による里神楽が行われたと記され[2]、後鳥羽院参詣記（『明月記』所収）建仁元年（1201年）10月9日条に「御経供養」「白拍子」といった文字が見えるなど、歌会・里神楽・相撲などの奉納が行われるのが通例であった[3]。境内東通用口から西へ抜けてゆく道はかつての熊野参詣道で、北側にある正面参道は近世の熊野街道の道筋につながっている[2]。

後鳥羽院の建仁元年（1201年）の熊野詣の際には藤白の次の宿泊地であった湯浅で歌会が催され、その歌会で詠まれた歌が藤白王子に献納されている。このときの後鳥羽院らの詠歌が熊野懐紙として3通が残されており[3]、陽明文庫などに所蔵されている[4]。

1400年（応永7年）付の禅林寺文書に「藤白王子免」として3町3反の記載があり、大野郷で最大の神田を有していた[3]。しかし、戦国時代の兵乱で社殿や神領を失ったが、慶長6年（1601年）に浅野幸長から藤白村に6石の寄進があった（『続紀伊風土記』[4]）。さらに、同年および寛文6年（1666年）に社殿の造営が行われた[4]。江戸時代後期に紀州藩が編纂した地誌『紀伊続風土記』は藤白若一王子権現社として記載し、境内東西二八間・南北三〇間、本社三扉、庁、御供所、鐘楼、石鳥居、末社三社などがあり[3]、和歌山雲蓋院末の寺院が別当をつとめた[4]と記している。

明治以降には村社に列格され、次いで昭和初期に郷社、1939年（昭和14年）には県社に列された。1909年（明治42年）には祓戸王子を合祀した[4]。