今から約370年前の後光明天皇の御代正保元年(1644年)の頃、赤坂家の先祖で庄左衛門教祐という者が居り、深く仏法を信じ殊に観世音菩薩の信仰が深かった。
ある夜、庄左衛門は如意輪観世音菩薩の夢知らせにあう。「汝すみやかに南方の林の中に我を迎えて供養すべし」と。翌朝直ちに南方の林に行ってみると、光り輝く所があり、地面を6尺ほど掘ると観世音菩薩像が現れた。正に夢の中に現れた観世音菩薩そのものであった。
庄左衛門は大変喜び、末永く手厚い供養を続けた。以来赤坂家では、代々恭敬怠ることなく今日に至っている。
弘化4年(1847年) 下越後の角見の三五郎という大工が御堂を寄付建立し、大正8年に現在の所に移設した。現在ある御堂は、昭和4年9月信者の寄付により改築したものである。赤坂家では、御堂の移転及び再建の記念日として、近年まで4月16日と9月12日に結縁法要を営みお祭りを執り行ってきた。