岩屋堂観音堂は、大宝2年(702年)、泰澄(奈良時代の修験道の僧で加賀白山を開山したことで知られる)の創立と伝えられています。本尊は木造聖観音立像(市文化財)で、鎌倉時代の制作と考えられています。堂の右手に大岩があり、そこには空海(弘法大師)が大筆を投げて書いたという梵字の筆跡が残っているといわれています。また、後の康元元年(1256年)に北条時頼が越後回国のおりに立ち寄り、越後三十三観音霊場の第一番札所に定めたとも伝えられています。うっそうとした樹木が生い茂る境内には観音堂をはじめ、苔むす多くの石造物がまつられており、これらを含めて史跡に指定されています。
昭和50年9月12日に旧名立町の文化財に、平成19年6月1日に上越市文化財に指定されています。