在潮音洞旁，有一堵黄色矮墙围着三间质朴的佛堂，佛堂中终年香烟缭绕，这就是不肯去观音院，相传唐咸通四年，日本僧人慧萼从五台山请得观音像一尊，携带回国，经普陀莲花洋，遍海莲花，大浪涛天，舟不能行，他求菩萨显灵，祷告说：“若我国众生无缘见佛，当从所向建立精舍。”结果，船漂泊到潮音洞下，那里的居民张氏让出房屋供奉菩萨，呼为“不肯支观音院”，这就是“佛选名山”——普陀山成为观音道场的开始，故历来被视作普陀第一庵。五代后梁贞明年间(917)迁址于灵鹫峰麓(即今普济寺之前身)，潮音洞上的旧址因而湮没。

     观音院历朝屡经废兴，近经重修，已焕然一新。