ประวัติตอนหนึ่งของหลวงพ่อแช่มนั้นเล่าว่าในปี พ.ศ.2419 ซึ่งตรงกับสมัยของรัชกาลที่ 5 หลวงพ่อแช่มได้ช่วยเหลือชาวภูเก็ตต่อสู้กับพวกอั้งยี่ ชาวกรรมกรเหมืองแร่ที่ได้ก่อเหตุจลาจล ไล่ฆ่าฟันโจมตีชาวบ้านและจะยึดครองเมืองภูเก็ต ในครั้งนั้นหลวงพ่อได้มอบผ้าประเจียดสีขาวให้ชาวบ้านทุกคนโพกหัวเพื่อเป็นเครื่องรางป้องกันอันตราย ซึ่งได้สร้างความเชื่อมั่นและขวัญกำลังใจให้กับชาวภูเก็ตเป็นอย่างมาก และใช้วัดฉลองเป็นที่มั่นราวกับป้อมค่ายที่ใช้ในการต่อสู้ จนกระทั่งสามารถเอาชนะพวกอั้งยี่ได้ เมื่อรัชกาลที่ 5 ทรงทราบความจึงโปรดเกล้าฯ พระราชทานสมณศักดิ์แก่หลวงพ่อแช่ม เป็นพระครูวิสุทธิวงศาจารย์ญาณมุนี ให้มีตำแหน่งเป็นสังฆปาโมกข์แห่งเมืองภูเก็ต ซึ่งเป็นตำแหน่งสูงสุดในสมัยนั้น และได้พระราชทานนามวัดฉลองเป็นวัดไชยธารารามแต่นั้นมา