観音寺の開山は弘仁11年(820)、 弘法大師空海による。
その際、空海は千手観音を自ら彫って祀ったと伝えられている。

現在、山門右手の石段を登った山上にある観音堂(下野三十三 観音・第2札所)には、
千手観音が祀られている。

中世期には「栄蔵坊」という名の真言密教の道場として繁栄。
山下に宝珠院・円長坊・真乗坊・守蔵坊・安養坊・宝蔵坊の六支坊を擁し、
「坂本」と呼ばれ る町並みもできた。

永正6年(1509)にこの地を訪れた連歌師宗長は
「坂本の人家は数を分ず続きて福地と見ゆ、京鎌倉の町有て市の如し」と称えている。

その後、天正年間に日光山が豊臣秀吉により寺領を没収された際、同寺も二坊に減じた。

元和3年(1617)に東照宮が鎮座したことで、鉢石町は日光街道の終着駅として繁栄に向かった。
同寺も鉢石町の香華院(菩提寺)として復興し、
寛永4年(1627)に天海大僧正より「鉢石山無量寿院観音寺」の三号を賜った。
また、天台宗に改宗し、日光山輪王寺の直末となった。

江戸時代前期の貞享元年(1684)と後期の弘化3年(1846)の2度にわたって罹災、
本堂・寺宝・古文書などを焼失した。現在の本堂は弘化4年(1847)に再建されたもの。

境内には聖観音堂・薬師堂、飛地境内に虚空蔵堂(県文化財)・大師堂(太子堂)などがある。
また、円仁ゆかりの寺宝として、天保15年(1844)作の木造・慈覚大師坐像が安置されている。