智音寺の開山は江戸時代初期の寛文2年(1662)。
傳栄法印が宇都宮寳藏寺門徒で、下茂呂村にあった萬蔵寺の旧跡を興して堂宇を建立した。
その際に、上茂呂村と下茂呂村の境に移設したと伝えられている。

その後元禄4年(1691)に智音寺と改称されている。

安政4年(1852)7月に落雷により本堂と庫裡を焼失し、
慶応4年(1868)に再建された。

その後昭和49年(1974)に本堂を建立。
昭和60年(1985)には書院、平成元年(1989)に鐘楼堂(および梵鐘鋳造)をそれぞれ建立した。

本尊は寛文2年(1662)作の木造阿弥陀如来立像である。

現在の山門横にある薬師堂は、江戸時代中期に改修されたもので、
内部には秘仏の茂呂薬師如来(江戸初期の石像)および
脇侍の日光・月光両菩薩や十二神将像が安置されている。

またその西側には江戸期の石仏等身大延命地蔵尊、不動明王、如意輪観音、
享保元年(1716)の庚申塔などが祀られている。

同寺はまた「関東九十一お薬師霊場巡り」第56番札所として広い信仰を集めている。

春には鐘楼近くのしだれ桜が、みごとな花を咲かせる。