瑞光寺の創建は、貞観2年(860) に慈覚大師円仁と伝えられている。
同寺は、開山当初は現在の場所からほど近い
原、中丸(西田井地区内)に位置していたとされる。
詳しい年代は不詳であるが、火災によって焼失し、
鎌倉後期頃に中興第1世覚秀法印により、現在の場所に再建された。

江戸時代に入ると幕府の庇護を受け、
慶安元年(1648)8月24日、3代将軍徳川家光より15石の朱印地を認められ、
その後も歴代将軍より朱印状を受けている。

第3世範友法印が第2中興の祖であり、一時衰退していた同寺の再興に尽力したとされる。
以降、代々法孫相続し、現在の住持である3世がその職を受け継いでいる。

これまでたびたび火災に見舞われたが、
明治3年4月9日にも山火事の飛び火により伽藍諸堂のすべてを焼失している。
ただ幸いにも、本尊であり日本では午年の守り本尊とされる勢至菩薩や、
薬師瑠璃光如来、さらに薬師如来を信仰するものを守護するとされる十二神将も運び出され、
今日まで大切に奉安されている。

同寺が所蔵する絵図 (元禄5年(1692)作)には、
山門と本堂の間に薬師堂が建てられていたことが記録に残されている。

現存の建築物は、本堂が明治15年(1982)、
庫裡と表門は明治23年(1990)に再建されている。
山王社は宝暦2年(1752)に第38世亮観法印により建立され、
稲荷社は天保14年(1843)に第47世周運法印によって建立され、現在に至っている。