建立は建武2年（西暦1335年）ごろと言われている。
慶応8年、山内一豊の幡多巡視の際、当寺に立ち寄り「山林竹林前々の通り薬師寺に与えみだりにこれを犯す者は厳重に処分する」と自筆の掟書を与え、山内家の紋章を許している。明治4年廃仏毀釈により薬師堂を残し廃寺となるが、妙心寺より住職を迎え再興を果たした。平成25年には修理及び耐震補強を行った。現在も厄除けや大漁安全として多くの参拝客が訪れている。