霊亀2 年(716)、僧行基により創建されたと伝わるお寺です。創建当時は霊山寺の名で信仰され、鎌倉時代には源頼朝や北条政子も参詣した記録があります。明治時代の神仏分離により現在は別当坊であった宝城坊のみが残り、日向薬師の名で親しまれています。
　その本堂は、寄棟造りの茅葺屋根を有し、桁行7間、梁間5間、軒高17.7ｍの壮大な建物で、文化財に指定されている木造の仏堂としては県内最大、間口7間という規模も県内で唯一です。全国を見ても、七間堂は六十数例しか現存していません。
　江戸時代の万治3年（1660）に旧本堂の部材を利用して再建され、その後寛保3年（1743）から延享2年（1745）にかけて改修されています。また、平成22年（2010）から平成28年（2016）にかけて、延享期以来270年ぶりとなる大規模な保存修理工事が行われました。
　改修を重ねる中でも中世期の部材・技法を一部に再用し、中世的な雰囲気を残す広大な内陣と、近代的で華やかな外陣の建築的な評価は高く、今もなお多くの参拝者により信仰されています。