大山詣りで納め太刀を奉納した寺院です。天平勝宝7年(755)に奈良東大寺の長官であった良弁僧正が、聖武天皇の命により開創したとされ、平安時代末の木造不動明王坐像(県重文･彫刻)を祀り、鎌倉時代作の鉄造不動明王像(国重文･彫刻)を本尊としています。
　大山寺の建築には、開創当時から手中明王太郎という工匠が携わっています。初代明王太郎は良弁とともに大山寺の建築にあたりましたが、このときに不動明王のお告げを受け、代々明王太郎を名乗るようになったといいます。
　明治の神仏分離までは現在の大山阿夫利神社の下社がある位置にあり、江戸時代には徳川家康、家光ら幕府の後ろ盾により、本堂をはじめとする大規模な建物群が造営されていました。
　明治の神仏分離により廃寺となりましたが、熱心な信者の力により明治時代中頃に本堂が現在の地に再建され、当時は明王寺と称していましたが、大正時代になって大山寺として再興されました。