大山寺と同じ「雨降山」の山号を冠するお寺で、寺伝によると開創は養老2年（718）という古刹です。
　飛鳥時代に大化の改新を行った天智天皇の皇子である大友皇子を祀っており、「真宗明覚大法王」と彫られた位牌があるほか、境内には皇子の墓と伝わる石造五層塔が安置されています。伝承によると、皇位継承にあたって天智天皇の弟にあたる大海人皇子と戦った壬申の乱に敗れた後、この日向山中に隠れ住んでいたといわれています。縁起にも、諸国行脚の旅中であった華厳妙瑞法師が紫雲に導かれて日向の谷に分け入り、亡き皇子の冥福を祈って建立した寺であると書かれています。
　また、伊勢宗瑞（北条早雲）の三男である幻庵、天文12年（1543）に石雲寺に諸役を免除することを通達した文書も残されており、市内に現存する古文書の中では最古の資料です。現在はその写しとともに、市指定文化財としてお寺に保管されています。