寺の草創は飛鳥時代にさかのぼり、奈良時代には聖武天皇が平城京の鬼門を鎮護するため、『大般若経』を基壇に納めて卒塔婆を建てたことが寺号の由来と伝わる。南都の北の玄関口を守る重要な拠点であったが、治承4年（1180年）の平重衡による南都焼き討ちによって伽藍は灰燼に帰した。
荒廃した境内に再び光をもたらしたのが、鎌倉時代中期の高僧・叡尊である。西大寺を拠点に戒律の復興と社会事業に生涯を捧げた叡尊は、この地に真言律宗の教えを根づかせた。身分や病の有無を問わず、社会的に疎外されていた人々を救済する拠点として寺を再興した彼の情熱は、今なお寺の根底に流れる慈悲の精神として息づいている。
