中尊寺的山號叫做關山。傳說它是在嘉祥3年(850)由比睿山延歷寺的慈覺大師圓仁創建的。圓仁是天台宗第三代座主,也是作為世界三大遊記之一《入唐求法巡禮行記》的作者而聞名的一位高僧。

 之後,在12世紀初,奧州藤原氏初代清衡進行了大規模的堂塔建設和完善。在寺堂規模方面,根據鐮倉幕府的官方記錄《吾妻鏡》中的記載,「寺塔數量在40座以上,禪房(僧房、僧侶宿舍)在300間以上」。

 清衡創建中尊寺的目的是為了對11世紀後半期在東北地區的長期戰亂(前九年戰役和後三年戰役)中亡故的人們不分敵我地進行祭奠,在被稱為「陸奧」的邊境和東北地區建設一片佛教淨地(通過傳揚佛教來實現的和平的理想社會)。

 清衡在《中尊寺建立供養願文》中將中尊寺描述為「諸佛摩頂之場」。只要身處於這個場(區域)內就好。假如進入中尊寺境內參拜,每個人都會被佛以手撫摸頭頂,並讚歎道「啊,你來啦,你來啦」。 「諸佛摩頂之場」就是表示可直接受到諸佛功德照拂的「神聖場所」的意思。

 二代基衡繼承了父親的志向,提議建造比中尊寺規模更大的毛越寺,三代秀衡完成了這一志向,並且還建造了無量光院。其附近還有被推定為奧州藤原氏政廳遺址的柳之御所遺跡。也許這裡還曾經設有治理東北地區的各種機構。

 平泉在將近100年的時間裡一直作為「日本地方城市的先驅」而繁榮,陸奧曾經是沒有戰爭的「平泉的世紀」。然而,京都的傳統權威、鐮倉的源賴朝勢力以及平泉之間各自針鋒相對,狀況變得嚴峻起來。就在這時,曾活躍在源平之戰、一之谷和屋島戰役中的源義經,與其兄長賴朝相對立,逃到了平泉。不久,保護義經的秀衡病逝,繼他之後的第四代泰衡礙於賴朝的壓力,於文治5年(1189年)閏4月突襲義經並迫其自殺。泰衡自身也受到了賴朝的襲擊,奧州藤原氏由此滅亡。

 到了鐮倉時代後,中尊寺日漸衰退,在建武4年(1337年)的火災中,許多堂塔和寶物遺憾地被燒燬,不過現在仍保存了以國寶建築物第1號金色堂為首的3,000多件國寶及重要文化財。這些國寶及重要文化財的一大特色是包括有漆工藝、木工藝、金屬工藝、染織和書法等多種元素,中尊寺也因此被視為東日本首屈一指的平安佛教美術寶庫。