中尊寺的山号叫做关山。传说它是在嘉祥3年(850)由比睿山延历寺的慈觉大师圆仁创建的。圆仁是天台宗第三代座主,也是作为世界三大游记之一《入唐求法巡礼行记》的作者而闻名的一位高僧。
之后,在12世纪初,奥州藤原氏初代清衡进行了大规模的堂塔建设和完善。在寺堂规模方面,根据镰仓幕府的官方记录《吾妻镜》中的记载,“寺塔数量在40座以上,禅房(僧房、僧侣宿舍)在300间以上”。

清衡创建中尊寺的目的是为了对11世纪后半期在东北地区的长期战乱(前九年战役和后三年战役)中亡故的人们不分敌我地进行祭奠,在被称为“陆奥”的边境和东北地区建设一片佛教净地(通过传扬佛教来实现的和平的理想社会)。
清衡在《中尊寺建立供养愿文》中将中尊寺描述为“诸佛摩顶之场”。只要身处于这个场(区域)内就好。假如进入中尊寺境内参拜,每个人都会被佛以手抚摸头顶,并赞叹道“啊,你来啦,你来啦”。 “诸佛摩顶之场”就是表示可直接受到诸佛功德照拂的“神圣场所”的意思。

 二代基衡继承了父亲的志向,提议建造比中尊寺规模更大的毛越寺,三代秀衡完成了这一志向,并且还建造了无量光院。其附近还有被推定为奥州藤原氏政厅遗址的柳之御所遗迹。也许这里还曾经设有治理东北地区的各种机构。
平泉在将近100年的时间里一直作为“日本地方城市的先驱”而繁荣,陆奥曾经是没有战争的“平泉的世纪”。然而,京都的传统权威、镰仓的源赖朝势力以及平泉之间各自针锋相对,状况变得严峻起来。就在这时,曾活跃在源平之战、一之谷和屋岛战役中的源义经,与其兄长赖朝相对立,逃到了平泉。不久,保护义经的秀衡病逝,继他之后的第四代泰衡碍于赖朝的压力,于文治5年(1189年)闰4月突袭义经并迫其自杀。泰衡自身也受到了赖朝的袭击,奥州藤原氏由此灭亡。

到了镰仓时代后,中尊寺日渐衰退,在建武4年(1337年)的火灾中,许多堂塔和宝物遗憾地被烧毁,不过现在仍保存了以国宝建筑物第1号金色堂为首的3,000多件国宝及重要文化财。这些国宝及重要文化财的一大特色是包括有漆工艺、木工艺、金属工艺、染织和书法等多种元素,中尊寺也因此被视为东日本首屈一指的平安佛教美术宝库。