耶律楚材为蒙古成吉思汗、窝阔台汗时大臣，清廉中正，元世祖中统二年（1261年）根据耶律楚材的遗愿葬于故乡瓮山泊畔，即今颐和园的昆明湖畔。耶律楚材墓在明朝时被毁，清乾隆时修复，改建为祠。现仅存墓穴及殿房三间。庭院中竖有一尊翁仲以及清代乾隆御碑一座。耶律楚材祠的建立是对耶律楚材一生清廉中正的旌表。