На берегу речки Вязёмки расположилась одноименная усадьба Вязёмы. Царское село Вязёмы начинает свою историю в ХV веке, а в ХVI веке становится вотчиной царя Бориса Федоровича Годунова. После скоропостижной кончины Бориса Годунова в 1605 году усадьба переходит к Лжедмитрию I. В апреле 1606 года во дворце на несколько дней останавливалась Марина Мнишек, но после ее отъезда остался непогашенным огонь, спаливший более половины села. Через Вязёмы проходили польские и литовские отряды и войска Лжедмитрия II. Усадьба была полностью разорена, фруктовый сад вырублен. Уцелели лишь каменный Свято-Троицкий храм и звонница. В 1694 году дворцовое село Вязёмы было пожаловано князю Борису Алексеевичу Голицыну – воспитателю или «дядьке» Петра Алексеевича. 

Перестройка усадьбы начинается со строительства в 1771-1772 гг. двух каменных флигелей – кухонного и жилого. В 1784 году на склоне холма возводится двухэтажный каменный дом с бельведером в стиле классицизм эпохи Людовика ХVI. В 1803 году имение переходит к двоюродному племяннику Н.М.Голицына князю Борису Владимировичу Голицыну. В усадьбу неоднократно приезжает его матушка Наталья Петровна Голицына, которая приходилась четвероюродной сестрой бабушке Пушкина Марии Алексеевне Ганнибал, владелице соседней усадьбы Захарово.

В Отечественную войну 1812 года усадьба Вязёмы оказалась в зоне передвижения русской и французской армий. 30 августа 1812 г во дворце разместился Штаб русской армии и М.И.Кутузов. С 31 августа  по 2 сентября в усадьбе находится французская армия и Наполеон Бонапарт.

В годы Советской власти в усадьбе были: приют для беспризорных, санаторий ВЦИК, школа парашютистов, институт коневодства, полиграфический институт, институт фитопатологии, Дом пионеров. С 1987 года во всех зданиях усадьбы располагается музей-заповедник А.С.Пушкина. 

В западном флигеле располагалась усадебная кухня, а так же жил персонал. В 2017 году в нем открыта экспозиция «По Голицынским проспектам. Вяземы. Век ХХ".

В восточном флигеле останавливались приезжающие в усадьбу гости, а также нередко жили сами хозяева усадьбы. В настоящее время там работают экспозиции: «Мастерская скульптора Нины Андреевны Коненковой», «Скульптор Анатолий Иванович Посядо», а также временные выставки. В большом зале проходят: концерты, лекции мастер-классы.