История этого легендарного дома берет свое начало еще в XVIII веке. В первой половине этого столетия это владение земли состояло из нескольких участков, которые принадлежали разным купцам, офицерам и даже Московскому Губернатору, камергеру, князю Борису Юсупову. Уже тогда купцы здесь предлагали множество модных и интересных товаров. Многие столичные модницы при мысли, куда можно сходить в Москве, вспоминали именно это место.
К концу 1730-х годов многочисленные участки были объединены в одно владение, хозяином которого стал кабинет-министр Артемий Волынский. Но фактически землей управлял его зять, граф Иван Воронцов, который впоследствии стал и владельцем земли. Именно благодаря Воронцову на Кузнецком Мосту были первые красочные торговые лавки. Впоследствии именно этот фундамент и стены стали основной современного Московского Дома Художников. Огромное владение графа, которое занимало почти два квартала и выходило на улицы Рождественка и Неглинную стало одним из самых модных мест в Москве. Воронцов оставался хозяином этой усадьбы до 1789 года.