В 1719 году на пустующем участке, где сейчас располагается Михайловский дворец, Петром I был разбит большой фруктовый сад, названный «Третим Летним». Он располагался от Фонтанки до реки Кривуши. К югу от сада вплоть до Невского проспекта сохранялось болото и небольшой лес. После постройки к востоку Летнего дома Елизаветы Петровны, а затем Михайловского замка, здесь разместились многочисленные служебные постройки и сараи. Вокруг них оставался пустырь, заросший репейником и крапивой.
Идея постройки резиденции для великого князя Михаила Павловича принадлежит его отцу, императору Павлу I. В 1798 году сразу после рождения сына Михаила Павел I повелел откладывать каждый год по несколько сот тысяч рублей для постройки дворца. Императору так и не довелось увидеть воплощение своей идеи, в результате дворцового переворота он погиб. Однако воля государя выполнялась. И когда Михаилу Павловичу исполнился 21 год, императором Александром I было принято решение о начале строительства. К этому времени накопленная сумма составила уже 9 000 000 рублей.