Дворец был построен в 1749–1758 годах по проекту архитектора Франческо Бартоломео Растрелли для канцлера Михаила Воронцова. В настоящее время в здании размещается Санкт-Петербургское суворовское военное училище.