Дворец возводился в 1783–1789 годах по проекту архитектора Ивана Старова по указанию Екатерины II в благодарность Потёмкину за присоединение Крыма к Российской империи. Отсюда и название «Таврический».
