Für Herzog Carl August von Sachsen-Weimar-Eisenach (1757 – 1828) war der Bau des Römischen Hauses inmitten des Parkes an der Ilm ein besonderes Anliegen. Noch in der ersten Phase des Wiederaufbaus des 1774 abgebrannten Residenzschlosses ließ er sich vom leitenden Schlossarchitekten Johann August Arens (1757 – 1806) Entwürfe für dieses Sommerhaus am exponierten Bauplatz auf dem Hang über der Ilm vorlegen. Die Errichtung des Gebäudes erstreckte sich über die Jahre 1791 bis 1797. Nachdem Arens bereits 1792 aus dem Schlossprojekt ausgeschieden war, lag die Leitung der baukünstlerischen Belange ab 1794 allein bei Goethe. Für die Ausgestaltung der Räume zog er den Dresdner Architekten Christian Friedrich Schuricht (1753 – 1832) heran, der das von Goethe und Johann Heinrich Meyer (1760 – 1832) entwickelte Bildprogramm für die Raumgestaltung in architektonischen Entwürfen umsetzte. Carl August bewohnte das Gebäude in den Sommermonaten, wenn er sich in Weimar aufhielt. Das Mobiliar ist zwar weitgehend verlorengegangen, doch konnte 2014 das originale Porträt der Herzogin Anna Amalia (1739 – 1807) von Angelika Kauffmann (1741 – 1807) im Blauen Salon eine Kopie ersetzen.