Unter den Hochzeitsgeschenken, die getreu dem Protokoll aus jedem Winkel des riesigen Vielvölkerstaates eintrafen, war das schönste und liebste die Gabe der Erzherzogin Sophie, die Sisis Tante und von nun an auch Schwiegermutter war.

1850 war die Villa Eltz, wo Kanzler Metternich seine Sommer verbracht hatte, von Dr. Eduard Mastalier, dem Kreisarzt der Ischler Solebäder, erworben worden. Unmittelbar nach der Verlobung ihres Sohnes begann Erzherzogin Sophie mit Verhandlungen, deren Ziel der Ankauf des Hauses samt Grundstück war. Sie beabsichtigte, es als Sommerresidenz des jungen Paares auszubauen.

Der Kaufvertrag wurde fünf Wochen später am 24. September 1853 abgeschlossen. Der Kaufpreis betrug 31 440 Gulden, die Gesamtsumme nach allen Umbauten und Verbesserungen belief sich schließlich auf 75 673 Gulden. Erzherzogin Sophie hatte Heinrich Purgold, ihren Privatsekretär, als Bevollmächtigten eingesetzt, um Verträge in ihrem Namen zu unterzeichnen und die geschäftlichen Belange des Projektes abzuwickeln. Bei den meisten Transaktionen fungierte auch Ischls Bürgermeister Wilhelm Seeauer als Zeuge. Die Liegenschaft ging in Franz Josefs Besitz über und wurde von da an aus dem Privat- und Familienfonds des Kaisers finanziert und erhalten.

Um den Grundbesitz zu vergrößern, tätigte man im Juni 1854 einen weiteren Landkauf aus dem Besitz von Mastalier, und zum Zweck der Arrondierung wurden mit dem Landwirt Franz Gillinger Grundstücke getauscht. Die größte Erweiterung des Jahres 1854 ergab sich durch den Erwerb der benachbarten Schmalnau-Landwirtschaft. Der Preis betrug 99 316 Gulden. Dieses Gehöft war im Biedermeier, also der ersten Hälfte des Jahrhunderts, ein beliebter Ausflugsort der Künstlergesellschaft gewesen.

Da es für den verheirateten Kaiser nicht schicklich gewesen wäre, den Sommer im Stadthaus seiner Eltern zu verbringen, trieb Erzherzogin Sophie den Umbau der Villa schon im Winter 1853/54 voran, und das junge Paar bezog seine halbwegs adaptierte Sommerresidenz Ende Juli 1854. Man mußte zwar einen Teil des Personals in der Stadt unterbringen, und da die Küche noch nicht eingerichtet war, speiste man mit den Eltern im Seeauer Haus. Trotzdem empfing der Kaiser am 23. August 1854 den ersten von all den vielen hunderten Besuchen, die ihm später in Ischl gemacht wurden: den von König Ferdinand von Portugal.

Die 14 Zimmer der Eltz/Mastalier Villa reichten natürlich nicht im geringsten für die Unterbringung einer kaiserlichen Hofhaltung, außerdem galt es, den entsprechenden Rahmen für ein Staatsoberhaupt zu schaffen, das Staatsbesuche empfangen mußte. Vermutlich beschäftigten sich die Jungverheirateten während ihres ersten gemeinsamen Sommeraufenthaltes auch mit dem künftigen Aussehen ihres Landsitzes, denn manches läßt erkennen, daß der Bauherr seiner Frau damit eine Freude machen wollte. Vielleicht gehört sogar die jetzige Grundform der Kaiservilla in Gestalt eines „E” - für Elisabeth - dazu.

Der mit dem Umbau und Ausbau der Biedermeiervilla beauftragte Antonio Legrenzi fügte nämlich dem zum Park hin beträchtlich erweiterten Hause zwei abgewinkelte Seitenflügel an, die je ein gegen den Park offenes Höfchen umschließen. Durch die Erweiterung des Mittelbaues - sie umfaßt im wesentlichen die heutige Eingangshalle und den darüberliegenden Grauen Salon - ergab sich, daß die frühere Rückseite des Gebäudes zur Hauptfassade wurde. Sie erhielt den ihrer neuen Funktion gemäßen feierlich klassizistischen Säulenvorbau, dessen Tympanon ganz originell weißfiguriges Jagdwild zeigt.

Legrenzi, der in der Sekundärliteratur manchmal mit seinem Bruder, dem kaiserlichen Leibkammerdiener Joseph Legrenzi, verwechselt wird, arbeitete an der Villa; die Gestaltung des Parks samt Nebengebäuden wurde Franz Rauch, dem Ersten Kaiserlichen Hofgärtner, übertragen. Er entwarf mit Gärtnern der Schloßanlagen von Schönbrunn und Laxenburg nicht nur den Park, sondern hatte auch ein „Cottage” zu errichten, das speziell der jungen Kaiserin gehören sollte und daher in „Elisabethinischem” Stil - oder Tudorstil des 16.Jahrhunderts in England - geplant wurde. Es steht nicht fest, auf wen diese Idee zurückgeht, möglicherweise auf Rauch, jedenfalls stellte es eine Huldigung für Elisabeth dar und erklärt, warum sich dieses Gebäude (heute gewöhnlich „Marmorschlößl” genannt) architektonisch von allen anderen Baulichkeiten im Kaiserpark unterscheidet.

Die Bauarbeiten an Villa, Cottage, Park und Nebengebäuden begannen gleichzeitig Anfang 1855 und zogen sich über die nächsten fünf Jahre hin, denn winters konnte bei hoher Schneelage nicht gearbeitet werden, und im Sommer mußte man auf den Kaiser Rücksicht nehmen, der Staatsbesuche nicht auf einer Baustelle empfangen konnte. Beim Umbau des Mitteltraktes aber, der 1855 anfiel, konnte die Arbeit nicht unterbrochen werden, und so mietete sich das Kaiserpaar für jenen Sommer im Stadthaus des Herrn Pamesberger ein; dort unterzeichnete Franz Josef das Konkordat mit dem Vatikan, das bis 1870 das Verhältnis zwischen Kirche und Staat innerhalb der Österreichischen Monarchie regelte.

Als Legrenzi ganz unerwartet im Jahr 1858 starb, übertrug der Kaiser die restliche Arbeit an der Villa Franz Rauch. Der finanzielle Ausweis über die bis dahin ausgeführten Arbeiten zeigt, daß damals die späterhin so charakteristischen Balkone und Balustraden aus Schmiede- und Gußeisen, die den Ansatz des Oberstockwerks entlang der ganzen Front markieren, noch nicht montiert, die Innendekorationen noch nicht voll abgeschlossen waren. Soviel aus den Unterlagen hervorgeht, vollendete Rauch die von Legrenzi ausgearbeiteten Pläne. Leider scheinen die Aufzeichnungen mit den Namen der von Legrenzi und Rauch beschäftigten Architekten, Raumausstatter und Künstler verlorengegangen zu sein, obwohl die Namen aller Bauarbeiter und Lieferanten noch vorhanden sind.

Es war also Rauch, der für folgendes verantwortlich war : für die Vollendung der Villa, die Erbauung von Verwaltungsgebäuden und Küchen, Ställe für 50 Pferde, die Wagenremise, Gesindehäuser, Werkstätten, Glashäuser und andere Notwendigkeiten; Park und Gartenanlagen, Pavillons im Park, Kaiserin Elisabeths Cottage und die Wasserleitung, die vom Gebirge jenseits des Jainzenberges in die Villa verlegt wurde. Sämtliche Betriebsgebäude waren Ende 1859 in vollem Einsatz, nur die Fertigstellung des kunstvollen Cottage dauerte ein Jahr länger.

Franz Rauch zeichnete sich im Dienst dreier Kaiser aus. Im Jahre 1834 hatte ihn Franz Josefs Großvater, Kaiser Franz I, auf eigene Kosten nach Frankreich und England geschickt, um Gärten und Parks an Ort und Stelle zu studieren. Daher kannte er englische Stilarten und war durchaus in der Lage, das Cottage zu errichten - ohne Zweifel mit vorgängiger Billigung seiner Entwürfe durch Elisabeth selbst.

Als Standort wurde das Gelände des ehmaligen Schmalnauhofes gewählt, also nur ein Stück hügelaufwärts und schräg gegenüber der Villa. Der Abbruch der dortigen Baulichkeiten sowie die Vorbereitung des Bauplatzes nahm sicherlich das ganze erste Jahr in Anspruch (1855). Die letzte große Baukostenabrechnung stammt aus dem Jahr 1859, und das noch vorhandene vollständige Inventar der Inneneinrichtung ist mit Februar 1860 datiert, aber ein paar kleinere Vollendungsarbeiten wurden im Früjahr 1861 ausgeführt. Demnach hätte sich die nun 22jährige Kaiserin endlich an ihrem Privatschlößchen erfreuen können und sicherlich mit mehr Verständnis für seine Schönheit, als es ihr sechs Jahre zuvor möglich gewesen wäre. Leider war gerade der Sommer 1860 aber von persönlichen Krisen ihres Lebens überschattet. Einige Jahre lang kam Sisi nicht nach Ischl, aber von 1865 an benützte sie ihr Cottage jedes Jahr bis zu ihrem Tod im Jahre 1898.

Das Cottage ist aus naturbelassenem rosagrauem Marmor aus dem k.k. Steinbruch Pötschen aufgeführt und fast zur Gänze von einer gußeisernen, reich verzierten Veranda umfangen, die von den Blättern und Ranken des Pfeifenstrauches (Aristolochia sipho) dicht überhangen ist. Der kostbaren Fassade entspricht die luxuriöse Innenausstattung mit eingelegten Parkettböden und üppigen Holzschnitzereien, unter denen auch 16 Gestalten aus dem Nibelungenlied sind, jenem mittelalterlichen Heldenepos, das ein unbekannter österreichischer Dichter um 1200 AD verfaßte. Bezeichnenderweise war Richard Wagner dabei, dieses Heldenlied oder genauer, den Stoff dieser Sage zum Opernzyklus „Der Ring des Nibelungen” zu bearbeiten; er vollendete das große Projekt unter der Patronanz Ludwigs II. von Bayern, der Elisabeths um acht Jahre jüngerer Cousin und ihr ergebener Anbeter war.

Von der Verwendung her sollte das Cottage als Aufenthalt für den Tag dienen, es waren darin keine Schlafzimmer vorgesehen. Vom Stil her hat es mehr Ähnlichkeit - natürlich in Miniatur-Ausführung - mit den großen Herrenhäusern und den aus Stein aufgeführten Schlössern der Elisabethinischen Periode in England als mit den Cottage-Bauten der Tudor-Zeit, die durch Fachwerk und Rotziegelfassaden charakterisiert sind. Im ganzen aber zeigt die hier aufgewendete Pracht, die mit dem bescheideneren Luxus der Kaiservilla kontrastiert, daß Kaiser Franz Josef nichts zu gut für seine Sisi war.

In den Aufzeichnungen von Mai 1855 an finden sich öfters Hinweise auf die „Elisabethinischen” Architekturentwürfe. Rauchs eigene Abrechnung hat folgenden Wortlaut: „Herstellung einer Cottage im Elisabethen Style nächst der k.k. Villa zu Ischl und eine eiserne Veranda 132 973 Gulden 41”. Man nannte den pittoresken Bau bis zum Ende der Monarchie das (oder die) Cottage; er erschAnfahrteint in den Archiven bis 1919 unter diesem Namen. Erst später kam im 20. Jahrhundert die Bezeichnung „Marmorschlößl“ für das Spiel- und Teehaus der jungen Elisabeth auf, wo noch ihre Kinder und Enkel unbeschwerte Stunden verbringen sollten.

Mit der Fertigstellung des Cottage 1860 war die Gesamtkomposition einer kaiserlichen Residenz im großen und ganzen abgeschlossen, und die Einheit von Kaiservilla, Nebengebäuden und dem Kaiserpark mit seinem reichen, oft exotischen Baumbestand, die damals erreicht worden war, verleiht dem Ganzen auch heute noch eine unverwechselbare Atmosphäre stiller Würde, die ihrer früheren Funktion entspricht.

Selbstverständlich ruhte die Arbeit auch in den folgenden Jahren nicht. Der Grundbesitz wurde vergrößert; es kam der Jainzenberg und das Jainzental dazu. 1879 wurde das Haus mit Telephonen versehen, 1890 mit Elektrizität (später sogar Elektroheizung), die aus dem hauseigenen Kraftwerk am Flusse Ischl bezogen wurde, wo eine Dampfmaschine – der Kessel wurde mit Kohle geheizt - zwei Generatoren betrieb. (Zum Vergleich: das Schloß Schönbrunn in Wien wurde erst 1901 mit Elektrizität versorgt, im gleichen Jahr übrigens wie die Stadt Ischl.)

Die wunderschöne Bogenbrücke aus Stahl, die über den Fluß hinweg die Auffahrt zur Kaiservilla eröffnet, stammt aus den 1890er Jahren; zuvor war ein weniger ansprechender erster Entwurf abgelehnt worden. Der etwas flußabwärts errichtete Dienersteg aus Stahlbeton stellte mit seiner eleganten Wölbung ein für damals kühnes Unternehmen dar, auch hier hatte es einen ersten Entwurf gegeben, der nicht gefallen hatte. 1884 ist das Jahr, in dem der Springbrunnen errichtet wurde, mit seinen hübschen, aus weißem Marmor gefertigten Figurengruppen spielender Kinder ist er das Werk von Bildhauer Viktor Tilgner, der Professor an der Wiener Akademie der Bildenden Künste war (und u.a. auch das heute im Wiener Burggarten aufgestellte Mozart-Denkmal schuf). Etwas später wurde der von Antonio Legrenzi entworfenen Hauptfassade eine einheitlichere Gestalt verliehen (u.a. durch Angleichung der Fenster-Umrahmungen), und das biedermeierliche Rosenrot der Eltz-Villa war dem Schönbrunnergelb der traditionellen Habsburger Schlösser gewichen.

Franz Josef versäumte keine Gelegenheit, seinen geliebten Sommeraufenthalt zu verschönern, wobei Geld keine Rolle spielte. Es muß aber bemerkt werden, daß viele der kostspieligen Neuerungen, die oft Pionierleistungen zeitgenössischer Technologie waren, erst nach dem Tod seines Onkels und Vorgängers auf dem Kaiserthron, Ferdinand I, ausgeführt wurden: dieser hatte Franz Josef sein beträchtliches Privatvermögen hinterlassen (1875).

Sechs Jahrzehnte lang verbrachten der Kaiser und seine Familie zumindest die Sommermonate in der Kaiservilla, obwohl Familienmitglieder auch zu anderen Zeiten im Jahr angereist kamen, besonders nachdem die Eisenbahnverbindung nach Wien 1877 fertiggestellt war. Franz Josef verbrachte 82 Sommer seines Lebens in Ischl und feierte 81 Geburtstage dort. Manchmal wurde die Routine des kaiserlichen Sommeraufenthaltes durch Krieg, Manöver oder andere Umstände unterbrochen, aber es waren in Franz Josefs langem Leben nur vier Jahre, in denen er überhaupt nicht nach Ischl kam: 1848 war er kriegshalber mit der Armee in Italien, 1878 fesselte ihn eine Balkankrise an Wien, und 1915 sowie 1916 waren Kriegsjahre. Abgesehen von diesen Ausnahmen wurde von der Thronbesteigung Franz Josefs (2. Dezember 1848) an bis zum Ausbruch des Ersten Weltkrieges 1914 der Kaiserhof en bloc für den Sommer nach Ischl verlegt, sodaß von Mitte der Fünfzigerjahre an in der schönen Jahreszeit Kaiser Franz Josef I. die ausgedehnte Österreichische Monarchie von seinem Arbeitszimmer in der Kaiservilla aus regierte.