Des cadeaux de noces affluaient de tous les recoins de l'Empire Habsbourg, mais c'était l'archiduchesse Sophie, la tante et désormais belle-mère de Sisi, qui offrit au jeune couple le cadeau le plus beau et le plus apprécié de tous. Immédiatement après les fiançailles, l'archiduchesse Sophie se mit à négocier l'achat de la villa Eltz à Ischl, où le chancelier Metternich avait passé ses étés, comme résidence privée pour le jeune couple dans le lieu de villégiature de la famille. Des terrains additionnels furent acquis en 1854 afin d'agrandir le domaine. Durant l'hiver de 1853/54, encore avant le mariage, la propriété fut réaménagée pour être occupée provisoirement l'été suivant, après le mariage. François-Joseph et Elisabeth s'installaient dans leur nouvelle maison, encore inachevée, pour la première fois fin juillet 1854, et la Villa Impériale devenait la résidence d'été officielle de l'Empereur. Le 23 août 1854, il reçut le Roi Ferdinand du Portugal, la première visite officielle parmi des centaines à venir dans sa nouvelle demeure.

Toutefois, les 14 salles de la villa étaient complètement inadéquates comme résidence d'un chef d’une grande puissance. Durant l'année 1854 d'amples projets furent conçus pour le développement de la maison et du domaine. Le projet de la transformation et de l'agrandissement de la Villa fut confié à Antonio Legrenzi, un architecte ayant beaucoup d'expérience professionnelle. Ce qu'il érigea entre 1855 et 1858 fut en effet un nouveau bâtiment. Une grande extension et deux nouvelles ailes latérales donnaient au plan de base du bâtiment sa forme actuelle de lettre E – supposée symboliser Elisabeth, et dans ce cas un beau témoignage de l'affection de François-Joseph pour sa jeune épouse.

La mission de Legrenzi fut réduite à la villa en soi. Le projet de toutes les autres dépendances fut confié à Franz Rauch, chef des parcs impériaux, qui désigna et réalisa le parc en coopération avec les jardiniers des palais de Schönbrunn et de Laxenburg, près de Vienne. Il fut également commissionné afin de construire un cottage personnel pour la jeune impératrice Elisabeth, spécifiquement en style “Élisabéthain” (c.à.d. le style Tudor anglais du 16ème siècle). Ce qui explique la remarquable différence de style architectural entre le cottage et la villa, ainsi que toutes les autres constructions dans le parc.

Les travaux de construction furent entamés simultanément à la villa, au cottage, dans le parc et à toutes les dépendances et communs au printemps 1855, pour continuer durant les cinq années suivantes. Legrenzi mourut subitement en 1858, et l'Empereur désigna Franz Rauch pour compléter les travaux non achevés à la villa. Rauch avait été un membre estimé au service de trois empereurs successifs. En 1834, le grand-père de François-Joseph, l'Empereur François I, l'avait envoyé, à ses propres frais, en tournée à travers la France et l'Angleterre afin d'étudier sur place l'aménagement de jardins et de parcs. C'est pourquoi il fut déjà bien initié au style architectural Tudor, et ainsi bien capable de mener à bien le projet du cottage. Pendant l'été 1860, le cottage fut prêt afin d’être occupé par Elisabeth, âgée de 22 ans.

Construit en marbre gris-rosé brut, entouré presque entièrement d'une véranda en fonte, envahie de plantes grimpantes, le cottage fut conçu comme résidence 'pour la journée', ne possédant pas de chambres à coucher. Les éléments de façade très coûteux correspondent avec l'intérieur luxueux, ses parquets marquetés et ses riches sculptures en bois. Parmi ces dernières figurent 16 personnages de la chanson du Nibelung, le poème épique médiéval écrit par un poète autrichien inconnu autour de 1200. Le compositeur Richard Wagner était déjà occupé à immortaliser la saga dans son grand cycle d'opéras 'L'anneau du Nibelung', un projet qu'il achèvera sous le parrainage du cousin d'Elisabeth, et son plus fervent admirateur, le roi Louis II de Bavière. Ici, l'extravagance marquée contraste avec le style sobre, sans luxe, de la villa, ce qui démontre une fois de plus; que pour François-Joseph rien n'était trop beau par sa Sisi.

Bien sûr, au cours des années suivantes, on continua d’ grandir et de moderniser la Villa. Le domaine aussi fut encore agrandi et François-Joseph ne manqua aucune occasion pour embellir et entretenir sa précieuse résidence d'Ischl. Durant les six décennies qui suivirent, l'Empereur et sa famille passèrent de longues périodes à la villa, en tous cas les mois d'été, bien que des membres de la famille l'utilisaient aussi à d'autres moments de l'année, surtout à partir de 1877, lorsque le chemin de fer facilita l'accès. François-Joseph y passa au total 82 étés, et célébra 81 anniversaires à Ischl. De temps à autre une guerre, des manœuvres militaires ou d'autres événements interrompirent la routine des résidences impériales, mais tout au long de sa vie, les seules années qu'il dut renoncer entièrement à son séjour à Ischl furent 1848, alors qu'il était avec son armée en Italie; 1878, lorsqu'une situation de crise aux Balkans le retenait à Vienne; et les années de guerre 1915 et 1916. Autrement, depuis son accession au trône en 1848 jusqu'en 1914, la cour impériale déménagea en bloc à Ischl, et à partir des mi-1850 l'immense empire des Habsbourgs fut gouverné à partir du bureau de François-Joseph à la Villa Impériale.