D'emblée la Villa Impériale fut conçue comme résidence privée de l'Empereur et de sa famille, un endroit où ils pouvaient se reposer en paix, loin des remous de la cour impériale de Vienne. L'intimité familiale fut jalousement préservée. Aucun hôte d'état, aussi renommé qu'il fut, ne fut jamais logé à la Villa, mais toujours au centre ville, pour la plupart à l'Hôtel Kaiserin Elisabeth ou à l'Hôtel Bauer, aujourd'hui démoli. Seulement les dames d'honneur, les valets personnels et les femmes de chambres, qui voyageaient partout avec la famille impériale, demeuraient à la villa même. Le personnel administratif, domestique et autre séjournait dans des appartements aménagés dans le complexe des étables ou dans le bâtiment administratif situé plus bas près de la rivière; là aussi se trouvaient les cuisines, puisque aucun repas ne fut préparé à la villa même. Respectant le caractère privé de la maison, très peu de grandes réceptions ou d'activités similaires furent données dans l'espace limitée de la villa; celles-ci se faisaient d'habitude dans de plus amples établissements à Ischl, surtout au grand Kurhaus, édifié en 1875, qui contient aujourd'hui le théâtre de Bad Ischl et un centre de conférences. Ainsi, les limites de la résidence impériale contenaient en réalité la ville entière, connue jusqu'à ce jour comme la 'Ville Impériale Ischl'. François-Joseph a déclaré maintes fois que, pour lui, Ischl était "un paradis sur terre". Bien sûr il devait y consacrer une partie de son temps aux affaires d'état, mais sa vie à Ischl n'était pas uniquement une série d'engagements formels. Son principal passe-temps était la chasse, la seule récréation qu'il s'offrit. L'Empereur était un ascète, très sobre dans sa vie personnelle, ce qui est illustré par ses appartements extrêmement modestes à la villa. Son simple lit en fer était le même que les jeunes élèves officiers utilisaient dans leurs casernes. Une journée normale débutait à 3h30 du matin avec un bain, suivi de quelques heures de travail aux documents d'état, apportés journellement à Ischl par des courriers. S'il n'y avait aucune visite officielle au programme, il consultait les baromètres dans son bureau, et si le temps était clément, il partait, parfois bien avant le jour, avec ses compagnons de chasse pour les terrains de chasse au Zimnitz, près de l'Offensee ou du Langbathsee.

Il était trop conformiste pour utiliser personnellement les maintes nouveautés techniques de l'époque, à la seule exception du télégraphe, qu'il utilisa pour les communications entre la Villa Impériale et les ministères du gouvernement à Vienne, même au point, qu'un bureau de télégraphie fut érigé spécialement à Ischl pour tenir tête au trafic. Un Tsar de Russie, en visite, put tout de même le persuader d'accepter un allume cigare électrique, qui se trouve toujours sur son bureau à la villa, mais le Roi Édouard VII de Grande Bretagne ne put le convaincre que l'âge de l'automobile était arrivé, même à Ischl.

Au crépuscule de sa vie, après la mort d'Elisabeth en 1898, François-Joseph n'avait plus que deux bonheurs dans sa vie. D'abord ses petits-enfants, surtout la famille de sa fille cadette, Marie Valérie, qu'il adorait. Son autre source de joie dans ses dernières années fut son 'âme sœur', l'actrice Katharina Schratt, qui pendant de longues années loua la Villa Felicitas juste en dehors de la ville sur la route de Salzbourg. Durant la saison à Ischl c'était le rituel journalier de François-Joseph de faire la promenade à pied ou à cheval jusque là pour prendre son petit-déjeuner avec Madame Schratt tôt le matin – il se promenait seul, mais sous surveillance discrète de ses agents de sécurité.

L'Impératrice Elisabeth arriva à la Villa Impériale comme jeune épouse de 16 ans. Bien sûr, elle faisait toujours partie des visites d'état, où elle était l'hôtesse des épouses ou des consorts des hommes d'états et des têtes couronnées, pendant que leurs époux et François-Joseph s'occupaient de leurs affaires de haute diplomatie. Au contraire de son époux, Elisabeth adorait les sports et l'exercice physique. Elle avait fait aménager une salle de la villa en salle de gymnastique (c'est maintenant une chambre à coucher de la famille), mais s'il n'y avait pas de visites officielles elle faisait ériger ses appareils gymnastiques dans le salon rouge entre deux grands miroirs ovales à l'extrémité de deux murs opposés, et y exécutait ses exercices habituels. A la Villa Impériale elle pouvait s'adonner de tout cœur à sa passion pour l'équitation, encouragée par son père dès son enfance; des étables pour 50 chevaux et une remise pour calèches à cheval étaient à sa disposition.

Ses longues promenades à un rythme effréné furent la frayeur de ses dames d'honneur, surtout lorsqu'elles devaient escalader régulièrement la pente raide du Jainzen (colline de 834 mètres dans le parc impérial), avant le petit-déjeuner et portant des jupes volumineuses. Elle se promenait durant des journées entières dans les collines autour de l'Aussee, et même à la mi-cinquantaine elle emmena sa fille Marie Valérie pour de longues randonnées dans les alpes du Tauer, par des chemins à plus de 3.000 mètres d'altitude, qui à ce jour sont toujours un défi pour des alpinistes expérimentés avec un équipement moderne. Par beau temps elle avait l'habitude de faire ses exercices de gymnastique en plein air, non observée, dans une clairière sur les pentes inférieures du Jainzen. La jeune Elisabeth appelait le Jainzen sa “montagne magique”, et sa fascination ne la quitta pas de toute sa vie. Dans une petite cabane en bois au sommet, avec un panorama fabuleux sur les montagnes, elle lisait, écrivait, dessinait et faisait de la peinture.

Les poèmes d'Elisabeth, publiés depuis lors sous forme de livre, ont été composés pour la plupart à Ischl, soit dans son boudoir à la villa, soit dans son cottage. Ici elle pouvait retrouver ses enfants, sa famille et ses invités privés. A partir d'ici ils pouvaient faire une promenade sur les hauteurs du parc et admirer l'exceptionnel panorama sur Ischl, sur les sommets et glaciers du Dachstein et des montagnes environnantes à partir d'un des petits pavillons dans le parc. Elisabeth collectionnait aussi des photos de membres de la famille, comme on peut les admirer dans son boudoir, où surtout les photos de Marie Valerie prédominent. A la mort de son premier enfant, Sophie, à l'âge de deux ans, les deux suivants – Gisèle et le prince héritier Rodolphe – furent élevés sous l'influence dominatrice de sa belle-mère. Dès lors, Elisabeth fut absolument déterminée à garder près d'elle Marie Valerie et de s'occuper elle-même de son éducation. La fille préférée de Sisi, ayant de solides racines à Ischl, où son splendide mariage eut lieu, finit par hériter la Villa Impériale et la passa à ses héritiers.

Malgré leur nature pas tellement sociable, la famille impériale représentait un élément solide dans la vie d'Ischl. On attendait leur présence à maints événements sociaux, et bien sûr on les voyait souvent faire leurs courses ou d'autres activités informelles en ville. Ils se promenaient dans les rues et se mêlaient aux habitants sans gardes du corps ou autre protection apparente. On voyait régulièrement l'Empereur ou d'autres membres de la famille au théâtre local. Inévitablement Ischl fut le théâtre de visites d'état, amenant de grandes cérémonies dans la ville, comme des réceptions, des bals et toutes sortes de manifestations pour les centaines d'hommes d'état et de têtes couronnées du monde entier, venant visiter au fil des ans le monarque de la grande puissance, l'Autriche. Le protocole exigea le cérémoniel militaire approprié et à chaque fois il y avait une représentation de gala au théâtre d'Ischl en présence de l'Empereur et de ses augustes invités.

Dans l'atmosphère orageuse de la haute diplomatie du 19ème siècle François-Joseph reçut à Ischl les visites d'ambassadeurs de toutes les grandes puissances, de chefs d'état et de gouvernement, tels que le chancelier prussien Otto von Bismarck ou le président des États-Unis, Ulysse S. Grant. Les souverains régnants de l'Europe se retrouvaient régulièrement à la Villa Impériale. Certaines occasions furent même hautement exotiques, par exemple lorsque le Roi Chulalongkorn du Siam, “Seigneur de l'Éléphant Blanc', passa une semaine à Ischl en juin 1897. Une représentation spéciale de l'opérette de Johann Strauss "La Chauve-souris" fut donnée en son honneur au théâtre d'Ischl, le compositeur en personne menant la baguette. Après la représentation, le roi investit Strauss avec l'Ordre de l'Éléphant Blanc. Cette visite fut commémorée par la famille royale thaïlandaise lors d'une cérémonie et d'une exposition à la Villa Impériale un siècle plus tard, en 1997.

Après la mort du Prince héritier Rodolphe le 31 janvier 1889, et l'agitation subséquente, la famille se réfugia à la villa deux mois plus tôt que d'habitude, afin de fuir l'atmosphère oppressive de Vienne. Mais en compensation l'année suivante Ischl, ville impériale, vivait les plus grandes festivités jamais célébrées. Le 31 juillet 1890, Marie Valerie, la fille cadette de François-Joseph et d'Elisabeth, épousa son cousin Habsbourg François Salvator à Saint-Nicolas, l'église paroissiale de la cour. Les festivités, célébrées par la population entière d'Ischl, devaient durer toute une semaine et le temps fut splendide. Les Habsbourgs 'Salvator' sont toujours en résidence à la Villa Impériale.

Par la présence impériale la vie culturelle viennoise fut transférée à Ischl. En effet, lorsque la cour était en résidence, sans aucun doute Ischl éclipsa la capitale impériale, surtout en ce qui concerne la musique et l'opérette en particulier. D'innombrables chefs-d'œuvre musicaux, artistiques et littéraires furent créés dans cette ville. Chacun de nom ou de renom devait être vu à Ischl tôt ou tard. Ischl était devenue une ville d'eau florissante et célèbre dans le monde entier. Dames et messieurs d'une exquise élégance échangeaient des courtoisies avec de galants officiers dans leurs splendides uniformes des forces armées impériales, et se promenaient dans les jardins parfaitement entretenus du Kurpark sur les tons de l'orchestre dirigé par le maître Johann Strauss en personne. Durant la période de résidence de la cour, la célèbre vie intellectuelle et culturelle de Vienne au tournant du siècle émigrait en masse vers les salons et cafés d'Ischl. Pendant des décennies la vie se déroula identiquement tout au long du crépuscule de l'Autriche impériale. Aucunement dérangé par les troubles sociaux et politiques dont Vienne fut accablée à cette époque, et inconscient de l'atmosphère de 'fin d'une époque", la saison culturelle d'Ischl se poursuivait d'année en année. Dieu était au ciel, l'Empereur sur son trône et tout allait pour le mieux dans le monde. Jusqu'à ce que les coups de feu de Sarajevo viennent brutalement interrompre l'idylle.