W wyniku tej przebudowy powstała klasycystyczno-neorenesansowa rezydencja pałacowa zaprojektowana przez architekta Karola Pietschke.
Jest to budowla piętrowa o nieregularnej bryle, planem zbliżona do litery T. Jako pierwsze powstało skrzydło południowe z ryzalitem oraz portykiem od strony parku. Kilka lat później, za czasów arcyksięcia Stefana Habsburga, wzniesiono skrzydło wschodnie, w którym mieściła się okazała sala balowa. W 1906 roku powstało skrzydło zachodnie projektu Karola Stryjeńskiego. Jedno ze skrzydeł pałacu posiadało szklany dach, pod którym urządzono pokoje gościnne. Przy pałacu znajdowała się także kaplica, zniszczona przez Niemców. Z jej wyposażenia zachował się tylko krzyż
.Najpóźniej zrealizowano monumentalną elewację z dwoma bocznymi balkonami, zwieńczoną tympanonem z herbem Habsburgów.
Po zakończeniu wojny i upaństwowieniu majątku Habsburgów w pałacu mieścił się, do roku 2013, Zespół Szkół Drzewnych i Leśnych.Po przeniesieniu szkoły o zwrot pałacu upomnieli się spadkobiercy przedwojennych właścicieli.
Habsburgowie po wojnie odwiedzili Żywiec a od roku 2003 roku do swojej śmierci, w wydzielonym mieszkaniu w pałacu, zamieszkiwała córka Stefana Habsburga, Krystyna.
