Die alte schwangauische Burg "Schwanstein", die beim Abgang der Edlen von Schwangau bereits zerfallen und nicht mehr bewohnbar war, wurde von dem Augsburger Patrizier und kaiserlichen Rat Johann von Paumgartner zu Paumgarten im Jahre 1535 gekauft und in den Jahren 1538-1547 ganz neu aufgebaut. Er gab ihr erstmals den Namen "Hohenschwangau".

Fast genau 300 Jahre später war der Paumgartenbau wieder Ruine. Der Bayerische Kronprinz Max, der Sohn König Ludwig I., kam im Jahre 1829 anlässlich einer "Geschichtsreise" mit seinem Lehrer in die Füssener Gegend und erwarb dieses zerfallene Gebäude. Er leiß es nach vorhandenen alten Plänen durch den aus der Gegend des Comersees stammenden aber längst in München eingebürgerten Architektur- und Theatermaler Domenico Quaglio neu aufbauen. Die ganze Anlage lebt im Geist der Romantik. Bezeichnungen wie Schwanrittersaal, Welfenzimmer und Hohenstaufenzimmer sind Zeichen einer lebendigen Verbundenheit mit Sage und Geschichte.

Unmittelbar an den Schlosshof, dessen schönster Schmuck der Marienbrunnen ist, schließt sich der Schlossgarten an, der von einer zinnenbewehrten Außenmauer umfriedet wird. Mitten in einem Bluemenrondell steht ein Becken mit dem wasserspeienden Schwan.