Das Hohe Schloss blickt infolge seiner bedeutenden strategischen Lage am Alpenausgang der ehemaligen Via Claudia Augusta auf eine bewegte Geschichte zurück, die sich auch in der Architektur spiegelt. Hervorgegangen aus einer widerrechtlich errichteten Burg gelangte es 1322 in den Besitz des Bistums Augsburg, das auch die Hoheit über die Stadt an sich zog. Insbesondere der Ausbau zwischen 1486 und 1506 verwandelte das Hohe Schloss in ein großartiges Burgschloss mit spektakulären Illusionsmalereien.