Город Шонгау до сих пор обнесён средневековой крепостной стеной. Эти укрепления были построены в XIII веке — тогда Шонгау получил права города, став административным центром и пограничным кордоном Баварии. Длина городской стены составляет около 1600 метров. Сторожевых башен по периметру стен изначально было пятнадцать, а в город входили через трое ворот. Сейчас башен осталось только пять, а ворот сохранилось двое. Во время войны за испанское наследство в 1704 году Шонгау заняли австрийские войска, которые взорвали 9 городских башен.

Письменные упоминания Шонгау стали появляться во второй половине XI века. В начале XIII века поселение получило права города, герб и право чеканки монет. Герб изображал черного орла с распростертыми крыльями на фоне золотого щита. Красный язык, показывающийся в раскрытом клюве, и красные растопыренные когти дополняли картину. Цвета герба Шонгау в точности совпадали с историческими цветами флага Германии: черный, красный, золотой. Черный орел был символом могущественного тогда рода швабских герцогов, германских королей и императоров Гогенштауфенов, которые владели этими землями в XI - XIII веках. В 1268 году Шонгау, перешел к Баварским герцогам дома Виттельсбахов, но герб города остался прежним, только на груди у орла появился символ Баварии -бело-голубой щит.

В 1268 году Шонгау перешел к Баварским герцогам дома Виттельсбахов. Замок Виттельсбахов возвели в 15-м веке, но в 18-м веке сильно перестроили, а в конце 19-го века и вовсе снесли дворцовую капеллу, сделав на ее месте пристройку. Сейчас здание занимает Окружной совет области Вайльхайм-Шонгау.