Úzký protáhlý tvar skalnatého ostrohu vtiskl historickému jádru města jeho půdorys. Podlouhlé náměstí s barokním kostelem sv. Petra a Pavla lemují zachovalé gotické domy s podloubími. Na okraji skály jsou doslova nalepeny tzv. Ptačí domky - původně obydlí italských dělníků, dnes úštěcká rarita. Z opevnění města se dochovala Pikhartská věž a zbytky hradeb.