Historie městečka a panství Vildštejn (od r. 1950 Skalná) sahá někam k r. 1200, kdy si ministeriálský rod Nothaftů postavil v místě románský hrad. V 16. století se zboží dostalo na čas do rukou Šliků, kteří je r. 1531 prodali Viršperkům: konkrétně Albrecht Šlik prodal hrad Vildštejn s panstvím, statkem Křižovatkou a s příslušnými osadami za 7.000 zlatých Volfovi z Viršperka. Tím nastala v oblasti divoká éra, daná krutostí nových majitelů, která skončila r. 1596. Právě za Viršperků došlo r. 1541 k rozdělení panství na dvě částí – Horní a Dolní –, čímž na Horní části vyvstala také potřeba nového panského sídla. Tím se stala renesanční tvrz v rovněž novém poplužním dvoře, postaveném severovýchodně od starého hradu. R. 1596 statek koupil Zikmund Abraham z Trautenbergu, jehož rod jej držel až do r. 1799; tehdy statek koupil Jiří Jan Wilhelm. V té době už ale vildštejnská tvrz jako panské sídlo nesloužila; s rostoucími nároky panstva na kvalitu bydlení převzal tuto její funkci v polovině 18. století nový zámek a tvrz už pak sloužila jen hospodářským účelům.