Vildštejn, hrad ve Skalné vybudovali chebští ministeriálové okolo roku 1200. Poprvé se výslovně uvádí v roce 1224, kdy se po něm psal Gerold z Vildštejna a o rok později, kdy se jako svědek v listině o urovnání sporů o panství v Elsterberku připomíná Albert Nothaft z Vildštejna. Od Nothaftů získal Vildštejn jejich příbuzný Rüdiger ze Sparnecku, který jej stejně jako jiná svá panství přijal roku 1349 od Karla IV. jako léno Koruny české. Majitelé se pak rychle střídali: doloženi jsou Rabové z Mechelsgrünu, Rudolf z Ramberka a Fridrich, purkrabí z Donína. V letech 1412 – 1439 drželi Vildštejn Frankengrünerové, kteří měli velké spory s městem Chebem a po nich krátce Albert Šlik. Ten prodal hrad obratem Gummerauerům, za nichž byl roku 1452 vypálen vojskem Jiřího z Poděbrad. Gummerauerové však Vildštejn obnovili a přestavěli v pozdně gotickém slohu. Drželi jej až do roku 1521, kdy přešel sňatkem zase na Šliky. Albrecht Šlik prodal o deset let později hrad Vildštejn s panstvím, statkem Křižovatkou a s příslušnými osadami za 7.000 zlatých Volfovi z Viršperka. Viršperkové prosluli neobyčejnou surovostí, krutostí a řadou krvavých zločinů, kterých se dopouštěli jak na chebských měšťanech a okolních sousedech, tak i mezi sebou navzájem. Proto se stal Vildštejn za jejich vlády cílem několika odvetných trestných výprav; při poslední z nich roku 1596 byl Kašpar Viršperk zajat a uvězněn nejprve v Chebu a poté na Pražském hradě. Nedlouho po odsouzení ke ztrátě majetku a pokutě 6.000 zlatých zemřel (1607). Vildštejn koupili Trautenberkové, kteří na něm vládli až do roku 1799. Ani Trautenberkové se nezapsali do historie panství právě dobře: svým poddaným ukládali nadměrné roboty a s městem Chebem vedli četné spory o právo várečné. Starý hrad Trautenberkům nevyhovoval a tak si roku 1783 postavili na jeho předhradí nový zámek. Po roce 1799 se majitelé statku (Wilhelmové, Wolkenstein-Trostburgové, rodina továrníka Geipela) střídali bez výraznějšího zápisu do historie. Po výstavbě zámku přestal hrad sloužit jako šlechtické sídlo a od roku 1843 jej zdejší měšťané využívali jako sladovny. Co se zámku v předhradí týče, od poloviny 19. století sloužil měšťanům ve Skalné jako obytná budova a k hospodářským účelům. Ve druhé polovině 20. století náležel hrad i zámek státnímu statku, přičemž značně zchátral. V roce 1985 byly zahájeny postupné restaurační práce celého areálu. Dnes je hrad soukromým majetkem.