R. 1541 náleželo vildštejnské panství Viršperkům, kteří je rozdělili na dvě části. Dolní pak zůstala pod správou starého hradu, zatímco na Horním dílu vznikl nový dvůr s tvrzí. Ta plnila správní a rezidenční funkci do poloviny 18. století, kdy ji Trautenberkové nahradili luxusnějším sídlem – zámkem v poplužním dvoře, který vznikl východně od staršího dvora s tvrzí. Zámek se pak - oproti tvrzi - označoval jako "Dolní"; vyobrazení na mapě prvního vojenského mapování dokazuje, že okolo r. 1764 už stál. R. 1799 získal statek s Dolním zámkem Jiří Jan Wilhelm, od jehož rodu jej r. 1884 koupil hrabě Engelhard Wolkenstein–Trostburg. Posledními soukromými majiteli byli bratři Geippelové, jimž byly majetky r. 1945 zkonfiskovány. Zámek tehdy přešel pod správu státních statků, kterým sloužil jako byty. Postupně chátral a poté, co vyhořel, byl zcela odstraněn.