R. 1760 koupil lipnické panství hrabě Karel Josef z Palm-Gundelfingen. Lipnický hrad byl už tehdy v poměrně špatném stavu a proto hrabě nechal v podhradí postavit zámek, který se stal sídlem správy části panství. Posledními šlechtickými vlastníky Lipnice byli v letech 1842 - 1925 Trautmannsdorffové. Ti nechali po požáru hradu r. 1869 přenést na zámek veškerou správu velkostatku, čímž dosáhl historický význam zámku svého maxima. Při první pozemkové reformě získalo r. 1925 zámek městečko Lipnice, které jej adaptovalo pro účely školství a následně jako bytový dům. Tomuto účelu slouží dodnes.