Po zániku tvrze v Jimramově žádné panské sídlo více než 150 let nestálo. Až v devadesátých letech 16. století zde postavil Pavel Katharin z Katharu, majitel Jimramova od roku 1588, novou renesanční tvrz. K tvrzi náležel mj. dvůr, pivovar a mlýn. Již roku 1603 prodali Katharinové objekt Dubským z Třebomyslic a majitelé se pak střídali. V polovině 18. století přestavěli Waldorfové renesanční tvrz na barokní zámek a spojili jej krytou chodbou se sousedním kostelem. Od roku 1778 vlastnili Jimramov Belcrediové, kteří na počátku 19. století zakončili stavební vývoj jimramovského zámku v klasicistickém duchu. Roku 1948 odebral zámek Belcrediům stát, který jej adaptoval na střední odborné učiliště. O 43 let později - roku 1991 - byl objekt Belcrediům v restituci vrácen.