Obec Nová Lhota, dnes část obce Kluky, se poprvé připomíná r. 1381. Panské sídlo však ve Lhotě vzniklo až o dvě stě let později: po r. 1590, kdy zde Mikuláš Salava z Lípy postavil jednoduchou, tehdy už neopevněnou tvrz. R. 1624 odkázal Mikuláš Salava statek i s kostelem své dceři Kateřině Anně; majitelé Nové Lhoty se pak střídali. Koncem 17. století Lhotu získal sedlecký klášter, za jehož panství byla tvrz přestavěna. Po zrušení kláštera r. 1783 zámek připadl náboženskému fondu. R. 1819 ho koupili Schwarzenberkové, ale to už byl využíván k hospodářským účelům. R. 1920 byly - na základě pozemkové reformy z r. 1919 - Schwarzenberkům jejich statky na Kutnohorsku zkonfiskovány. Po r. 1925 se někdejšímu panskému sídlu ještě dostalo novodobých stavebních úprav. V obodobí druhé světové války náležel statek rodině Pávových, které byl následně - s platností k r. 1948 - zkonfiskován.