R. 1308 se po Lysicích psal Heralt z Kunštátu. Nedlouho poté se z kunštátského rodu vydělila jeho lysická větev, která do 15. století sídlila na hradě Rychvaldu. Také z tohoto důvodu by hovořit o existenci lysické tvrze již ve 14. století bylo nepodložené, ač vyloučit nelze ani tuto eventualitu. První nesporné zprávy o lysické tvrzi pocházejí až z let 1476 a 1480. Po vymření lysické (1451) a vzápětí i lestnické (1490) větve pánů z Kunštátu přešly Lysice do rukou jiných příslušníků tohoto rozvětveného rodu. Ludvík Zajímač z Kunštátu postoupil statek Vilémovi z Pernštejna, jehož syn Vojtěch jej r. 1528 prodal Janovi Černčickému z Kácova. Černčičtí z Kácova, kteří Lysice vlastnili do r. 1584, přestavěli tvrz – do r. 1554 – renesančně. Na tuto jejich stavební aktivitu navázal Hron Březnický z Náchoda (do r. 1589), který Lysice r. 1584 koupil od Jana Purkarta Černčického, a zejména Jiří Březnický z Náchoda (1608 – 1634), který lysickou tvrz přestavěl na renesanční zámek. R. 1652 zapsala Alžběta rozená Sumyoghy, manželka Františka Leopolda z Náchoda, lysický statek Janu Arnoštovi de Montrochier, který jej r. 1678 převedl na ostřihomského arcibiskupa Jiřího Szelepcsenyiho. Arcibiskup zemřel r. 1686 a Lysice získali Serényiové. Ti vlastnili Lysice do r. 1740 a zahájili barokní etapu přestaveb lysického zámku, v níž pokračovali Piatiové (1745 – 1811). Za Piatiů došlo – v lednu 1783 – k selské rebelii, jenž byla krvavě potlačena vojskem. Posledními soukromými držiteli Lysic byli od r. 1811 Dubští z Třebomyslic, jimž byl majetek zestátněn r. 1945.