O panském sídle ve Vesci přímo hovoří minimum písemných pramenů a tak nám mnohdy nezbývá než se spokojit se zprávami o veseckém zboží. Ves Vesec se poprvé připomíná r. 1260 jako majetek Ratibora z Vesce. Na počátku 14. století seděl ve Vesci Dominik z Vesce s manželkou Svatou. Jejich syn Mareš prodal r. 1364 nějaké pozemky milevskému opatovi a ještě r. 1390 figuruje v záznamech jako poručník Anči z Kovářova. Další osudy Vesce nejsou nadlouho známy. Místní vladykové statek drželi hluboko do 15. století, jak o tom svědčí jména Jana Smetany z Vesce (připomínán r. 1456) a Mikuláše Barchance z Vesce (1463). Pak se majetkové poměry zásadně změnily. Svědčí o tom zpráva z r. 1474, podle níž prodal Racek z Kocova Kotýřinu, Vesec, Slavoňov a dvory v Kovářově Smilovi Hodějovskému z Hodějova; synové Jana Smetany – Vaněk a Oldřich – už seděli ve Voltýřově (1485). Za nejasných okolností se – patrně na sklonku 15. století – dostal Vesec ke Kovářovu a s ním do rukou měšťanského rodu Hrušků ze Strkova. Při dělení pozůstalosti po Bohuslavu Hruškovi r. 1540 připadl pustý dvůr v Horním Vesci s dvořištěm, Dolní Vesec, Záluží a část Kovářova Janu Hruškovi ze Strkova, zakladateli Nového Kovářova. R. 1589 prodali potomci Jana Hrušky statek Nový Kovářov Janu Jiřímu ze Švamberka, který jej připojil k Orlíku. O osudech vesecké tvrze, která nejspíš byla po část 16. století pustá, prameny nehovoří. R. 1616 se však jako součást orlického panství připomíná i „tvrz a ves celá Vesce“, což je neklamnou známkou, že vesecké panské sídlo na počátku 17. století ještě existovalo. Doba a okolnosti jeho zániku nám opět unikají.