Nachádza sa tu najsevernejšie položený empírový kaštieľ v Európe. Bol postavený ako renesančný v prvej polovici 16. storočia. Je úzko spätý s históriou šľachtického rodu Abaffy, obcou Horná Lehota, Oravským hradom a Oravskou stolicou. Abaffyovcom patril do roku 1922. Malá oravská obec Horná Lehota stála kedysi na strategicky i hospodársky významnej ceste spájajúcej uhorské banské mestá s trhovými mestami Poľska. Nečudo, že si tu v druhej polovici 16. storočia vybudoval svoje sídlo i významný šľachtic Juraj Abaffy, kapitán Oravského hradu.

Jeho rezidencia postavená v duchu talianskej renesancie patrila svojho času k najreprezentatívnejším panským sídlam na Orave. Kaštieľ si dodnes zachoval svoj pôvodný renesančný vzhľad, vďaka čomu sa (údajne) považuje za najsevernejšie situovanú pamiatku talianskej renesancie na svete. Juraj Abaffy, kapitán Oravského hradu, dal nad Hornou Lehotou pre potreby svojej rodiny postaviť kostolík. Od tých čias nebohých Abaffyovcov ukladali do rodinnej hrobky v tejto kaplnke. V časoch vojen a stavovských povstaní tu často táborilo kráľovské vojsko a Abaffyovci neraz žiadali od štátu vyrovnanie, úhradu výdavkov, ktoré im spôsobovali vojaci. Druhý kaštieľ bol v obci vybudovaný v druhej polovici 18 storočia. Po roku 1945 bol pomerne zničený. V rokoch 1991-93 bol kaštieľ rekonštruovaný a ponúkal služby ako exkluzívny motel a ubytovaním a stravovaním. Tvorí ho dvojpodlažná budova s výraznými nárožnými arkiermi a šindľovou strechou. Zachovali sa na ňom aj zvyšky renesančných kamenných detailov. Dnes je však opustená a chátra. Slávnu poľovnícku minulosť feudálnych rodov, ktorí vlastnili kaštieľ a chodili sem na poľovačky, pripomínali exotické názvy jedál - hlavných chodov v reštaurácii kaštieľa.

Obec Horná Lehota sa nachádza na Orave, 9 km na sever od Dolného Kubína v údolí rieky Oravy. Kaštieľ sa nachádza hneď vedľa hlavnej cesty.