Edifice du XIV au XVIème siècle, partiellement détruits au gré des années, puis reconstruit, notamment dans les années 60 par les habitants du village, il a été pris en charge par la commune ainsi que par le CPIE et l'office du Tourisme, hébergeant le très intéressant musée des Tisserands et de la Charentaise.
Le nord de la Dordogne était une région riche en usines de... Pantoufles ! et pas n'importe quelle pantoufle : la Charentaise.
Petit point d'Histoire, non... de Géographie... Bref la célèbre charentaise n'est pas... charentaise ! elle a bien été créée dans la région de Nontron, mais à partir de produits de la région d'Angoulême... en Charente, connue pour ses produits à base de papier : feuilles, enveloppes et autre feutrines. Les paysans de la région récupéraient les rebus de feutre pour les glisser au fond des sabots, pour un peu de chaleur et de confort.
A partir de 1910, les fabricants de chaussures de Nontron, Javerlhac, Varaignes ou même Champs Romain ont alors développé cette pantoufle particulière, laquelle est encore produite aujourd'hui, selon une méthode particulière, à découvrir lors de la visite du musée des Tisserands et de la Charentaise, occupant ce beau château.
On termine avec l'étonnante histoire de "la Porte Voyageuse"... Une des portes d'entrée du château fut démontée et vendue par le propriétaire du château dans les années 20. On la croyait disparue... jusqu'à ce qu'on la retrouve du coté de Boston au USA... elle trône au musée de Gloucester, Massachusetts. Elle aura certainement voyagé par Bateau, et a été retrouvée lors du voyage inaugural de l'Hermione entre Rochefort et, entre autres, Boston...
Là encore, rien de plus normal : le haut Périgord était un vrai bassin pour les parties Bois et Métal des Grandes frégates construites à Rochefort, comme en témoignent les très nombreuses forges et moulins de la région.
Mais ça, c'est une autre histoire.