Dés le XIIIe siècle les de La Porte étaient installés au château d’Excideuil dans un véritable manoir «l'Hostel noble de la Porte assis sur le second portail du chasteau d'Excideuil », bien que partie intégrante du château d’Excideuil. Ce manoir devait son nom à la famille de la Porte qui, dès le XIle siècle, figurait parmi les chevaliers du château, aux côtés des Vigier, Roffignac, Ussel, Malmiros, la Tour, tous possesseurs de repaires nobles érigés dans l'enceinte de la forteresse vicomtale ou du bourg Saint-Thomas.
En 1384 Adhemar Robert épouse Marguerite, fille unique des La Porte qui va recueillir les biens de ses parents dont la seigneurie de Jumilhac et son château, les fiefs de Rouffiac et de Rouffiaguet.
Au XVe Surplombant la route, la maison forte de la famille chevaleresque des La Porte contrôlait le passage sur la route qui traverse la rivière La Loue trente mètres en contrebas. Deux tours carrées du XVe coiffées de lanterneaux s’offrent encore en arrière-plan.
Au XVIIe siècle Henri Comte de Marqueyssac d’Ans porte le titre de Baron de Rouffiac et de Rouffiaguet. Par alliance Henri d’Abzac de Mayac (1659-1722) portera également ce titre.
Au XVIIIe siècle, Henri de Lestrade est communément appelé "le baron de Lestrade". Chevalier de Saint Louis, baron de Rouffiac (fief entré dans la famille par sa mère en 1720), il résidera ordinairement à Rouffiac ou au château de Mayac, ou bien encore dans son hôtel d'Excideuil.
Dès 1772 le comte Pierre de Marqueyssac se rend acquéreur des terres de Rouffiac et du fief de Rouffiaguet.
Après la révolution le château changera régulièrement de propriétaire pour ne plus changer de mains à partir de 1872. Il appartiendra à des industriels la famille Parant. Après la première guerre mondiale, Georges Parant (né en 1895 à Rouffiac) rachète une verrerie en Seine et marne qui fera sa gloire et sa richesse (155 employés en 1936) en se réorientant vers le flaconnage de grands parfumeurs. Sa mort et le déclin de la verrerie semi-artisanale stoppera l’activité en 1977.
Le pigeonnier, le bassin à poissons, les dépendances à l’Est et le bâtiment qui servait de poulailler en contrebas témoignent de l’origine des lieux. Il présente deux demeures juxtaposées, l’une cantonnée d’échauguettes et l’autre est un logis rectangulaire du XVIIe entre deux grosses tours circulaires. L’une d’elle porte Le monogramme HP Henri Parant, frère de Georges qui s’adonna à la pisciculture.
Le château fut entièrement remanié à la fin du XIXe et des pavillons et deux tours furent ajoutées.
L’intérieur datant de cette époque est intact. Le château privé de Rouffiac dans la même famille depuis 1872, dans la forêt de ce nom n’avait pas moins de 44 hectares, à 2,5 km du bourg d‘Angoisse en limite de la Dordogne et de la Haute-Vienne,
Éléments protégés MH : le château, le jardin, l'étang et le décor intérieur : inscription par arrêté du 15 mars 2002.
info BSHAP tome LXXXVII année 1960
