Le Château actuel fut érigé au XVIIIe siècle par la famille de Malleret. Il semblerait que le site remplace un édifice plus ancien puisqu'un Pierre de Malleret, seigneur du Mas-de-Montet, existait au début du XVIe siècle. Des vestiges datent des XVe et XVIe siècles et une restauration a été entreprise pour les conserver. Le château passe ensuite aux La Cropte de Chantérac, puis au XIXe siècle aux du Lau d'Allemans et aux Nattes.
Les bâtiments ouvrés sur des structures existantes, expliquent les compromis architecturaux faits pour l’adapter au style Renaissance. Le logis initial de plan rectangulaire a été complété ensuite par l'ajout de tours carrées et cylindriques, pavillon latéral, terrasse surélevée en façade. A l'ouest du logis, une ferme s'organise autour d'une cour fermée. Au nord se dressent une serre et une orangerie ainsi que d'autres bâtiments à usage agricole.
Le château de La Vergne, propriété a proximité «conserve des pavillons à lucarne et une belle porte Louis XV».
Voici son histoire du XIXe au XXIe siècle.
Louisa Mathilde Marie du Lau d’Allemans (1840-1912) héritière du château du Mas de Montet et des terres et métairies épouse à Paris en 1865 le capitaine Pierre Marie Béranger, marquis de Nattes qui gravit tous les échelons de son entrée en 1848 à Saint-Cyr au ler chasseur d’Afrique pour faire la guerre de Crimée en 1854, puis de Kabylie en 1857 et de Syrie en 1860 sous son commandement avec un effectif de 184 hommes et 188 chevaux. Il s’illustre le 9 novembre 1870 lors de la bataille de Coulmiers à la tête du 2e bataillon du 22e régiment des Mobiles de la Dordogne, l’une des rares victoires françaises de la guerre franco-prussienne et finit sa carrière avec le grade de Lieutenant-Colonel en 1872 à 43 ans, et Officier de la légion d’honneur. Dés 1874 il est conseiller municipal de Petit-Bersac puis Maire de 1879 à 1898 et meurt en 1905.
La marquise n’est pas femme à vivre dans l’ombre de son « grand homme », elle laisse le vif souvenir d’une personne vivant au milieu de ses chiens et de ses singes fugueurs et de son fils éduqué plutôt qu’aimé, Pierre Paul Armand Bérangère (1867 -1945).
Erudite, elle entretient une passion pour les orchidées. Sa serre renferme des espèces rares venues du Mexique de Colombie du Guatemala et le singulier Bolbophyllim odoratum que son fils lui a ramené des Indes.
Le Marquis et la Marquise de Nattes font planter des arbres peu communs et exotiques, dont des séquoias géants, tulipiers de virginie, Orangers des Osages, Cèdres du Liban...
Le 28 juillet 1912 revenant de Paris la marquise est victime d’un accident de voiture et trouve la mort à l’hospice de Vendôme, ayant laissé l’usufruit des immeubles lui appartenant à La Vergne à son majordome Jean Virecoulon qui meurt le 27 mars 1916 au château de La Vergne, entouré des chiens et des singes de la Marquise.
Le marquis Pierre Paul Armand Béranger qui a épousé le 8 juillet 1905 Anne Marie Berthe Amandine de Dreux-Brézé, héritera du domaine de sa mère d’une étendue de 170 ha consistant en deux châteaux, l’un à Montet, l’autre à La Vergne, des terres et des maisons situées dans les différentes métairies, qu’il revend en 1918 à un courtier de Sarlat. Les bois sont abattus, les métairies revendues séparément et le château vendu le 8 juillet 1820 au Docteur Descubes dont la fille est l’épouse de Monsieur Thonnard du Temple qui s’y ruine et la propriété est remise à la vente en 1927.
De nombreux propriétaires se succéderont et Madame Émilienne Rolland qui cultivait le domaine dans les années 60 a l’idée de transformer vingt ans plus tard le château en hôtel et son restaurant réputé obtiendra ses trois étoiles.
Depuis 1992 Le président François Mitterand y est un hôte privilégié car il adore cet endroit proche de la maison de son grand-père maternel de » Touvent » à Nabinaud. Il y organise aussi des réunions privées avec ses ministres, conduit des affaires d‘Etat..
Fermé en 1997, le château a été complètement rénové et en 2010 une nouvelle mise aux normes est effectuée par les actuels propriétaires.
Désormais L’établissement sur 60 ha propose 10 suites luxueuses et accueille des réceptions privées.
