En 1152 par le mariage d’Aliénor d’Aquitaine avec Henri de Plantagenêt, l'Aquitaine devint anglaise et ce dernier roi d'Angleterre, en 1154.
La famille Barrière était établie au château Barrière de Périgueux. Le plus ancien membre connu est Foucaud de Barrière qui est cité en 1190.
Au centre de la bourgade de Villamblard, le château actuel a été construit par la famille de Barrière au XIIIe siècle avec un donjon entouré de douves taillées dans le rocher et alimentées par une source. Ce château est attesté en 1312 par les coutumes accordées aux habitants de cette châtellenie, confirmées en 1390 par Hélie III de Talleyrand seigneur de Grignols et de Chalais. Au XIVe siècle, Villamblard dépend de la châtellenie de Grignols appartenant à la maison de Talleyrand qui comprenait dix paroisses : Bourron, Bruc, Grun, Jaure, Manzac, Neuvic, Saint-Léon, Saint-Paul-de-Serre, Vallereuil et Villamblard.
L’ancien repaire noble avec sa barbacane à pont-levis, ses robustes courtines, son logis penétré par des tours, un donjon carré, une chapelle voûtée est protégée par des mâchicoulis.
Il passera aux Lur en 1448 quand Anne de Barrière épouse Bardin de Lur, chevalier, seigneur de Longa, co-seigneur de Freyssinet (Saint-Priest-Ligoure).
Le château sera transformé aux XVe et XVIe siècles.
Bertrand II de Lur, vicomte de Roussille, seigneur de Longa, Barrière, Villamblard, en partie de Freyssinet, gentilhomme ordinaire de la chambre du roi, avait épousé Jeanne de Cardaillac en 1527. Le18 juin 1541 il rachète les droits de justice haute, moyenne et basse des paroisses de Villamblard, de Jaure et du village de Breuil, à Julien de Talleyrand, prince de Chalais et seigneur de Grignols, pour libérer le pacte d’achat passé par Jean de Calvimont second président du parlement de Bordeaux avec lequel il était en procès à ce sujet, au conseil du roi.
Jeanne de Cardaillac devenue protestante et proche de Jeanne d’Albret aurait reçu Calvin au château qui subira un siège peu après. Dans son testament, elle léguera des fonds pour construire un temple à Villamblard.
Leur fils, Michel de Lur, vicomte de Roussille, seigneur de Longa, de Saint-Louis-en-l'Isle, de Barrière, de Villamblard, de la Sauvetat-Grasset, et en partie de Mussidan, laissera son héritage à sa fille Anne de Lur mariée le 13 décembre 1599 avec Daniel de Taillefer, écuyer, seigneur de Châteaumerle. C'est à la suite de cette alliance qu’un membre de la famille de Taillefer devient seigneur des terres de Freyssinet en Limousin, de la vicomté de Rousille, des seigneuries de Barrière.
À partir de 1619, Daniel de Taillefer a agrandi et restauré le château qui avait été éprouvé par les guerres de religion. Il a fait construire un grand corps de logis terminé par une tour carrée.
L'historien du Périgord, Henry François Athanase de Taillefer (il a repris le prénom de son ancêtre Wlgrin, comte d'Angoulême et du Périgord. Wlgrin se prononce "Woulgrin"), est né au château, en 1761. La famille de Taillefer a conservé le château jusqu'à la Révolution. Les métairies furent vendues comme biens nationaux. Il servit alors de carrière de pierres. Wlgrin
avait dû émigrer en Allemagne pendant dix ans avant de revenir en France pour se mobiliser pour la préservation du patrimoine gallo-romain de Périgueux. Il a publié les deux tomes des Antiquités de Vésone, en 1821 et 1826. Il est mort en 1833.
Le château avait été vendu par le comte de Taillefer en 1809. La famille Murat le donnera à la commune en 1924.
Du logis Renaissance, il ne reste plus que la cave. La grosse tour Sud-Ouest a été démolie pour laisser le passage à une rue vers 1860. Un incendie a ravagé la propriété en 1898. La tour de la chapelle s'est effondrée en 1980.
L’association Wlgrin de Taillefer a été créée en 1996 pour promouvoir la connaissance et la sauvegarde du patrimoine du pays de Villamblard. Des travaux de consolidation ont été entrepris par la commune depuis les années 2000.
Les trois planchers du logis nord, celui de l’ancien donjon et l’escalier d’accès aux étages, ainsi que le volume du logis Est permettent désormais d’accueillir des expositions sur les productions des anciennes forges de la vallée de la Crempse.
En 2020 la brèche de la façade donnant sur le bourg, a été remontée.
Le château est inscrit au titre des monuments historiques par arrêté du 24 juin 1948.
portrait de Wlgrin de Taillefer
visible au MAAP de Perigueux