Une porte contrôlait autrefois l’accès à l’ensemble fortifié entre l’extrémité du pont et le rocher.
Aujourd’hui, la rue contourne le domaine fortifié des Vicomtes de Limoges qui comprenait plusieurs fiefs.
Le plus ancien, celui des Du Barry, était situé à l’emplacement de l’usine Imerys Tableware actuelle.

Rien n’explique, sinon une légende précisant qu’elle y serait inhumée, les raisons qui ont attribué le nom de la mère de Henri IV aux restes du château qui dominent encore le confluent de la Vienne et de l’Aixette.
La tour Jeanne d’Albret représente les seuls vestiges d’un ensemble fortifié du XIIIème siècle, témoin de nombreux conflits de la guerre franco-anglaise, dite de 100 ans, des guerres de religions ou encore de la vicomté de Limoges.

Histoire
A l’époque carolingienne (après 715) sous le règne de Charlemagne, la paroisse de Tarn (première paroisse d’Aixe-sur-Vienne) est désormais constituée de maisons de bois aux toits de chaume, groupées autour de Saint Alpinien. Les moines ont une grande influence sur la vie locale.
Face aux incursions normandes, et à la turbulence des « seigneurs » locaux, le triumvirat qui préside aux destinées du « pagus » aquitain décide de l’implantation d’une tour de bois au confluent de la Vienne et de l’Aixette (à l’emplacement de la future forteresse).

A l’époque capétienne (après 987), la mort accidentelle de Louis V, le 21 mai 987, consacra la ruine de la dynastie carolingienne. Hugues Capet, duc de France, héritier du prestige acquis par son père, fut élu roi par les Grands et les Evêques du royaume. Avec lui, un régime politique nouveau va prendre son essor : la féodalité. La société médiévale se divisait en trois ordres : ceux qui se battent, ceux qui travaillent et ceux qui prient.

Partout, des châteaux s’érigent, le plus souvent en bois, entourés d’une palissade de pieux et d’un fossé. Ils sont en moyenne, éloignés de 8 à 10 kilomètres les uns des autres. IL faut que le seigneur puisse chevaucher dans toute l’étendue de la châtellenie pour que sa protection soit efficace.

Le seigneur d’Aixe, vassal du vicomte de Limoges occupait le château de la ville et était chargé d’assurer la protection de celle-ci. Lui-même et les hommes de sa garnison (entre 25 et 30 personnes) avaient le droit de porter les armes. L’épée était le symbole de la fonction seigneuriale.
Les attributs civils du château furent tout aussi importants que les manifestations de sa puissance militaire, son rôle étant plutôt celui d’un centre administratif que d’une caserne ou d’un fort au sens moderne du terme.

Profitant d’une querelle dynastique qui divise la famille des Plantagenêts et ébranle la couronne d’Angleterre, Aymar V (ou Adémard V) Vicomte de Limoges, tente de se libérer de la tutelle des ducs d’Aquitaine. Il s’associe aux comtes d’Angoulême et du Périgord. Ensemble ils décident de secouer la tutelle anglaise. Mais ils doivent déposer les armes.
Cette trêve s’achève au cours de l’hiver 1182-1183, quand le pugnace vicomte entreprend de fomenter un nouveau complot contre le plus dangereux des Plantagenêts : Richard le futur « Cœur de Lion », en s’alliant à Henry le jeune frère de ce dernier. Il lui propose le duché d’Aquitaine. Des mercenaires sont alors engagés par Richard pour faire la guerre en Limousin : ils ravagent la région quand ils se retrouvent sans emploi.

Le Limousin et le Périgord sont très touchés par les pillages. Du coup, des guerres sont menées pour chasser ces mercenaires et tous les combats se confondent.
Après sa capture pendant 4 ans en Autriche, Richard est obligé de revenir dans le Comté de Limoges batailler contre Adémard V, son pire ennemi, vers 1193. IL a pris le nom de « Richard Cœur de Lion » lors de la croisade. On sait, grâce à un moine Geoffroy de Vigeois, qu’à Aixe-Sur-Vienne, 80 gascons se firent capturer et arracher les yeux par Richard.

En 1199, le vicomte de Limoges rompt une nouvelle fois les liens vassaliques qui l’unissent à Richard. Ce dernier vient en Limousin bien décidé à mettre un terme à la turbulence de son vassal. Il s’empare du château d’Aixe mais trouve la mort le 6 avril 1199 à Châlus. Son cœur est enterré dans un reliquaire à Rouen, son corps, à l’abbaye de Fontevraud, et ses viscères à Châlus.

En 1206, le successeur d’Aymar V, Gui V, fait construire une nouvelle forteresse sur les ruines de la précédente. C’est également à cette époque qu’Aixe devient une cité murée.
Dès leur avènement, les vicomtes de Limoges se transmettaient héréditairement la haine du Plantagenêts. A l’instar de ses prédécesseurs, Gui VI ne fait pas exception à la règle : il n’accepte pas le traité de Paris qui place ses fiefs sous la tutelle du duc d’Aquitaine. Le vicomte ouvre les hostilités en attaquant les milices communales de Limoges rassemblées au bourg Saint Martial. La bataille tourne à son désavantage et son beau-frère, le comte de Nevers, est tué au cours de l’engagement.

Quittant Limoges qui lui est devenue hostile, Gui VI installe dans les places fortes des garnisons qui lui sont demeurées fidèles : à Aixe, Chalucet et aux tours de Noblat. A sa mort, en 1263, sa femme, Marguerite de Bourgogne, relève sa bannière et continue la lutte soutenue par le puissant archidiacre Gérald de Maulmont. Abandonné, ayant perdu son caractère défensif, le château d’Aixe tombe en ruines au XVIIIème siècle, après avoir soutenu de nombreux sièges et constitué un des points de défense important du Limousin aux portes de Limoges.

Jeanne de Navarre le céda en 1556 à Claude de Rochechouart.
Le duc des Cars en fit l’acquisition que des années plus tard. Vendu comme bien national à la Révolution, l’ensemble fut morcelé et cédé à divers acquéreurs. Son donjon, qui menaçait ruine, fut démoli en 1809 et les murailles ainsi qu’une partie du rocher sur lequel reposaient les constructions, servirent de carrière au XIXème siècle et les pierres se retrouvèrent en réemploi dans de nombreux immeubles des environs.

Le site, interdit d’accès, laisse encore entrevoir l’orifice d’un puits, taillé dans le roche et dont le fond serait situé plus bas que le niveau de l’Aixette.