L'église actuelle serait établie sur le lieu de sépulture du premier évêque connu de Poitiers, saint Hilaire, mort en 367 ou 368. D'abord simple oratoire ou petite chapelle, plusieurs fois reconstruit, cet édifice commémoratif prend à l'époque romane (XIe siècle) son ampleur maximale. Le développement de la partie orientale est particulièrement remarquable, avec les six absidioles articulées autour du chevet et des bras du transept.
Implanté côté nord, le clocher constituait autrefois l'entrée privilégiée de l'édifice, accueillant fidèles de la ville ou pèlerins en marche, désireux d'honorer les reliques de saint Hilaire. Etape importante sur la Via Turonensis (la voie de Tours, le plus septentrional des chemins de Compostelle en France), l'église Saint-Hilaire-le-Grand a bénéficié à cet égard d'un classement au Patrimoine Mondial de l'Unesco en 1998, parmi 77 autres sites culturels et naturels liés au pèlerinage compostellan.
En grande partie détruite durant la Révolution, la nef a été restituée dans les années 1870, ainsi que la façade.

Hilaire, originaire de Poitiers, est devenu évêque au milieu du ive siècle. Il a été le grand défenseur, en Gaule, de la foi chrétienne orthodoxe qui s'opposait alors à l'arianisme triomphant. Il avait fait construire pour sa sépulture, hors les murs, dans le cimetière sud de la ville, une chapelle dédiée aux saints Paul et Jean, martyrs romains morts en 362. Il y fut enterré entre son épouse et sa fille, Sainte Abre.