Datant du XIIe siècle, elle est une des premières chapelles de Crest. La lecture des parois intérieures permet de comprendre l'histoire de cette chapelle, creusée dès la fin du XIe à même la crête rocheuse. Les colonnes engagées sont taillées dans la roche.
En 1571, elle fut donnée aux Cordeliers, puis achetée par la ville qui la prêta aux Francs-maçons de Crest.
La chapelle subit de gros dégâts suite aux guerres de religion, notamment un incendie dont on peut voir encore les traces.
En 1592, les Cordeliers deviennent propriétaires de cet ancien couvent ; ils quittent la rive gauche de la Drôme et s'installent en rive droite. Ils reconstruisent la chapelle et établissent leur couvent. Un dortoir est créé ouvrant sur un fortin et un chemin de ronde surmonte le cœur. A la Révolution française, elle devient propriété des francs-maçons. En 1804, et jusqu'en 1972, les Sœurs Trinitaires de Valence y fondent un couvent, un pensionnat et une école. La salle de classe remplaçait les cellules des moines et ouvrait sur une terrasse d'où l'on peut admirer les toits de Crest.
En 1979, les Amis du Vieux Crest rachetèrent la chapelle.
Les escaliers des Cordeliers étant, eux aussi, directement taillés dans la crête rocheuse.
Elle est inscrite aux Monuments historiques dès 1986.
Les arcades ogivales extérieures, qui servaient probablement de cloître, ont été réalisées par les Cordeliers.