Les fortifications sont mentionnées en 1295 dans la transaction passée entre le prieur Falcon Verd et le coseigneur laïc Briand de Rochebaron, seigneur de Montarcher. Elles semblent alors récemment établies par le prieur parce qu'elles lui appartiennent et que le contrat définit les règles de leur utilisation et de leur entretien: les 2 seigneurs ont en commun le droit de tenir garnison, d'ordonner le guet, de faire sonner de la tropme et de lever une redevance, le vingtain, destinée aux fortifications.
En 1362, une partie des fortifications est détruite et le clocher incendié par deux hommes qui demandèrent aussitôt leur pardon au roi Jean le Bon. Les dommages sont réparés sans doyte dès la fin du XIVème siècle, travux que le dessin de Revel, au milieu du XVème siècle, permet de mesurer en partie: la tour nord-ouest à mâchicoulis, les hourds du clocher et la porte ouest surmontée d'une tourelle en encorbellement sont attribuables à cette campagne. Devant la porte ouest, la place du Rastel ou de l'Orme est alors protégée par une palissade en bois. Le noyvel accord de coseigneurie passée en 1451 stipule l'interdiction d'ouvrir des jours extérieurs dans les remparts sans l'accord des juges communs. La porte semble avoir été fortement remaniée lors de la reconstruction de la maison seigneuriale à la fin du XVème siècle ou au début du XVIème siècle. En 1762, le curé de la paroisse mentionne encore l'existence des murs, des fossés, des deux portes et de 4 tours, mais sur le plan cadastral de 1824, les portes sont détruites et il ne reste que 2 tours: les fortifications ont sans doute souffert de l'incendie de 1787 qui détruisit la plupart des maisons du bourg. La tour sud-est a été démolie dans le courant du XIXème siècle.