La première muraille construite date du XIIIème siècle, à laquelle fut ajoutée au XIVème la Tour carrée du Saffre lors de la refonte de l'enceinte qui donne encore aujourd'hui sa forme au coeur du vieux Buis. De la même époque date la place des arcades et la tour dite pour simplifier "tour de la gendarmerie". Celle qui abrite l'Office de tourisme est légèrement plus ancienne.