La forteresse remonterait à l'époque carolingienne mais ce sont les Damas qui lui donnent sa forme actuelle dès le XIème siècle et y établissent le siège de leur puissance.
Couzan demeure un remarquable monument de l'architecture militaire féodale. De nombreux vestiges subsistent: les hautes murailles, la citadelle, la Tour des Arrêts, les anciens cachots, la capitainerie, la basse-cour.
Sa chapelle romane (XIIème siècle) dédiée à St Saturnin est classée Monument Historique.