Comme à Saint-Vincent ou à Barbières, l'étroite gorge était dominée au Moyen Age par un château qui en contrôlait l'accès. Au site perché du château de Rochefort répondait en contrebas celui de Samson, où une église est signalée en 1046. Le château de Rochefort a été détruit au cours des Guerres de Religion et il n'en subsiste que quelques vestiges. Le village a conservé en remploi quelques fenêtres à meneaux.

Les vestiges du château de Rochefort, datant du Moyen-Age, sont situés sur la colline à l'entrée du village. Bien visibles de la plaine et accessibles par un sentier pédestre, ils comportent notamment un mur d'enceinte, un fossé et une partie du donjon, percée de deux meurtrières. La cour du donjon est pourvue d'une table d'orientation en pierres de lave qui permet de découvrir un vaste panorama.

Les deux télescopes du club d'astronomie "Alpha-Centaure" se trouvent au-dessus du premier mur d'enceinte.