Le château de Rochefort est bâti au XIIème siècle à la demande de l'archevêque de Lyon contre le comte du forez pour lui barrer la route de l'Auvergne. Tombé en 1180 dans la suzeraineté des comtes de Forez, le système défensif du château de Rochefort est renforcé afin de se défendre contre les barons de Couzan. Le château est démantelé en 1596.
Aujourd'hui demeure un pan de murailles percé d'un portail en plein-cintre à côté de l'église.