La reconstruction du château actuel fut commencée au début du Xve siècle par la famille de Seyssel. Des aménagements se sont succédés jusqu'à la fin du XVIIe siècle avec en particulier l'escalier édifié un peu avant 1600. Ce dernier a été conçu selon un plan Renaissance mais dans le style gothique flamboyant en usage dans la 1ère moitié du XVIe siècle.
Le château accueillit la Société du Cercle de 1824 à 1849. il fut finalement acheté par la ville en 1866 pour y installer les bureaux de la Mairie. L'ensemble a été classé Monument Historique en 1890 et connut alors plusieurs modifications dont le bâtiment au nord de l'escalier qui sert aujourd'hui d'accueil pour la Mairie.