Selon l'étymologie, Suze proviendrait du celtique "Uz" qui signifie "lieu élevé", mais l'origine de son attribut "La Rousse", est quant à elle moins certaine puisque qu'il rappellerait, soit la couleur de la pierre locale avec laquelle le château a été bâti, ou bien (et ?) la couleur de la chevelure de Marguerite des Baux. La seule certitude, c'est que le château fût le théâtre de bien des évènements depuis sa construction au XIIème siècle.

Le château de Suze-la-Rousse fut transformé ou complété à diverses reprises passant de la simple tour en bois à l'immense bâtisse actuelle. Il présente une dualité saisissante entre une architecture militaire et une architecture civile. Son aspect extérieur est celui d'une forteresse médiévale conçue pour résister aux sièges militaires. Enceinte fortifiée, créneaux, mâchicoulis sont caractéristiques d'une architecture à vocation défensive.

Derrière son aspect de forteresse militaire, le château laisse découvrir une demeure de plaisance. C'est surtout la Renaissance, comme à Grignan, qui a laissé des traces importantes notamment la cour intérieure qui est l'un des plus beaux exemples en France d'une cour à l'italienne sur arcades.

C'était à l'origine, une maison de chasse établie sur des terres données par l'empereur Charlemagne en 793 à Guillaume de Gellone, en récompense de son aide à la libération d'Orange. Les Princes d'Orange en furent les principaux gouvernants et c'est en 1173 que Tiburge d'Orange épousant Bertrand 1er des Baux, apporte en dot la terre de Suze.

Bertrand 1er y fit construire un château fort incrusté dans la roche, doté d'immenses remparts défensifs, de douves, d'un pont-levis, de créneaux, d'un puits et d'une chapelle. En 1392 l'évêque de Saint-Paul-Trois-Châteaux donne le village de Suze et son château à sa nièce Marguerite des Baux (surnommée Marguerite la Rousse) en échange d’un domaine au nord de Nyons.