Philippe de Savoie, prince apanagé, fils d'Amédée VIII de Savoie, est à l'origine du chantier de construction de la Tour et du logis Perrière. Pour le rendre possible, on a agrandi l'enceinte castrale. Le chantier est en cours en 1445. Il s'achève sous le rège de Janus de Savoie à la fin du 15e siècle.

Le logis abritait l'administration de l'apanage du duc de Genevois-Nemours. Une salle de réception utilisée notamment pour les repas des officiers est attestée par des documents d'archives. A côté se trouvait une chambre de parement tandis qu'au rez-de-chaussée se tenait la "Maistrie et recepverie des comptes" jusqu'au moment de l'installation de la Chambre des comptes au Palais de l'Ile vers 1550.

A l'intérieur, au second étage, un décor peint par un artiste anonyme au-dessus d'une cheminée, présente dans un cartouche, une vue du lac, de la ville et du château qui peut être considérée comme la plus ancienne repésentation de ce motif. Dix-sept couches d'enduit peint ont été mises au jour sur les murs de cette pièce lors de la restauration du logis (1988-1990) laissant entrevoir les décors successifs de cette pièce du 15e au 20e siècle.