La Tour de l'Isle intégrée au musée, haute de 30 mètres et pourvue de mâchicoulis, fut construite à partir de 1381 et achevée vers 1418. Les consuls la choisirent pour y organiser les réunions du Conseil et elle devint le premier hôtel de ville de Grenoble. Les archives de la ville furent déposées à l'étage. A l'arrivée de Lesdiguières, la tour fut transformée en arsenal. Les consuls durent s'installer ailleurs. Elle fut, de 1887 à 1954, un pigeonnier militaire, dans lequel plus de 300 volatiles furent hébergés.