L'ancien hôtel des abbés de Cluny, situé rue de Cluny, fut construit d'abord en 1340, pour Pierre de Chalus, abbé de Cluny-en-Bourgogne. Il fut reconstruit ensuite, de 1470 à 1510, tel qu'il est aujourd'hui. En 1833, un collectionneur Alexandre du Sommerard logea à Cluny et y réunit ses collections d'objets d'art du Moyen Age et de la Renaissance.

A sa mort en 1842, l'Etat acheta l'immeuble et ses collections et y installa un musée inauguré en 1844. Remarquable exemple de style gothique flamboyant l'hôtel de Cluny est la seule grande demeure privée du quinzième siècle, avec l'Hôtel de Sens, qui subsiste à Paris, quoique avec d'importantes restaurations.

Le musée comporte trente quatre salles (vitraux anciens), Moyen-Age et Renaissance (peintures, sculptures, tapisseries, dentelles, vêtements, bijoux, bronzes, émaux, ivoires, faïences, ferronneries, armes, etc...). A visiter, les Bains des Thermes gallo-romains qui occupaient l'ancien emplacement de l'Hôtel.