L'emplacement de l'ancien Musée rend hommage aux deux co-fondateurs du Musée de Préhistoire, James Miln et Zacharie Le Rouzic.

James Miln de Woodhill(1819-1881) a parcouru le monde avant de s’installer à Carnac. Passionné d’« antiquités », il entend comparer les mégalithes carnacois à ceux de son Écosse natale. De 1873 jusqu’à sa mort, il mène des fouilles archéologiques dans la région, notamment sur les Alignements de Kermario, au pied du Tumulus Saint-Michel et sur une dizaine d’autres monuments mégalithiques. Il engage Zacharie le Rouzic, Carnacois, pour porter son matériel et l'aider dans ses fouilles. Dès 1875, une présentation sommaire des objets trouvés lors des fouilles occupe sa chambre à l’Hôtel des Voyageurs, dans le bourg de Carnac, avant de rejoindre une salle de la mairie. Un an après sa mort, son frère Robert Miln fait construire le Musée et fait don du bâtiment et des collections à la Ville de Carnac. Se passionnant pour l'archéologie et la préhistoire, autodidacte formé sur le terrain, Zacharie Le Rouzic prend la suite de J. Miln. Il fouille et obtient l'inscription de nombreux mégalithes aux Monuments historiques.