Créée en octobre 1971, l'association Les Vieilles Pierres a pour mission de valoriser et de sauvegarder le patrimoine architectural de Semur-en-Brionnais et plus particulièrement le château fort saint Hugues. Les travaux de restaurations du château débutent dès 1968 si bien que le monument est ouvert au public en 1970 et inscrit à l'Inventaire Supplémentaire des Monuments Historiques en 1971. Cette même année, l?association obtient le 14ème Prix National des Chantiers de Jeunes Bénévoles de la Caisse des Monuments Historiques. L'association mène également, de paire avec Rempart Bourgogne, des chantiers de jeunes bénévoles pour la restauration des peintures murales de l?église romane de Saint-Martin-La-Vallée et assure le rayonnement du village de Semur en proposant un programme d'animations culturelles chaque saison touristique. Aujourd'hui, l'association Les Vieilles Pierres est membre de REMPART. Elle participe chaque été au projet d'animation départemental du tourisme « Aventure Mômes ». Elle a également largement contribué à placer Semur parmi Les Plus Beaux Villages de France et au sein de la Fédération des Sites Clunisiens, labellisés Grand Itinéraire culturel de l'Europe