Le Puy-Notre-Dame doit son nom à un prieuré roman dédiée à la Vierge, qui accueillait les pèlerins descendant vers Compostelle et ceux venus vénérer la relique de la Sainte-Ceinture de la Vierge. En 1481, Louis XI installe un collège de chanoines. C’est le siècle d’or : le commerce prospère du vin et les beaux logis en tuffeau du XVIe siècle, destinés à l’habitation des chanoines, forgent l’identité de la cité.