Le bourg s’est constitué le long de la rivière la Superbe à partir de trois villages : Mont-Sainte-Marie, Le Magny et L’Aître.

Ce dernier site prend de l’importance, quand au 12^e siècle, les Comtes de Bourgogne décident d’y construire un château fort qui perdurera jusqu’au 17^e siècle.

Pour protéger la demeure seigneuriale, on érige des fortifications qui englobent alors une véritable ville avec échoppes, halles, et maisons particulières.

Le centre ancien possède encore de belles demeures bourgeoises du 16^e siècle comme la maison Bûcheron ou la maison Maignien, typiques de l’architecture comtoise de la Renaissance.

Près de l’église reconstruite en 1721 et de l’ancien presbytère, on distingue encore le tertre de l’ancien château démantelé pendant la Guerre de Dix Ans, avec ses fossés et l’emprise du donjon.

En 1477, après la défaite de Nancy, Jacques de Neuville qui servait dans les armées de Charles le Téméraire, fit vœu de finir ses jours dans la solitude.

Son choix se porta sur un endroit champêtre, éloigné de villages, maisons et grands chemins, près d’une belle fontaine d’eau vive et claire, entre Provenchère et Villers-sur-Port dans le canton de Port-sur-Saône.

Cette eau, raconte la tradition locale, qui sortait du pied d’un grand chêne au fond duquel on trouvait des images de la vierge et de Saint-Antoine, avait le pouvoir de guérir les fièvres et autres maladies, si bien que la population locale vénérait autrefois ce lieu communément appelé Notre-Dame de la Fontaine Saint-Antoine.