Saint-Rémy et son château étaient fiefs du comté de Bourgogne, tenus en 1294 par le sire de Faucogney. En 1448, Philippe Le Bon accorda la concession d’un marché hebdomadaire et de foires annuelles pour favoriser le bourg incendié par les Ecorcheurs en 1437. Le château féodal, bâti au 13e siècle, plusieurs fois ravagé, fut démoli vers 1770. Un autre château est édifié au 18e siècle par la marquise De Rosen. Une école d’agriculture, dirigée par des moines marianistes, existait dans le château, les dépendances servant alors de ferme. Le site est racheté en 1936 par la société privée de Justin Perchot, il est un lieu privilégié pour les malades de la région parisienne, avant de devenir un hôpital psychiatrique pour les personnes de la Haute-Saône. Puis à partir de 1995, se transformer en association loi 1901 et devenir l’Association Hospitalière de Bourgogne Franche-Comté. Avec près de 2 000 employés, cet établissement représente le 2ème employeur du département.

Ce mariage dut déclarer nul en Cours de Rome mais, écrivait le cardinal Granvelle à son confident Morillon, "La Dame de Saint-Rémy est réellement la femme de Claude, autant légitimement que votre mère était celle de votre père". Nicole de Savigny se retira à la Cour de France et y devint la maîtresse de Henri II. Elle en eut un fils, Henri, époux de Chrétienne de Luz, fille de Jacques de Luz. Henri prit le titre de Monsieur de Saint-Rémy. Il le transmit à ses descendants dont la dernière disparut en 1918. Descendante en ligne directe, Jeanne de Saint-Rémy, comtesse de la Motte-Valois, fut l'instigatrice de l'affaire du collier (1784-1786) : elle mourut à Londres en 1791, après avoir publié des mémoires scandaleux et outrageants pour la reine Marie-Antoinette.
  
L'ancien château féodal fut démoli vers 1770. À proximité, Jeanne Octavie de Vaudrey, marquise de Rosen, fit construire le château actuel en 1760 et se servit des pierres de l'ancien pour construire deux bâtiments parallèles destinés à loger les détachements des régiments appartenant au comté de Rosen. Charles Louis Victor de Broglie, maréchal de camp, chef d'état-major de l'armée du Rhin, refusa de reconnaître le décret du 10 août 1792. 

Suspendu de ses fonctions, il se retira au château de Saint-Rémy où il fut arrêté avec sa femme Sophie Rose de Rosen et mourut à Paris sur l'échafaud le 27 juin 1794. Un an après, sa veuve épousa Marc René de Voyer, marquis d'Argenson, et obtint la levée du séquestre mis à tort sur ses biens. Mais elle ne revint pas à Saint-Rémy et laissa le château et le domaine à l'abandon. Ils furent acquis en 1823 par le P. Chaminade, fondateur de la Congrégation des Frères de Marie ou Marianistes, qui y installa une école normale pour former des instituteurs. Elle fut transformée en école d'agriculture à laquelle s'adjoignit une ferme-école en 1851, puis devint, en 1877, Ecole Pratique d'Agriculture.

En 1828, les Marianistes y avaient aussi fondé une école secondaire libre. Les deux établissements connurent la prospérité et étaient renommés pour les deux branches d'enseignement qu'ils dispensaient. Ils furent fermés en 1903, en vertu des lois sur les congrégations. Depuis 1937, un hôpital psychiatrique leur a succédé.

L'église de St Rémy-en-Comté

Elle est dédiée à l'évêque Saint Remi de Reims (qui converti au Catholicisme et sacre le premier roi de France Mérovingiens Clovis Ier, et 3000 guerriers francs de son armée des Invasions "barbares", à la Basilique Saint-Remi de Reims vers 500).

L'église de Saint-Rémy fut reconstruite en grande partie dans le courant du 18e siècle dans un style Classique. La seigneurie appartenait alors à la famille de Rosen. Une date de 1760 figure sur une fenêtre du château et la décoration du chœur de l'église semble postérieure à cette date et est de style Louis XVI.

L'édifice est décoré d'une série de sept vitraux remarquables, et de quelques éléments du mobiliers, boiserie, et ferronnerie, Art chrétien..., en partie classés aux monuments historiques en 1971.

Le maître-autel de forme tombeau à décor de draperies, le tabernacle et les panneaux de boiseries sculptés d'emblèmes religieux suspendus à des rubans sont de belle qualité. La table de communion (grille de communion) en fer forgé date du milieu 18e siècle.