Des vestiges de voie romaine et d'un établissement gallo-romain ont été retrouvés à Flagy. Au Moyen Age, le village et sa seigneurie appartiennent à Claude de Pontailler. En 1596, ils sont entre les mains de Claude de Vergy. De l’ancien château fort, il ne reste que des dépendances à l’est du village, qui a aurait été détruit en 1595 par le lorrain Tremblecourt à la solde d’Henri IV. Au centre du village, le lavoir, construit en 1850, a la particularité d'être surmonté d'une croix. Cette croix matérialise l'emplacement de l'ancienne église remplacé en 1847 par l’église Saint-Barthélémy construite à proximité. En 1847, lorsqu’on creusa les fondations de la tour de l’église on découvrit au-dessus d’un cercueil une centaine de monnaies françaises, allemandes ou espagnoles datant de 1550 à 1630.

Dans le village, sur la départementale n°6 en direction de Varogne, une maison avec sa tourelle semi-engagée dans la façade comprenant un escalier en vis en pierre date de 1622. Les bâtiments actuels de la ferme d’Aigrevaux sur le territoire de la commune n’ont rien conservé de l’ancienne maison forte, dépendant de l’arrière-fief de la seigneurie de Flagy, qui avait ses propres seigneurs.