En 1076, le village s’appelait Granciacus. Les plus anciens vestiges médiévaux ont été découverts sur le secteur du Tomoy à l’époque Mérovingienne.
Dépendant du comté du Champagne, bailliage de Chaumont et de l’évêché de Langres, la paroisse de Grancey était un prieuré de l’Abbaye de Molesme jusqu’au XIV siècle. Du XVI au XVIII siècle, le prieuré Notre-Dame du Val des dames était un lieu de pèlerinage.
Au XIX siècle, Grancey-sur-Ource disposait d’une forge, d’une tuilerie, d’une tréfilerie, d’un moulin et de 200ha de vignes qui permirent de faire vivre 1200 habitants.
Grancey-sur-Ource à connu des évènements marquants lors de la guerre Franco-Prussienne ( d’où l’édification de la chapelle de Beauregard en 1872 ) et la Seconde Guerre Mondiale. En 1944, un important maquis s’est organisé dans le massif forestier de Grancey-Mussy. D’importants combats se sont déroulés les 2 et 3 Août 1944, de nombreux maquisards ont perdu la vie. Un monument commémoratif a été érigé au bord de la route entre Grancey-sur-Ource et Mussy-sur-Seine en mémoire de ces soldats.
Les personnalités rattachés à la commune sont principalement :
° VELLAY Julie, née le 02 Octobre 1838 à Grancey-sur-Ource, épouse de PISSARO Camille, représentée dans un certain nombre de ses tableaux.
° Général GUICHARD Paul né le 13 Octobre 1887 à Grancey-sur-Ource, engagé soldat de 2e classe à Dijon en 1908. Il gravit les échelons à travers les différentes guerres mondiales pour devenir Général en 1942. Il reçut différentes décorations notamment celle de la Chevalier de la Légion d’Honneur.
° Colonel RONDY Jean-Louis, ancien médecin militaire, Grand Officier de la Légion d’Honneur. Il a servi en Indochine, au Tchad, Centre-Afrique … Le Colonel RONDY a passé toute sa retraite à Grancey-sur-Ource.