En su juventud, Sheremétev fue paje del zarAlejo I antes de empezar su carrera militar. Desde 1671 sirvió en la corte imperial. En 1681, fue nombrado oficial en Tambov, al mando de los ejércitos que combatían al Kanato de Crimea, siendo nombrado boyardo en 1682.
Entre 1697 y 1699, tuvo a su cargo misiones diplomáticas en Polonia-Lituania, Austria, Italia y Malta (enviado por el zar a los Orden de Malta para a estudiar las instalaciones y maniobras de la orden de los caballeros y su poderosa flota naval. A su vez, estudió la posibilidad de llevar a cabo campañas conjuntas contra los turcos y la posibilidad de establecer una futura base naval rusa.[1]
En la Gran Guerra del Norte
Durante la Gran Guerra del Norte demostró ser un capaz y prudente comandante militar. Era el oficial más veterano durante la guerra, y a pesar de su aparente inactividad, fue más efectivo que el joven Aleksandr Ménshikov, el segundo al mando, cuya impulsividad no siempre tenía éxito.
En 1700, se unió al ejército imperial en su ataque a Narva al comienzo de la guerra, pero tuvo que retirarse de sus posiciones estonias ante Carlos XII de Suecia. Sería entonces nombrado comandante de las tropas rusas que combatían a las tropas suecas en las provincias del Báltico.
Sheremétev sería seguidamente derrotado por Wolmar Anton von Schlippenbach en Rauge en 1701 aunque más tarde le vencería en la batalla de Erastfer. Esta victoria le acarrearía el nombramiento como mariscal de campo, y sería continuada con otra victoria en la batalla de Hummelshof de 1702.
Luego tomó las fortalezas de Nöteborg y Nyenskans en 1703 (con lo que permitió la fundación de la ciudad de San Petersburgo), y las importantes ciudades de Dorpat y Narva en 1704. En 1705, fue enviado a Astracán donde reprimiría por la fuerza la rebelión de Astracán.
Más tarde, durante la misma Gran Guerra del Norte, Sheremétev combatió contra el general sueco Adam Ludwig Lewenhaupt, que le venció en la batalla de Gemauerthof en 1705, y Carlos XII, que le vencería en la batalla de Holowczyn. Su venganza llegaría con la batalla de Poltava, donde sería el comandante ruso más veterano y en la que derrotó ampliamente al ejército sueco.
En 1710, sus tropas conquistaron Riga, lo que coincidió con el exitoso sitio de Víborg liderado por el zar Pedro I. Conduciría luego al grueso del ejército en la campaña del Prut, contra los turcos en 1711 en la que fue rodeado. En 1715, estuvo al mando de los ejércitos rusos en Pomerania y Mecklemburgo.
Aunque era partidario de las iniciativas occidentalizadoras del Zarato ruso de Pedro, nunca fue un íntimo del zar. Murió en 1719 en Moscú y está enterrado en San Petersburgo.