Warren si diplomò nell'Accademia Militare degli Stati Uniti nel 1850, conseguendo i gradi di sottotenente (second lieutenant) nel Corpo del Genio Topografico. Negli anni precedenti alla Guerra di secessione americana lavorò sul fiume Mississippi, per il rilevamento ferroviario transcontinentale, e mappò la parte occidentale del Trans-Mississippi. Allo scoppio della guerra ricevette un brevetto da Tenente Colonnello dei Volontari del 5º Reggimento dei Volontari di Fanteria di New York e più avanti fu promosso Colonnello e comandante di Reggimento.
Promosso generale di brigata nel settembre 1862, servì come Comandante del Genio Topografico e quindi come Comandante del Genio Militare nell'Armata del Potomac.
Il secondo giorno della battaglia di Gettysburg, 2 luglio 1863, Warren organizzò la difesa del Little Round Top, avvedendosi dell'importanza di quella posizione indifesa e indirizzando, di sua propria iniziativa, la Brigata del Colonnello Strong Vincent ad occuparla, proprio pochi minuti che essa fosse aggredita. Warren ricevette una ferita non grave al collo durante l'assalto confederato.
Nella Battaglia di Five Forks (delle Cinque Strade) nell'aprile 1865, il maggior generale Philip Sheridan lo sollevò dal comando per una sua azione contro le trincee sudiste che a Sheridan apparve troppo lenta. Una Corte d'inchiesta più tardi lo assolverà da ogni accusa di negligenza, ma tale assoluzione intervenne quando Warren era ormai deceduto. Warren servì nel Corpo del Genio dopo la guerra, assegnato lungo il fiume Mississippi. Morì a Newport (Rhode Island) e fu sepolto lì, a sua richiesta, in abiti civili e senza le decorazioni militari.