Il se présente en 2000 à l'Assemblée de l'État de New York face au démocrate Roger Green[2] mais perd les primaires démocrates[3]. Il est à nouveau candidat face à Green en 2002[2]. Il obtient le soutien du Parti libertarien et de l'Independence Party of New York(en) mais est à nouveau battu[3]. Lorsque Green se retire pour être candidat au Congrès en 2006, Jeffries est élu à sa succession[4]. Il siège à l'Assemblée de l'État de New York de 2007 à 2012[1].
En 2012, il se présente à la Chambre des représentants des États-Unis dans le 8e district de l'État de New York, majoritairement afro-américain[4]. Redécoupé avant les élections, le district s'étend sur une partie de Brooklyn et du West Side de Manhattan. Le démocrate sortant Ed Towns(en) ne se représente pas[5]. Jeffries remporte la primaire démocrate en réunissant plus de 70 % des voix face au conseiller municipal Charles Barron[4],[5],[6]. Il est élu avec 90,2 % des suffrages face au républicain Alan Bellone (8,6 %) et à l'écologiste Colin Beavan (1,2 %). Il est réélu en 2014 contre Bellone avec 92 % des voix[3].
Après les élections à la Chambre des représentants de 2022, les Démocrates perdent la majorité à la Chambre mais Jeffries est facilement réélu. De plus, les trois personnes détenant les postes les plus importants parmi les Démocrates à la Chambre annoncent renoncer à leurs fonctions dirigeantes : Nancy Pelosi, la Speaker, Steny Hoyer, le Majority Leader et Jim Clyburn, le Majority Whip. Jeffries est élu sans opposition au poste de Minority Leader, le poste le plus important quand les Démocrates sont dans la minorité à la Chambre[7],[8].
