Nato in Arkansas, Davis si trasferì nell'Illinois per gli studi e dopo la laurea lavorò come insegnante. Ben presto si dedicò alla politica come membro del Partito Democratico e nel 1984 cercò l'elezione alla Camera sfidando la deputata democratica Cardiss Collins. Davis venne sconfitto e ci riprovò due anni dopo, perdendo nuovamente contro la Collins.
Nel 1991 provò a farsi eleggere sindaco di Chicago, ma anche stavolta venne sconfitto nelle primarie democratiche. Davis quindi operò nella politica svolgendo piccoli incarichi locali, fino a quando nel 1996 la Collins decise di ritirarsi. Davis quindi si candidò di nuovo per il seggio e riuscì a vincere. Da quel momento venne sempre riconfermato dagli elettori con alte percentuali di voto.