Per molti anni, dopo la fine della guerra civile, fu intensamente odiato dai bianchi del Sud, che gli affibbiarono il soprannome di "Maggiordomo della bestia" (Beast Butler, dove per "bestia" si intende il diavolo). Nel 1875 ripropone, dopo la bocciatura del 1871, il primo Civil Rights Act (Legge federale sui diritti civili) insieme al Senatore Repubblicano Charles Sumner.
La norma, approvata dal Senato Federale nel febbraio dello stesso anno, fu dichiarata incostituzionale dalla Corte Suprema degli Stati Uniti nel 1883.