Avec le déclenchement des hostilités, Williams part pour Prestonburg au début de 1861 et est nommé colonel du 5th Kentucky Infantry. Il sert d'abord sur le théâtre oriental, d'abord sous les ordres d'Humphrey Marshall dans le sud-ouest de la Virginie. Il participe l'invasion malheureuse de Marshall du Kentucky oriental, en 1862. Il est promu au brigadier général à la fin de 1862 et reçoit le commandement du département du sud-ouest de la Virginie.
Williams retourne chez lui après la guerre et continue à s'engager dans des activités agricoles, avec sa résidence à Winchester, Kentucky.
Il devient à nouveau membre de la chambre de l'État en 1873 et 1875. Il est candidat malheureux à l'élection du gouverneur du Kentucky en 1875, et est un électeur présidentiel pour le ticket démocrate en 1876. Il est élu au sénat des États-Unis en 1879 et sert du au . Il échoue à sa réélection et retourne à ses activités agricoles.