Muhammad spielte seit dem sechzehnten Lebensjahr Schlagzeug, zunächst in lokalen Tanzbands. Er nahm auch mit Fats Domino auf (Blueberry Hill) und begleitete dann Larry Williams, Lloyd Price, Sam Cooke, Jerry Butler und andere R&B- bzw. Soulmusiker. Seit 1967 arbeitete er in den Soul-Jazz-Formationen von Lou Donaldson (Alligator Boogaloo), Gene Ammons, George Benson, Charles Earland (Black Talk), Grant Green und Charles Kynard. Darüber hinaus war er an den Broadway-Aufführungen von Hair beteiligt sowie ab 1970 Hausdrummer des Prestige-Label. In dieser Zeit legte er zwei wichtige Alben unter eigenem Namen vor (Black Rhythm Revolution 1970, Peace and Rhythm 1971). Nachdem er Mitte der 1970er Jahre drei Fusion-Alben für Creed Taylors Label Kudu aufgenommen hatte (Power of Soul, House of the Rising Sun und Turn This Mutha Out) entstand um 1980 für das Avantgarde-Label Theresa das Album Kabsha mit George Coleman, Pharoah Sanders und Ray Drummond; 1998 folgte das Improvisations-Projekt Right Now mit Gary Bartz, George Coleman, Joe Lovano und Curtis Lundy.
Wie andere schwarze Jazzmusiker konvertierte Muhammad in den 1960er Jahren zum Islam und änderte seinen Namen. 1966 heiratete er Dolores „LaLa“ Brooks, ein ehemaliges Mitglied der US-amerikanischen Mädchen-Gesangsgruppe The Crystals. Auch sie trat zum Islam über und nahm den Namen Sakinah Muhammad an. Mit ihr wurde Idris Muhammad Vater zweier Söhne und zweier Töchter; die Ehe wurde 1999 geschieden.
Seine AutobiografieInside The Music: The Life of Idris Muhammad erschien 2012.[4]