Zijn muzikale loopbaan begint als hij op 19-jarige leeftijd John Coltrane hoort spelen. Hij koopt direct zijn eigen saxofoon en al na drie weken belandde hij in het jazzkwartet Sphere uit de omgeving van Salisbury. Sphere brengt in de jaren 1970-1979 een aantal muziekalbums uit en toert over de gehele wereld. In plaats van zich te vestigen in Londen verhuisde hij naar Parijs alwaar hij kennismaakt met de bands Lumiere en Urban Sax. Midden jaren 80 remigreerde hij en in 1987 verscheen zijn eerste album onder eigen naam; medewerkenden waren de saxofonist Randy Becker en Steve Swallow (bas), de laatste trad op als producer.
Daarna trok Sheppard van muziekgezelschap naar muziekgezelschap. Allereerst George Russell met Living Time Orchestra, daarna Gil Evans, zijn eigen Soft on the Inside Band, In Co-Motion, Big Co-Motion. En wie met Steve Swallow speelde komt meestal ook in aanraking met Carla Bley en zo belandde Sheppard voor een muziekalbum bij ECM Records, de maatschappij waar de muziek van zowel Swallow als Bley wordt uitgebracht.
Discografie
Eigen naam
Andy Sheppard (1987), met Randy Brecker, Dave Buxton, Dave Defries, Paul Dunmall, Nick Evans, Simon Gore, Mamadi Kamara, Pete Maxfield, Orphy Robinson, Rick Smith, Jerry Underwood
Introductions in the Dark (1989), met David Adams, Dave Buxton, Simon Gore, Mamadi Kamara, Steve Lodder, Pete Maxfield, Orphy Robinson, Chris Watson
Soft on the Inside (1990), met Han Bennink, Chris Biscoe, Dave Buxton, Claude Deppa, Simon Gore, Pete Hurt, Mamadi Kamara, Steve Lodder, Pete Maxfield, Ernst Reijseger, Kevin Robinson, Orphy Robinson, Gary Valente, Mano Ventura
In Co-Motion (1991), met Claude Deppa, Steve Lodder, Sylvan Richardson, Jr., David Adams
Rhythm Method (1993), met David Adams, Julian Argüelles, Claude Deppa, Steve Lodder, Sylvan Richardson Jr., Kevin Robinson, Ashley Slater, Jerry Underwood, Gary Valente
Delivery Suite (1994), met David Adams, Julian Argüelles, Claude Deppa, Steve Lodder, Sylvan Richardson Jr., Kevin Robinson, Ashley Slater, Jerry Underwood, Gary Valente
Inclassifiable (1995) - Andy Sheppard, Steve Lodder en Nana Vasconcelos
Moving Image (1996) - Andy Sheppard en Steve Lodder, met Dudley Philips, Mark Mondesir, Johnny Taylor, Richard Ajileye, Bosco d'Olivera
Learning to Wave (1998), met Paul Clarvis, Chris Laurence, Steve Lodder, John Parricelli, Sharda Sahai
Dancing Man & Woman (2000), met Kuljit Bhamra, Paul Clarvis, Steve Lodder, Chris Laurence, John Parricelli, Steve Swallow
Nocturnal Tourist (2001), met John Parricelli
Music for a New Crossing (2001) - Andy Sheppard en Kathryn Tickell
