Il commence à travailler dans des séances d'enregistrement au début des années 1960. Après avoir participé au fameux morceau Candy Man, de Roy Orbison, Charlie McCoy devient un des instrumentistes les plus demandés à Nashville avec parfois 400 enregistrements par an. Depuis quelques années, cependant, il réduit singulièrement le nombre de ces sessions afin de se consacrer à des tournées au Japon et en Europe en plus de celles aux États-Unis.
Charlie McCoy réalise d'abord des albums sous le label Monument Records à la fin des années 1960 : après The Real McCoy, sorti en 1969, onze autres albums paraissent sous ce label. Il obtient ainsi de nombreuses distinctions, dont un Grammy Award. Et, malgré les années, il reçoit toujours des nominations.
En plus de son travail pour ses propres albums, Charlie McCoy est membre de deux groupes légendaires à Nashville : Area Code 615 et Barefoot Jerry. Il est aussi reconnu pour ses capacités à jouer de nombreux instruments, autres que l'harmonica : guitare, basse, batterie, piano, etc.
En 1982, le label Monument Records met fin à son activité, et Charlie enregistre, avec son groupe, One for the road, en 1986. Il enregistre ensuite quatre albums sous le label Step One Records.
Depuis, Charlie McCoy fait régulièrement des tournées en Europe et au Japon, et il a réalisé plusieurs albums avec des compagnies danoises, françaises, et allemandes.
En 2011, il participe à l'enregistrement de Back to Lovecraft, un album composé de poésies de l'auteur H.P. Lovecraft, adaptées en musique folk et country. La même année il enregistre des cours d'harmonica en vidéos[1], pour le site Imusic-school.
Distinctions
Grammy Award 1973 The Real McCoy album ;
CMA Awards 1972-1973 « Instrumentalist of the Year » ;
Academy of Country Music 1977,'78,'79,'80,'81,'83,'88 « Instrumentalist of the Year » ;
