Carroll studerade statsvetenskap och juridik vid University of Kentucky. Efter avslutade studier tjänstgjorde han i USA:s flygvapen och inledde sedan sin karriär som advokat.[2]
Carroll tillträdde 1971 som Kentuckys viceguvernör.[3] År 1974 efterträdde han sedan Wendell Ford som guvernör och efterträddes 1979 i guvernörsämbetet av John Y. Brown, Jr.[4] Han kandiderade utan framgång i demokraternas primärval inför guvernörsvalet 1987.[5]
