Entré chez Mercedes en 1936 en tant qu'ingénieur, Karl Kling dispute ses premières compétitions peu avant le déclenchement de la Seconde Guerre mondiale, au cours de laquelle il officiera au sein de la Luftwaffe.
À la fin des hostilités, il reprend sa carrière de pilote et remporte à deux reprises le championnat d'Allemagne des voitures de tourisme sur une Veritas (totalisant une dizaine de succès avec cette marque en catégorie 2-Litre Sport entre 1948 et 1949, après quelques victoires sur BMW 328 lors des deux saisons précédentes, toujours en 2L). En 1950, Mercedes, qui prépare son retour progressif au sport automobile, fait de lui l'un de ses pilotes officiels. En 1952, il participe ainsi aux premiers grands succès internationaux d'après-guerre de la marque à l'étoile, notamment au Grand Prix de Berne Sport et surtout lors de la Carrera Panamericana 1952 avec Hans Klenk sur Mercedes-Benz 300 SL (W194), puis lors du Championnat du monde de Formule 1 de 1954 il est incorporé à l'équipe de Grand Prix. Au volant de la Mercedes W196 il obtient plusieurs places d'honneur sans jamais réussir à s'imposer, montrant alors quelques limites face à ses coéquipiers Juan Manuel Fangio et Stirling Moss. En Sport il gagne cependant encore en le Grand Prix de SuèdeGT sur la 300 SL, puis il termine deuxième de la Targa Florio et troisième du RAC Tourist Trophy.
Fin 1955 Kling prend sa retraite de pilote et est nommé par le directoire de Mercedes à la tête de la direction sportive de la marque en remplacement de Alfred Neubauer. Mercedes ayant décidé de se retirer des courses internationales sur circuit fin 1955 à la suite du drame des 24 Heures du Mans, c'est surtout dans les épreuves de type rallye ou rallye-raid que Kling exerce ses nouvelles fonctions.