En 1814, il se trouve à Anvers lorsque la ville est encerclée pendant la guerre de la Sixième Coalition. Il s'échappe de la ville et passe au service de l'armée britannique(en) : il est nommé lieutenant du génie. Il est présent à la bataille de Waterloo et accompagne les armées alliées jusqu'à Paris où il réalise des dessins du bois de Boulogne. Au Nouvel An de 1816, il décide de quitter l'armée et de reprendre sa carrière d'artiste à Londres.
Charles Darwin lui demande de réaliser des images des fossiles qu'il avait ramenés d'Amérique du Sud mais ils ne tardent pas à se brouiller, Darwin trouvant les tarifs de Scharf trop onéreux[2]. Au contraire, Scharf pense être mal payé et gagner sa vie moins bien que certains artistes comme Charles Joseph Hullmandel. En 1836, il doit se retirer de la Société des aquarellistes parce qu'il n'arrive plus à payer la cotisation mensuelle de 5 shillings. Cependant, à partir de 1834 et probablement grâce à la protection de Richard Owen, il obtient l'autorisation de peindre les animaux du Zoo de Londres et de vendre ses lithographies à l'entrée. En 1836, il vend 441 images en noir et blanc et 205 en couleurs. S'il ne peut pas assurer l'abondance à ses enfants, il leur permet au moins d'assister aux conférences des plus grands savants londoniens de son temps[3].
De 1845 à 1848, Scharf retourne dans sa Bavière natale et séjourne à Mainburg, Munich et Ratisbonne avant de revenir à Londres. Ses dernières années sont marquées par des difficultés financières. Il meurt le à sa maison du 29, Great George Street, à Westminster ; il est enterré au cimetière de Brompton.
Il est le père de l'illustrateur et critique d'art George Scharf (1820-1895) et de l'acteur Henry Scharf(en) (1822-1887).