Był Abisyńczykiem, który trafił do Rosji jako niewolnik, ale dzięki mądrości i odwadze stał się ulubieńcem cara Piotra I i otrzymał szlachectwo. Kształcił się we Francji, walczył w wojsku Ludwika XV przeciwko Filipowi V i został awansowany na kapitana. We Francji przybrał nazwisko Hannibal na cześć kartagińskiego wodza Hannibala. Wrócił do Rosji trzy lata przed śmiercią cara i kiedy córka Piotra, caryca Elżbieta przejęła władzę, został mianowany generałem i gubernatoremTallinna.
Ożenił się dwukrotnie: pierwszą żoną była Greczynka Ewdokia Dioper, z którą miał córkę. Z drugą – Christiną-Reginą Scherberg miał pięcioro dzieci; jeden z synów Osip, miał córkę Nadieżdę, matkę Aleksandra Puszkina.