Em 1800, Milbert embarcou na viagem de Nicolas Baudin para a Austrália. Durante a viagem, Milbert e vários outros artistas ficaram doentes, e os artistas e o capitão entraram em conflito. Isto fez com que diversos artistas, incluindo Milbert, fossem deixados na ilha Maurício, ficando a cargo de Charles-Alexandre Lesueur a produção dos desenhos científicos da viagem. Milbert voltou para a França, onde em 1812 ele publicou uma série de relatos sobre a ilha Maurício, Colônia do Cabo e Tenerife, intitulado Voyage pittoresque à l'Ile de France, au Cap de Bonne Espérence et à l'Ile de Ténériffe.[1]
Em 1815, Milbert viajou para os Estados Unidos, onde permaneceria por oito anos, vivendo em Nova Iorque, ensinando, e viajando extensivamente pelo nordeste dos Estados Unidos. Durante seu tempo lá, ele enviou de volta 48 remessas de navio com espécimes de história natural para o Museu de História Natural de Paris.
Milbert voltou à França em 20 de outubro de 1823, e começou a ensinar de novo na escola de minas. Ele publicou vários outros volumes, incluindo desenhos de suas viagens nos Estados Unidos. Ele morreu no dia 5 de junho de 1840.
Milbert foi condecorado com a Ordem Nacional da Legião de Honra e, depois de uma campanha por cientistas que haviam recebido seus espécimes, o governo concordou em pagar uma pensão a viúva de Milbert.