Arzela kwam uit een arm gezin. Om die reden was hij pas in 1871 (hij was toen 24) in staat met zijn studie te beginnen. Hij studeerde in Pisa bij Enrico Betti en Ulisse Dini. Na werkzaam te zijn geweest in Florence (vanaf 1875) en Palermo (vanaf 1878) werd hij in 1880 aan de Universiteit van Bologna tot hoogleraar in de analyse benoemd. Hij verrichtte onderzoek op het gebied van functionaalanalyse. In 1889 veralgemeende hij de stelling van Ascoli tot de stelling van Arzelà-Ascoli, een belangrijke stelling in de functionaalanalyse.