Arago lahir di Estagel, sebuah desa kecil dari 3000 penduduk[4] dekat Perpignan, di départementPyrénées-Orientales, Prancis, dimana ayahnya menduduki jabatan Bendahara Mint.
Arago adalah anak sulung dari empat bersaudara. Jean (1788–1836) berpindah ke Amerika Utara dan menjadi jenderal dalam angkatan darat Meksiko. Jacques Étienne Victor (1799–1855) ikut dalam perjalanan Louis de Freycinet di Uranie dari 1817 sampai 1821, dan pada saat kepulangannya ke Prancis, ia memutuskan untuk masuk jurnalisme dan drama. Saudara keempatnya, Étienne Vincent de (1802–1892), dikatakan berkolaborasi dengan Honoré de Balzac dalam The Heiress of Birague, dan dari 1822 sampai 1847 menulis sejumlah besar karya dramatis terang, yang kebanyakan merupakan kolaborasi.[5]
