Fernand memiliki dua orang saudara laki-laki dan satu saudari perempuan.[2] Meskipun Ayahnya bekerja sebagai akuntan, ia dan istrinya adalah seniman amatir dan sering tampil dari panggung ke panggung.[2] Saat muda Fernand bekerja di sebuah Bank, tetapi tak lama kemudian dipecat.[2]
Menyadari bahwa hidup sebagai ekonomi kelas menengah tidak menyenangkan, Fernand mulai berkarier sebagai seorang seniman dan sering tampil di kafe-kafe sebagai penyanyi.[2] Untuk memenuhi kebutuhan hidup, Fernand bekerja sambilan di sekitar kota Mersailles.[2] Termasuk bekerja sebagai buruh di palabuhan dan karyawan di sebuah pabrik tekstil. Pada 1925, diusia 22 tahun, Fernandel menikah dengan Henriette Manse, adik perempuan sahabatnya.[2] Dengan pernikahannya Henriette, mereka dikaruniai tiga anak bernama Josette, Janine, dan Franck.[2] Fernandel adalah seorang yang sangat perhatian terhadap istri dan keluarganya sehingga Ibu mertuanya menjuluki Fernand d’elle. Nama tersebut dikemudian hari dijadikan sebagai nama panggungnya, Fernandel.[2]
