van der Waals lahir di Leiden, Belanda, sebagai putera Jacobus van der Waals dan Elisabeth van den Burg. Ia menjadi guru sekolah, dan kemuian diizinkan belajar di universitas, karena kurangnya pendidikan dalam bahasa-bahasa klasik. Ia belajar dari 1862 hingga 1865, mendapat gelar dalam matematika dan fisika. Ia menikah dengan Anna Magdalena Smit dan memiliki 3 putri dan 1 putra.
Pada 1866, ia menjadi direktur sekolah dasar di den Haag. Pada 1873, ia mendapatkan gelar doktor di bawah Pieter Rijke atas tesisnya yang berjudul "Over de Continuïteit van den Gas- en Vloeistoftoestand" (Pada Kontinuitas Keadaan Gas dan Cair). Pada 1876, ia diangkat sebagai profesor pertama di Universitas Amsterdam.
