Pada masa kerja pertamanya di pulau ini (1809–1813), ia menjalin hubungan dengan seorang perempuan Jepang dan keduanya dikaruniai seorang anak (meninggal tahun 1813).
Setibanya Dejima untuk kedua kali pada bulan Agustus 1817, ia didampingi istrinya, Titia Bergsma (menikah tahun 1815); putranya, Johannes; Petronella Muns, seorang ibu susu Belanda; dan seorang pembantu Indonesia. Perempuan dan anak-anak asing tidak diperkenankan tinggal di Jepang saat itu. Mereka menetap sampai Desember 1817. Dalam waktu singkat saja, para seniman yang belum pernah melihat perempuan asing langsung tertarik dengan keluarga mereka. 500 lukisan keluarga ini pun tersebar ke seluruh Jepang.
Historiographical Institute, the University of Tokyo (東京大学史料編纂所code: ja is deprecated , Tokyo daigaku shiryō hensan-jo). (1963). Historical documents relating to Japan in foreign countries: an inventory of microfilm acquisitions in the library of the Historiographical Institute, the University of Tokyo.OCLC 450710