Sargent menikah dengan Diane Holloway, mantan kritikus televisi untuk Austin American-Statesman; Sargent dan Holloway keduanya pensiun dari surat kabar tersebut pada Maret 2009. Mereka memiliki dua anak, Sam dan Elizabeth.
Dalam profil yang diterbitkan di majalah The Good Life edisi Januari 2005, Sargent menyatakan, "Sebagai jurnalis surat kabar, Anda secara profesional berkewajiban untuk bersikap adil, akurat, lengkap, dan seimbang. Namun ada dua halaman di dalamnya bagian belakang kertas di mana kita diwajibkan untuk bersikap adil, akurat dan lengkap—tetapi kita tidak harus 'seimbang'. Saya bukan ahli jajak pendapat. Bagi saya, Anda sebagai jurnalis opini wajib mengekspresikan pandangan Anda, apa pun kondisi politik saat ini. Jika tidak, orang akan berkata, 'Mengapa saya harus membaca pendapat orang ini? katakan? Dia bahkan tidak tahu di mana dia berdiri?' Itu membuat posisi Anda sebagai jurnalis opini tidak berguna."
