La canzone descrive il rapporto extraconiugale fra un uomo (il cantante) e una donna sposata, la Mrs. Jones del titolo. Nella canzone, i due si incontrano in segreto "ogni giorno allo stesso caffè", alle 6:30, dove si tengono per mano e parlano. I due sono presi in un dilemma: loro vivono questa relazione sapendo entrambi che è sbagliata: tuttavia è troppo forte per interromperla adesso.
La canzone appare anche in una puntata della serie TV statunitense Scrubs, nella quale il personaggio di Christopher Turk ne canta il ritornello per la gioia della sua fidanzata, Carla.