Né en Virginie, John Y. Mason suit des études de droit. Il épouse la fille d'un important propriétaire terrien et devient lui-même planteur, tout en continuant son métier d'avocat.
Il est membre de la Chambre des délégués de Virginie de 1823 à 1827 et délégué à la Convention constitutionnelle de l'État, de 1829 à 1830. De 1831 à 1837, il sert à la Chambre des représentants des États-Unis, présidant le comité des Affaires étrangères de la Chambre, de 1835 à 1836. Durant cette période, il est un partisan actif de la plupart des personnalités politiques de la présidence d'Andrew Jackson mais tout en restant dévoué aux droits propres des États.
Il est nommé juge de cour de district pour le celui de Virginie orientale, en 1837.
Il retourne à ses activités d'avocat entre 1849 et 1854 et sert comme président de la convention constitutionnelle de Virginie de 1851. De 1853 jusqu'à sa mort à Paris, en 1859, il est l'ambassadeur des États-Unis en France, pendant le Second Empire. Il se joint à James Buchanan et Pierre Soulé, respectivement ambassadeurs en Grande-Bretagne et en Espagne, et rédigent le célèbre manifeste d'Ostende, en octobre 1854.
John Y. Mason était un Virginien conservateur, démocrate favorable aux droits des États et à l'esclavage.
Postérité
Le destroyer USS Mason de l'US Navy est nommé en son honneur, en 1920.