Iniziò a praticare il decathlon su suggerimento del suo allenatore, Virgil Jackson, alla Tulare Union High School all'inizio del 1948. Nonostante la giovanissima età, durante l'estate superò i trials e si qualificò per i Giochi Olimpici di Londra, dove vinse la medaglia d'oro. Nel 1949 entrò alla Stanford University, giocando per due anni nella squadra di football dell'ateneo ed entrando a far parte della confraternita Phi Gamma Delta. Mathias stabilì poi nel 1950 il primo record del mondo del decathlon e nel 1952 condusse Stanford alla partecipazione nel Rose Bowl.
Nello stesso anno vinse nuovamente la medaglia d'oro ai Giochi Olimpici, diventando il primo atleta di sempre a difendere il titolo olimpico nel decathlon. Compiuta questa impresa abbandonò l'atletica leggera, mondo a cui si riavvicinò solo molti anni più tardi, quando fu nominato come primo direttore dello United States Olympic Training Center, incarico retto fra il 1977 ed il 1983.