Larrabee war Mitte der 1950er Jahre ein talentierter Läufer. Sein Talent brachte ihm 1952 ein Stipendium an der University of Southern California ein, wo er Geologie studierte. In den ersten Jahren verhinderten mehrere Verletzungen eine sportliche Karriere. Erst eine Änderung des Trainingprogramms, im Alter von 30 Jahren, half ihm, dass 1964 sein bestes Jahr wurde. Zuerst gewann er die AAU-Meisterschaften über 400 Meter, dann stellte er den bestehenden Weltrekord über 44,9 s ein.
Nach den Olympischen Spielen arbeitete Larrabee als Mathematiklehrer, eröffnete eine Handelsgesellschaft zusammen mit seinem Bruder und war zeitweise US-Repräsentant des Sportschuh-Herstellers Adidas, eine Position, die es ihm erlaubte zu reisen und Kontakte zu knüpfen. In seiner Freizeit war er weiterhin in verschiedensten Sportarten tätig. 2001 wurde bei ihm Pankreaskrebs diagnostiziert und die Ärzte gaben ihm nur noch ein paar Wochen Lebenszeit. Dank seines eisernen Willens und der Chemotherapie hatte er noch zwei weitere Jahre zu leben. Im Dezember 2003 wurde er postum in die National Track and Field Hall of Fame aufgenommen.