Hij deed tweemaal mee aan de Olympische Spelen op de military (destijds Championnat Équestre genoemd). Op de Olympische Zomerspelen 1924 in Parijs won hij met zijn paard Silver Piece tweemaal goud. De individuele wedstrijd won hij met 1976 punten en ook met de Nederlandse ploeg werd hij olympisch kampioen. Het toernooi in Parijs was trouwens een georganiseerde chaos: aanvankelijk werd Van der Voort van Zijp in de uitslag van de dressuur als 27e vermeld. Na protest bleek hij met een andere deelnemer verwisseld te zijn en tweede te zijn geworden op dit onderdeel.
Vier jaar later, tijdens de Spelen in Amsterdam, won hij opnieuw goud met de landenploeg. In de individuele wedstrijd werd hij vierde. Het goud ging naar landgenoot Charles Pahud de Mortanges.
Van der Voort van Zijp was net als al zijn teamgenoten beroepsmilitair. Tijdens zijn eerste Spelen was hij luitenant bij het Tweede Regiment Huzaren. Uiteindelijk zou hij het brengen tot Inspecteur der Cavalerie. In mei 1940 vocht hij op de Grebbeberg. Tijdens de rest van de Tweede Wereldoorlog was hij krijgsgevangene.