Wie viele Rennfahrer auch, begann Pompidou seine Motorsportkarriere im Kartsport. Im Alter von 18 Jahren wurde er 1990 Gesamtzweiter in der Formel-A-Weltmeisterschaft. 1992 stieg er in den Formelsport ein und startete in der Formel Renault. Über die französische Meisterschaft kam er in den gesamteuropäischen Bewerb, wo er 1994 mit 111 Punkten Gesamtvierter wurde.
Es folgte als weiterer Karriereschritt die französische Formel-3-Meisterschaft. In 21 Rennen – verteilt über zwei Jahre – erreichte er jedoch nur eine Pole-Position und eine Podiumsplatzierung. Neben mangelndem sportlichem Erfolg fehlte es ihm auch an Sponsorgeldern, um seine Monopostokarriere fortsetzen zu können. Pompidou wechselte in den Sportwagen- und GT-Sport. Zu Beginn musste er auch dort mit Engagements bei kleinen Privatteams vorliebnehmen, konnte sich aber rasch einen Namen als schneller Pilot machen und bekam bald bessere Cockpits angeboten.
Seine größten Erfolge erzielte er in der Le Mans Series, wo er 2005 gemeinsam mit Marc Lieb die Gesamtwertung der GT2-Klasse gewann. 2007 wurde er Vizemeister in dieser Klasse. 2009 erreichte er eine weitere Vizemeisterschaft, diesmal allerdings in der LMP2-Klasse.
Seit 2010 bestreitet er Rennen in der V de V Challenge Endurance Moderne – der französischen GT-Meisterschaft.
Privat
Xavier Pompidou ist verheiratet, hat zwei Kinder und lebt in Südfrankreich.