Long werd geboren in Fairfield, een plaats in de Amerikaanse staat Connecticut. Zijn moeder, Wendy Lesniak,[1] is een toneelactrice, en zijn vader, R. James Long, is een filosofieleraar aan Fairfield University. Hij heeft twee broers, een oudere broer genaamd Damian die leraar Engels is aan een middelbare school, en een jongere broer genaamd Christian, die te zien was in de film Accepted. Long groeide op in een "conservatieve" katholieke familie. Hij zat in zijn middelbareschoolperiode op Fairfield College Preparatory School, een Jezuïetenschool in Fairfield. Daarna studeerde hij aan Vassar College, waar hij lid was van de komediesketchgroep Laughing Stock en waar hij speelde in diverse toneelstukken, waaronder in Butterflies are Free. Op een universiteit in Fairfield gaf hij acteercursussen. Nadat hij de school verliet besloot hij zich op het acteren te storten.
In de Verenigde Staten is Long bekend van zijn rollen in reclamefilmpjes van Apple. In die reclamefilmpjes speelt Long de rol van een Mac (computer) en John Hodgman de rol van een pc. In komische sketches laten ze zien dat een Mac veel meer mogelijkheden heeft dan de zwakke pc. In de Netflix-serie Skylanders Academy spreekt hij de stem van Spyro in.