Учился в гимназиях в Ашхабаде и в Верном, где работал судьёй его отец. В 1912 году окончил вместе с Н. С. Трубецким отделение сравнительного языковедения историко-филологического факультета Московского университета: специализировался по сравнительному языкознанию и индоевропеистике под руководством В. К. Поржезинского. Был оставлен при кафедре сравнительно-исторического языкознания и санскрита. Преподавал в МГУ и других вузах Москвы сравнительную грамматику индоевропейских языков, санскрит, литовский язык, русский синтаксис и др.; доцент (с 1916), профессор (с 1925). Секретарь Московского лингвистического общества (1918—1923). Входил в различные комиссии Наркомпроса и ГУСа по преподаванию языков в школах. В преподавании языков он применял своеобразную методику: обучение начинал не с упражнений, а прямо с чтения и анализа неадаптированного текста. На первых же занятиях Петерсон проводил всесторонний анализ одного-двух слов, одной фразы. Постепенно темп ускорялся, объём языковой информации увеличивался, и вскоре студенты уже могли самостоятельно анализировать сложнейшие тексты.
В 1925 и 1931 годах выезжал в заграничные командировки.
С середины 1940-х годов работал также в Институте русского языка АН СССР. В конце 1940-х годов, в связи с идеологической кампанией последователей марризма, был вынужден оставить преподавание и практически не печатался. Вернулся к преподаванию на филологическом факультете МГУ после 1950 года, сумев — несмотря на продолжавшуюся критику сторонников «официальной» науки — передать студентам наследие фортунатовской школы и высокие профессиональные и этические стандарты (среди его учеников этого времени были Т. В. Булыгина, Т. Я. Елизаренкова, Вяч. Вс. Иванов, В. А. Кочергина, В. Н. Топоров и др.); под его редакцией вышли также избранные работы Ф. Ф. Фортунатова (1956).
В конце 1952 года тяжело заболел и оставил преподавание.
Помимо многообразной преподавательской деятельности, Петерсон внёс вклад в изучение литовского языка и теории грамматики. Его наиболее значительной работой считается очерк русского синтаксиса, в которой он предпринял попытку приложения грамматической теории Фортунатова к явлениям синтаксического уровня; при изучении синтаксиса один из первых начал использовать статистические методы. Однако количественные соотношения разных явлений и единиц языка интересовали учёного не сами по себе, а как средство, с помощью которого можно отделить живые, развивающиеся элементы языка от элементов старых, мёртвых, сохраняющихся в языке как остаток прежних периодов. Он прививал своим ученикам строгое разграничение синхронии и диахронии.
Петерсон известен также как методист, автор работ о преподавании французского и русского языков, о принципах русской орфографии и других проблемах. Написал орфографический словарь, в котором более 50 000 слов.
Основные работы
Очерк синтаксиса русского языка. М.; Пг., 1923;
Русский язык. Пособие для преподавателей. М.; Л., 1925;
Лекции по современному русскому литературному языку. Пособие для студентов педагогических институтов. М., 1941;
Современный французский язык. М., 1947 (в соавт. с К. А. Ганшиной);