Пичаи перешёл в Google в 2004 году, где он возглавлял направления менеджмента и инновационной деятельности линеек клиент-ориентированных продуктов Google, в том числе Google Chrome[9] и Chrome OS, а также в значительной степени отвечал за Google Drive. Он осуществлял надзор за разработкой различных приложений, таких как Gmail и Google Maps[10][11]. 19 ноября 2009 Пичаи провел демонстрацию Chrome OS и Chromebook, впоследствии выпущенных в релиз[12]. 20 мая 2010 он объявил открытый аутсорсинг нового видеокодека VP8 от Google, и показал новый формат видео WebM[13].
13 марта2013 года Пичаи стал куратором Android. Ранее разработка этой ОС находилась под руководством Энди Рубина[14]. По слухам, он был одним из претендентов на пост генерального директора Microsoft в 2014 году[15].
24 октября2014 года Пичаи стал главой по вопросам продукции Google, а 10 августа2015 года его объявили будущим генеральным директором корпорации[19][20][18]. Он занял новую должность 2 октября 2015 года после завершения формирования нового холдинга группы компаний Google Alphabet Inc.
Во главе корпорации
Возглавив корпорацию Google, Пичаи был вынужден искать выход из множества сложных ситуаций, в которых оказывалась компания. Так, сотрудники Google выступали с протестом против эмиграционной политики президента СШАДональда Трампа[21]. В 2017 году инженер Google Джеймс Деймор заявил, что в компании ущемляют права сторонников консервативных взглядов, что привело к увольнению Деймора и последующему скандалу[21]. В 2018 году сотрудники корпорации высказались против работы с американскими военными структурами и создания цензурируемого поисковика для Китая[21]. В том же году множество работников покинули Google из-за того, что компания выплатила крупные бонусы топ-менеджерам, ранее обвиненным в сексуальных домогательствах[22][21].
3 декабря 2019 года Сундар Пичаи стал генеральным директором Alphabet, при этом его пост в компании Google сохранился[23].