Родился в купеческой семье, первоначальное образование получил в Риге. В 1840 году поступил в Главный педагогический институт в Санкт-Петербурге. До окончания полного курса, в 1843 году он был командирован в Петровское уездное училище[1]Саратовской губернии; в 1847 году переведён в Якобштадт.
В 1860 году вышел в отставку и был учителем в частных домах до 1868 года, а в 1868 вернулся в Петровскую гимназию, где трудился до 1870 года. Позже работал в Дерптской, затем в рижских: Ломоносовской и Александровской гимназиях. Слабость зрения заставила его выйти на пенсию и жить в качестве частного учителя.
С 1877 по 1889 работал помощником редактора в «Рижском вестнике». Кроме «Филологических записок» публиковался в журнале «Гимназия», в газетах «Современные известия», «Русь» и др. Впоследствии, совсем потеряв зрение, не переставал работать: статьи писались другими лицами под его диктовку.
Научная деятельность
Одним из важнейших его переводов стал фундаментальный труд Карла Гейзе «Система языковедения». Большинство своих научных трудов Желтов опубликовал «Филологических записках»:
Несколько слов о степенях сравнения (1862),
Критико-библиографические заметки на книгу А. Шлейхера: «Compendium der vergleichenden Grammatik der indogermanishen Sprachen» (1862-1863),
Система языковедения / Соч. К.В.Л. Гейзе, изд. после его смерти Штейнталем, прив.-доц. Берл. ун-та; Пер. с нем. [авт. предисл.] И. Желтов. Ч. 1-2. — Воронеж: тип. В. Гольдштейна, 1864—1874.
Язык и народность (1865),
Виды русских глаголов (1866),
Заметка о важности церковно-славянского языка в деле народно-русского образования (1867),
О русском говоре в Риге (1874),
Этимологические афоризмы (1976),
Библиографические новости по иностранной филологической литературе (1877-1878),
Обзор иностранной библиографии (1879),
Критические заметки на «Русско-немецкий словарь» И. Я. Павловского (1880),
Крит.-библ. заметки о «Analogich-vergleishendes Vatterbuch ϋber den Gesamtgebiet der Indogermanishen Sprachen» (1880),
По поводу этимологии слова "человек" (1882),
Общеславянский корень кл, -кол, чл, -чел (1884),
Крит.-библиограф. заметки на «Синтаксис немецкого языка» Гофмана (1886),
Новый взгляд на происхождения имен языческих богов у прибалтийских славян (1887),
Неточность и несоответствие в наименованиях видов русских глаголов (1887),
Словообразовательные и грамматические заметки (1889),
