Mitta studierte bis 1955 Bauingenieurwesen an der MGSU und war als Karikaturist für diverse Satire- und Literaturmagazine, darunter die Zeitschrift Krokodil, tätig. Bis 1961 absolvierte Mitta ein Regiestudium am WGIK bei Michail Romm. Sein Regiedebüt wurde 1961 der Spielfilm Друг мой, Колька.
Internationale Anerkennung erhielt er 1966, als er für Tanja sucht Freunde in Venedig mit dem Goldenen Löwen ausgezeichnet wurde. Für Lost in Sibiria erhielt Mitta 1992 eine Golden-Globe-Nominierung. Neben seiner Tätigkeit beim Film unterrichtet Mitta seit 1992 an der Moskauer Filmhochschule Dramaturgie und ist als Dozent für Regie aktiv. Die Universität Hamburg verlieh Mitta 1999 den Titel „Professor“.