Larry Storch est né à New York, fils d'Alfred Storch, un agent immobilier, et de sa femme Sally (née Kupperman) Storch, une opératrice téléphonique. Il a fréquenté le lycée DeWitt Clinton dans le Bronx avec Don Adams, qui est resté son ami de toujours. En raison des moments difficiles de la Grande Dépression, Storch a déclaré qu'il n'avait jamais eu son diplôme au lycée, ayant été obligé de travailler tôt. Il a commencé à gagner de l'argent en tant qu'humoriste stand-up pour 12 $ par semaine pour l'ouverture du chef d'orchestre Al Donahue.
Ses débuts d'humoriste stand-up l'amène à figurer dans des douzaines de séries télé, puis il va être vraiment connu quand il endossera le rôle de Corporal Randolph Agarn dans la série satirique F Troop de 1965 à 1967.