Джером Карлі породив 18 червня 1918 в Нью-Йорку. У 1937 році отримав ступінь бакалавра в Сіті-коледж при Нью-Йоркському університеті, де він познайомився з Хербертом Хауптманом, а в 1938 році — ступінь магістра з біології в Гарвардському університеті. У 1943 захистив дисертацію з фізичної хімії в Мічиганському університеті. У 1946 Карлі увійшов до штату військово-морської науково-дослідної лабораторії у Вашингтоні, де знову зустрівся з Хауптманом. У 1950-і роки співпрацював з ним над створенням прямого методу розшифровки тривимірних молекулярних структур за допомогою рентгенівської кристалографії. За ці роботи в 1985 році був удостоєний Нобелівської премії з хімії.