Народився в родині селянина. У 1921 році закінчив початкову школу. Трудову діяльність розпочав у 1923 році чорноробом на Касимовській льонопрядильній фабриці «Червоний текстильник». Одночасно навчався в школі фабрично-заводського учнівства (ФЗУ). Після закінчення ФЗУ працював помічником майстра фабрики «Червоний текстильник».
У листопаді 1923 року вступив до комсомолу (РКСМ). У 1925 році був обраний відповідальним секретарем заводського колективу комсомолу фабрики «Червоний текстильник» міста Касимова.
У жовтні 1926 року був обраний головою економічної комісії Касимовського повітового комітету комсомолу. Одночасно до липня 1927 року працював секретарем комсомольської організації «Червоного текстильника». У середині 1927 року був обраний членом Рязанського губернського комітету РЛКСМ і зосередився на роботі в Касимовському повітовому комітеті комсомолу.
У вересні 1928 року за комсомольським набором був направлений на навчання до Ленінградського комуністичний університет. Але, провчившись рік, навчання в комуністичному університеті покинув і вступив на геологорозвідувальний робітничий факультет при Ленінградському гірничому інституті. Після закінчення робітфаку в 1931 році вступив до Ленінградського металургійного інституту. У 1934 році Ленінградський металургійний інститут увійшов на правах факультету до складу Ленінградського індустріального (політехнічного) інституту. У червні 1936 року, після захисту дипломного проєкту, Фролові Козлову була присвоєна кваліфікація інженера-металурга.
За розподілом, як молодий спеціаліст, був направлений інженером на Іжстальзавод в місті Іжевську Удмуртської АРСР. На початку серпня 1936 року Козлов був призначений начальником зміни прокатного цеху, в жовтні 1937 року став начальником блюмінга.
На початку 1939 року після поділу Іжстальзаводу на два самостійних підприємства — металургійне і машинобудівне, Фрол Козлов був висунутий на знову створену посаду секретаря парткому і парторга ЦК ВКП(б) Іжевського металургійного заводу (завод № 71).
У березні 1940 року був затверджений 2-м секретарем Іжевськогоміського комітету ВКП(б) Удмуртської АРСР. Як один з кращих секретарів міськкомів партії в 1944 році був переведений з Іжевська на роботу в апарат ЦК ВКП(б). З травня 1944 року працював відповідальним організатором, а потім — інспектором управління кадрів ЦК ВКП(б).
У березні 1947 року затверджений 2-м секретарем Куйбишевського обласного комітету ВКП(б). В обкомі відповідав за промисловість, будівництво і транспорт.
Під час т. зв. «Ленінградської справи» в жовтні 1949 року був направлений в Ленінград на посаду парторга ЦК ВКП(б) Кіровського заводу міста Ленінграда.
29 листопада 1949 року пленум Ленінградського міського комітету ВКП(б) обрав його 2-м секретарем міського комітету. На початку 1950 року рішенням ЦК ВКП(б) поєднання посад перших секретарів обкомів і міськкомів обласних центрів ліквідували, а 19 січня 1950 року Фрола Козлова обрали 1-м секретарем Ленінградського міського комітету ВКП(б). Цю посаду він обіймав до 8 липня 1952 року.
З 5 липня 1952 по 1 квітня 1953 року — 2-й секретар Ленінградського обласного комітету ВКП(б)—КПРС. 1 квітня — 25 листопада 1953 року — секретар Ленінградського обласного комітету КПРС.
З 25 листопада 1953 року по 24 грудня 1957 року — 1-й секретар Ленінградського обласного комітету КПРС.
31 березня 1958 — 4 травня 1960 року — 1-й заступник голови Ради Міністрів СРСР. Відповідно до розподілу обов'язків між заступниками голови Ради Міністрів СРСР Козлову доручили керівництво комісією Президії Ради Міністрів СРСР з поточних справ, спостереження за роботою союзних Міністерств — шляхів сполучення, морського флоту, транспортного будівництва, зв'язку, а також Головних управлінь по будівництву автомобільних доріг та цивільного повітряного флоту при Раді Міністрів СРСР.
4 травня 1960 — 16 листопада 1964 року — секретар ЦК КПРС, курував питання оборонної промисловості. Фактично виконував обов'язки другого секретаря ЦК КПРС: головував на засіданнях і формував порядок денний Секретаріату ЦК КПРС.
На початку червня 1962 року разом з А.І.Мікояном був направлений Н.С. Хрущовим у місто НовочеркаськРостовської області, де невдоволені робітники електротягобудівного заводу через підвищення цін на м'ясо-молочні продукти й зниження розцінок на заводі вийшли на маніфестацію. За свідченнями слідчого, який розслідував справу пов'язану з Новочеркаською трагедією, саме Фрол Козлов віддав розпорядження про силове придушення маніфестації робітників.[1]
11 квітня 1963 року Фрол Козлов провів засідання Президії ЦК КПРС і в кінці робочого дня поїхав до себе на дачу. Під час прогулянки на території дачі несподівано знепритомнів. Терміново викликані на дачу лікарі склали діагноз: геморагічний інсульт правої півкулі головного мозку з лівостороннім паралічем. Причинами крововиливу були гіпертонія, якою він хворів тривалий час, а також поширений атеросклероз. Після перенесеного інсульту Фрол Козлов до роботи не повертався. У січні 1964 року переніс обширний інфаркт міокарда.
На листопадовому пленумі ЦК КПРС 1964 року Фрол Романович Козлов був звільнений від обов'язків члена Президії і секретаря ЦК КПРС «у зв'язку з тяжкою хворобою, що вимагає тривалого лікування».
З листопада 1964 року — персональний пенсіонер союзного значення. Раптово помер від гострої серцевої недостатності 30 січня 1965 року. Урна з прахом похована на Красній площі в Кремлівській стіні.