Фізико-технічний інститут веде свою історію від однойменного відділу Державного рентгенологічного і радіологічного інституту (ДРРІ, рос.ГРРІ), створеного у вересні 1918 року за ініціативою професорівА. Ф. Іоффе і М. І. Неменова. Абрам Федорович Йоффе був обраний першим директором ДРРІ і одночасно очолив фізико-технічний відділ. У 1921 році відділ виділився в самостійний інститут. Аж до 1950 року директором цього інституту залишався А. Ф. Йоффе.
У травні 1939 року інститут під назвою Ленінградський фізико-технічний інститут (ЛФТІ) увійшов до складу Академії наук СРСР. У 1960 році ім'я першого керівника інституту з'являється в його назві.
На посаді першого заступника директора інституту за радянських часів працював російський підприємець, доларовий мільярдер, основний акціонер і колишній голова ради директорів банку «Росія», людина наближена до президента Росії Володимира Путіна ще з часів кооператива «Озеро», де вони були співзасновниками, Юрій Ковальчук[5].
Понад сто співробітників інституту відзначені вищими радянськими та російськими науковими нагородами, серед яких Ленінські і Державні премії СРСР, Державні премії РФ, премії уряду СРСР і РФ, іменні медалі та премії Академії наук СРСР і РАН.