Інститут заснували 1979 року як Інститут теоретичної фізики, а його основним спонсором був Національний науковий фонд.
На початку 2000-х років інститут назвали на честь бізнесмена та філантропа Фреда Кавлі[en] на знак визнання його пожертви в розмірі 7,5 млн доларів на інститут.
Будівля Кон-Голл, в якій розміщено інститут, розташована відразу за воротами Генлі біля східного входу в кампус Університету Каліфорнії в Санта-Барбарі. Будівлю спроєктував лауреат Майкл Грейвс[en]. У 2003—2004 роках додано нове крило, також спроєктоване Грейвсом.
Директори й відомі співробітники
Директорами інституту були:
Вальтер Кон, 1979—1984 (Нобелівська премія з хімії, 1998)
Роберт Шріффер, 1984—1989 (Нобелівська премія з фізики, 1972)