Freedberg est né à Boston et fréquente la Boston Latin School. Il est diplômé du Harvard College en 1939 et obtient un doctorat un an plus tard. L'un de ses mentors est Bernard Berenson. Il enseigne les beaux-arts à Harvard de 1954 à 1983. Au moment de sa retraite en 1983, il est professeur Arthur Kingsley Porter des beaux-arts à Harvard. Il devient conservateur en chef de 1983 à 1988 de la National Gallery of Art de Washington, DC après avoir pris sa retraite de Harvard.[réf. nécessaire]
Pendant la Seconde Guerre mondiale, Freedberg risque des sanctions disciplinaires en refusant par conscience de travailler sur des renseignements sur Rome. Plus tard, il dira : « Je craignais que les informations que je pourrais recueillir ne soient utilisées dans une opération militaire contre cette ville », et n'entraînent ainsi des dommages irréparables aux œuvres d'art. Malgré sa décision, il est nommé membre honoraire de l'Ordre de l'Empire britannique (division militaire) pour sa contribution à l'effort de guerre[2].
En novembre 1966, après des inondations désastreuses en Italie, Freedberg est vice-président national (1966-1974) du Comité de sauvetage de l'art italien. En 1970, Freedberg entre au conseil d'administration de Save Venice, dont il est membre fondateur.
Pour ces nombreuses contributions à la préservation et à une meilleure compréhension de l'art et de la culture italiens, Freedberg est nommé Grand Officier de l'Ordre de l'Étoile de la Solidarité (Italie) en 1968 et Grand Officier de l'Ordre du Mérite de la République italienne en 1982. Il est également récompensé en 1986 par le Socio del Ateneo Veneto et l'Academia Clementina Bologna. Un an plus tard, il entre Conseil consultatif des musées du Vatican pour la restauration de la chapelle Sixtine (et en est président de 1990 à 1993). En 1995, il reçoit le prix international Galileo Galilei. En 1988, il reçoit la Médaille nationale des arts.