Герберт был женат дважды. В 1639 году он женился на Пенелопе Наунтон, дочери сэра Роберта Наунтона и Пенелопы Перро, вдове Пола Бейнинга, 2-го виконта Бейнинга[2]. В этом браке родился сын Уильям (1640—1674), ставший 6-м графом Пембрук. Овдовев, Филипп женился в 1649 году на Кэтрин Вильерс, дочери сэра Уильяма Вильерса, 1-го баронета. В этом браке родились[1]:
Cokayne G. The Complete Peerage of England, Scotland, Ireland, Great Britain and the United Kingdom: Extant, Extinct, or Dormant (англ.). — London: St Catherine Press, 2000. — Vol. II.
Mosley C. Burke's Peerage, Baronetage & Knightage (англ.). — Wilmington: Burke's Peerage, 2003. — Vol. 3. — 4500 p. — ISBN 0971196621.