1736 trat er als Midshipman in die Royal Navy ein. Er war zunächst im Mittelmeer eingesetzt und stieg im Oktober 1744 in den Rang eines Lieutenant auf. Während eines kurzen Aufenthaltes in England lernte er Miss Elizabeth Chudleigh kennen und heiratete sie am 4. August 1744 heimlich in der Privatkapelle von Lainston House in Hampshire. Nur wenige Tage später stach er von Portsmouth aus Richtung Jamaica in See. Erst ab seiner Rückkehr nach England, 1746, lebte er eine Weile in London mit seiner Gattin zusammen und hatte mit ihr einen Sohn, Henry Augustus Hervey, der im November 1747 getauft wurde, jedoch noch im Kleinkindalter starb.
Hervey wurde im September 1746 zum Commander befördert und im Ärmelkanal zur Bekämpfung französischer Freibeuter eingesetzt. Im Januar 1747 wurde er zum Post-Captain befördert und kreuzte in der Folgezeit vorwiegend im westlichen Mittelmeer. Während des Siebenjährigen Krieges zeichnete er sich zwischen 1756 und 1758 nahe der Balearen und 1759 im Golf von Biskaya in mehreren Seegefechten gegen die Franzosen aus. Im Herbst 1761 wurde er in die Karibik entsandt und nahm an den Angriffen auf die französischen Inseln Martinique und St. Lucia und der Belagerung der spanischen Stadt Havanna teil. Nach der Eroberung Havannas wurde er zurück nach England entsandt und wurde im November 1762 Colonel der Plymouth Division der Royal Marines. Nach Kriegsende war er 1763 kurzzeitig Oberbefehlshaber der britischen Mittelmeerflotte.
Als er im März 1775 beim kinderlosen Tod seines älteren Bruders dessen Adelstitel als 3. Earl of Bristol und 4. Baron Hervey, sowie dessen erhebliches Vermögen geerbt hatte, legte er alle öffentlichen Ämter nieder. Aufgrund der Titel schied er aus dem House of Commons aus und erhielt einen Sitz im House of Lords. Im März 1775 wurde er zum Rear-Admiral of the Blue, im April 1777 zum Rear-Admiral of the White, im Januar 1778 zum Rear-Admiral of the Red und im Januar 1778 zum Vice-Admiral of the Blue befördert.
Ab Anfang der 1750er Jahre tat sich in seiner Abwesenheit seine Gattin in London als skandalträchtige Gesellschaftsdame hervor und begann eine Beziehung zu Evelyn Pierrepont, 2. Duke of Kingston upon Hull. Anstelle einer teuren Scheidung ließ das Paar die Ehe im Februar 1769 von einem kirchlichen Gericht für auflöst erklären (divorce a mensa et thoro). Elizabeth Chudleigh heiratete daraufhin im März 1769 den Duke of Kingston. Nach dessen Tod 1773, wurde sie mangels einer formwirksamen Scheidung 1776 wegen Bigamie angeklagt, was auch seinen Ruf erheblich beschädigte. Hervey hatte indessen mehrere Mätressen unterhalten.
Der britische Entdecker James Cook benannte nach ihm Bristol Bay, eine Bucht in Alaska, Hervey Bay, eine Stadt und Bucht in Australien und Bristol Island, eine Insel im Südatlantik.