Позже, в 1771−1780 был в отставке, служил губернатором Гринвичского морского госпиталя. В 1778 году стал адмиралом белой эскадры. После отставки Кеппеля в 1779 году никто кроме Харди не соглашался принять командование в Канале. Наконец, в мае 1780 года после долгой отставки Харди принял флот. На следующий же день он слёг с воспалением внутренностей. Франко-испанская эскадра превосходила англичан, но атаковать и высадиться в Англии не решилась.
Смерть и наследие
Сэр Чарльз Харди умер 18 мая1780 года в Спитхеде. Он завещал £3000 каждому из сыновей и £4000 каждой дочери, а также оставил £1000 жене и своё имение Роулинс, графство Оксфордшир, своему старшему сыну Темплу Харди. По смерти Екатерины в 1801 году, из трёх сыновей только Темпл оставался в живых. Брат Харди, Иосия (англ.Josiah Hardy), был торговцем и губернатором штата Нью-Джерси в 1761−1763.