Był synem Roberta Percy’ego Smitha i Caroliny Marii Vernon, córki Richarda Vernona. Wykształcenie odebrał w Eton College oraz w Christ Church na Uniwersytecie Oksfordzkim. Uczelnię ukończył w 1822 r. z dyplomem drugiej klasy ze studiów klasycznych.
W 1829 r. został wybrany do Izby Gmin jako reprezentant okręgu Tralee. Od 1831 r. reprezentował okręg wyborczy Northampton. W latach 1830–1834 był lordem skarbu. W 1835 r. został sekretarzem przy Radzie Kontroli. W latach 1839–1841 był podsekretarzem stanu w Ministerstwie Wojny i Kolonii. Nie objął żadnego stanowiska po powrocie wigów do władzy w 1846 r. Dopiero w lutym 1852 r. został sekretarzem ds. wojny, ale gabinet Russella upadł już miesiąc później i Smith stracił stanowisko. W latach 1855–1858 był przewodniczącym Rady Kontroli w gabinecie Palmerstona. W 1859 r. otrzymał tytuł 1. barona Lyveden i zasiadł w Izbie Lordów.
W 1823 r. poślubił Emmę Mary Fitzpatrick, nieślubną córkę hrabiego Upper Ossory. W 1846 r. zmienił nazwisko swoich dzieci na "Vernon". Sam zmienił nazwisko w 1859 r. Był członkiem Reform Club, Travellers Club i Brooks's. Zmarł w 1873 r. Tytuł barona odziedziczył jego syn Fitzpatrick.