Shirley adalah anak kedua dari Hon. Laurence Shirley (yang merupakan anak ke empat dari Robert Shirley, Earl Pertama Ferrers) dan istrinya, Anne sekitar tahun 1738, ia bergabung pada Angkatan Laut Britania Raya dan pangkatnya naik sampai Letnan Dua tahun 1741, Letnan Satu tahun 1746 dan Pos-Kapten segera setelahnya.
Dua minggu setelah penghukuman atas saudaranya, Laurence Shirley, Earl Keempat Ferrers tahun 1760, Shirley mengganikanya di House of Lords (sebagai Earl Ferrers yang baru) dan tahun 1763 George III menghadiahkan perumahan keluarga, yang sebelumnya diambil alih dari saudaranya atas kejahatan besar yang dilakukan (sebagai kejutan dari Casanova, kemudian mengunjungi London) dan mulai mengalihkan kedudukan keluarga dari Staunton Harold di Leicestershire. Ia kemudian dipromosikan sebagai Laksamana Muda tahun 1771 dan Laksamana Madya tahun 1775.
Ferrers sangat tertarik pada astronomi dan memiliki sebuah orrery.[1] Tahun 1761, Ferrers diangkat menjadi anggota Royal Society atas karya pengamatan transit astronomi planet Venus. Ferrers membeli lukisan Joseph Wright berjudul “A Philosopher Lecturing on the Orrery in which a lamp is put in place of the Sun” dan kemudian diperkirakan sebagai sosok yang ada di sebelah kanan. Ferrers juga menghadirkan Peter Perez Burdett (sosok di sebelah kiri) sebagai tamu rumah dan ikut menghadiri pembicaraan James Ferguson yang memberi kuliah pada orrery.[1]
Shirley wafat tahun 1778 di Chartley Manor Place, Staffordshire dan dimakamkan di Staunton Harold. Karena tidak memiliki anak dari istrinya, Anne, gelarnya dan rumahnya diteruskan ke adiknya, Robert.[2]
