Small begann nach dem Schulbesuch 1944 seine militärische Ausbildung an der US Naval Academy in Annapolis, die er 1948 als Leutnant zur See abschloss. Er absolvierte auch eine Ausbildung zum Marineflieger, die er mit dem Flugführerabzeichen(Naval Aviator Badge) beendete. Im Anschluss folgten Verwendungen auf dem FlugzeugträgerUSS Forrestal sowie anderen Einheiten der US-Marine.
Nachdem Kapitän zur See Small zwischen 1969 und 1970 Kommandant (Commanding Officer) des TrossschiffesUSS Neosho war[2] folgte eine Verwendung auf dem Flugzeugträger USS Shangri-La. Am 9. Oktober 1971 wurde er Nachfolger von Kapitän zur See Gerald Gerrard „Gerry“ O’Rourke Kommandant des Flugzeugträgers USS Independence und verblieb auf diesem Posten bis zu seiner Ablösung durch Kapitän zur See Charles Ross Smith, Jr., am 1. Dezember 1971.[3]
Flaggoffizier
Im Februar 1975 wurde Konteradmiral Small als Nachfolger von Konteradmiral Robert P. Coogan Kommandeur der 3. Flugzeugträgergruppe (Carrier Group Three) und übte diese Funktion bis zu seiner Ablösung durch Konteradmiral H.P. Glindeman, Jr. im Juli 1976 aus.[4]
Als Nachfolger VizeadmiralJames D. Watkins wurde er im Juli 1979 Befehlshaber der 6. US-Flotte (US Sixth Fleet) und verblieb auf diesem Posten bis Juni 1981. Sein Nachfolger wurde daraufhin im Juli 1981 Vizeadmiral William H. Rowden.[5]
Admiral der US Navy
Am 1. Juli 1981 wurde Small schließlich zum Admiral befördert und wurde abermals Nachfolger von Admiral James D. Watkins, der wiederum Oberbefehlshaber der US Pacific Fleet wurde, die Funktion als Vice Chief of Naval Operations (VCNO) und bekleidete damit nach dem Chief of Naval Operations die zweithöchste Funktion innerhalb der Führung der US Navy. Dieses Amt übte er bis April 1983 aus und wurde daraufhin von Admiral Ronald J. Hays abgelöst.[6][7][8] Aufgrund seiner Verdienste in dieser Funktion wurde er mit der Navy Distinguished Service Medal sowie dem Legion of Merit geehrt.
Im Anschluss wurde Admiral Small im April 1983 Oberbefehlshaber der US-Seestreitkräfte in Europa CINCUSNAVEUR (Commander in Chief US Naval Forces Europe) und damit Nachfolger von Admiral William J. Crowe, Jr.[9] Als solcher war er in Personalunion zugleich Oberbefehlshaber der Alliierten Streitkräfte in Europa CINCSOUTH (Allied Forces Southern Europe).[10] Aufgrund seiner Verdienste in dieser Funktion wurde er abermals mit der Navy Distinguished Service Medal sowie einem weiteren Legion of Merit geehrt, der ihm stattdessen als goldener Stern zu seinem ersten Legion of Merit verliehen wurde. Die militärischen Spitzenpositionen als CINCUSNAVEUR und CINCSOUTH bekleidete er bis zu seinem Ausscheiden aus dem aktiven militärischen Dienst im Mai 1985 und wurde dann von Admiral Lee Baggett, Jr. abgelöst.