Joseph Clark besuchte zunächst die Chestnut Hill Academy. Im Jahr 1919 absolvierte er die Middlesex School. Anschließend studierte er bis 1923 an der Harvard University. Nach einem anschließenden Jurastudium an der University of Pennsylvania und seiner im Jahr 1926 erfolgten Zulassung als Rechtsanwalt begann er in Philadelphia in seinem neuen Beruf zu arbeiten. Politisch gehörte er bis 1928 der Republikanischen Partei an. Dann wechselte er zu den Demokraten. Zwischen 1941 und 1945 diente er während des Zweiten Weltkriegs in den amerikanischen Luftstreitkräften. Dabei brachte er es bis zum Oberst. Er war im asiatischen Kriegsschauplatz eingesetzt.
Von 1950 bis 1952 bekleidete Joseph Clark das Amt des Comptrollers seiner Heimatstadt. Zwischen 1952 und 1956 war er Bürgermeister von Philadelphia. In dieser Zeit bekämpfte er die Korruption bei der städtischen Polizei und stellte einige Afroamerikaner bei der Stadtverwaltung ein, was damals in den USA noch nicht alltäglich war. Bei den Wahlen des Jahres 1956 wurde Clark als Kandidat seiner Partei in den US-Senat gewählt, wo er am 3. Januar 1957 die Nachfolge von James H. Duff antrat, den er bei der Wahl geschlagen hatte. Nach einer Wiederwahl konnte er zwischen dem 3. Januar 1957 und dem 3. Januar 1969 zwei sechsjährige Amtszeiten im Senat absolvieren. In diese Zeit fielen unter anderem der Beginn des Vietnamkriegs und die Bürgerrechtsbewegung. Im Jahr 1968 unterlag Clark gegen Richard Schweiker.