Joseph Aloysius Goulden wurde ungefähr zwei Jahre vor dem Ausbruch des Mexikanisch-Amerikanischen Krieges in Littlestown im Adams County geboren. Er besuchte Gemeinschaftsschulen. Während des Bürgerkrieges diente Goulden in den Jahren 1864 und 1865 in der Marineinfanterie. Er war Mitglied im Direktorium (Board of Managers) der staatlichen Besserungsanstalt (reformatory) in Morganza (Pennsylvania). Dann zog er nach New York City. Er war zehn Jahre lang als Commissioner und Trustee an öffentlichen Schulen tätig und saß anschließend im Kuratorium (Board of Trustees) für Soldiers’ Home in Bath. Er war Secretary und Mitglied in der New York City Commission, welche das Soldiers’ und das Sailors’ Monument am Riverside Drive errichtete. Politisch gehörte Goulden der Demokratischen Partei an.
Nach seiner Kongresszeit ging er in New York City dem Versicherungsgeschäft nach.
Im Jahr 1912 kandidierte er im 23. Wahlbezirk von New York für den 63. Kongress und trat nach einer erfolgreichen Wahl am 4. März 1913 die Nachfolge von Henry S. De Forest an. Er wurde einmal wiedergewählt, verstarb allerdings vor dem Ende der Amtszeit am 3. Mai 1915 in Philadelphia. Sein Leichnam wurde dann auf dem St. Joseph’s Cemetery in Taneytown (Maryland) beigesetzt.