Harrison Wheeler besuchte die öffentlichen Schulen seiner Heimat und war danach bis 1861 selbst als Lehrer tätig. Während des Bürgerkrieges diente er zwischen 1861 und 1865 im Heer der Union, in dem er es bis zum Hauptmann brachte. Nach dem Krieg ließ er sich in Bay City nieder, wo er 1866 Verwaltungsangestellter im Bay County wurde. Nach einem anschließenden Jurastudium und seiner im Jahr 1868 erfolgten Zulassung als Rechtsanwalt begann er in Bay City in seinem neuen Beruf zu arbeiten.