Il a étudié à l'Union College, à Schenectady, New York, où il est diplômé bachelor of Arts en 1848. Il a commencé à faire des études de droit en Pennsylvanie et à enseigner pendant un temps avant de changer de direction pour devenir inspecteur sous la direction de William H. Wilson à l'été 1852.
Entre et 1854, il travaille pour la compagnie Philadelphia, Media & Westchester Railroad. En il est embauché par William H. Wilson comme ingénieur résident pour travailler pour la Pennsylvania Railroad. Il commence à ce poste sa carrière d'ingénieur construction de ponts en ignorant tout de la construction des ponts et des calculs permettant leur dimensionnement. Sonemier pont pour la Pennsylvania Railroad est un pont sur la Schuylkill à Philadelphie, l'Arsenal Bridge constitué d'un pont tournant flanqué d'une travée de chaque côté.
Il a breveté en 1862 la poutre en treillis Linville[1], poutre avec un treillis à double intersection avec une membrure supérieure en fonte, une membrure inférieure et des diagonales en fer forgé.
Il fonde alors la Keystone Bridge Company avec Andrew Carnegie en pleine guerre de Sécession.
Il a ensuite construit un pont au-dessus l'Ohio à Steubenville, le Steubenville Railroad Bridge permettant de connecter les réseaux ferroviaires de la compagnie Steubenville and Indiana Railroad avec la Pittsburgh and Steubenville Railroad, puis, à partir de Pittsburg, avec la Pennsylvania Railroad. Ces réseaux ont formé la Pittsburgh, Cincinnati, Chicago and St. Louis Railroad. Il avait accepté de construire ce pont si le président de la Pennsylvania Railroad, J. Edgar Thomson, l'autorisait à installer des appareils lui permettant de faire des mesures sur les membrures du pont. La travée sur le chenal principal de l'Ohio avait une portée de 97,5 m (320 pieds). Comme l'écrit Theodore Cooper a ouvert la voie des ponts en poutre à treillis de grande portée[2].
En 1867-1868, il a conçu et construit pour la Dubuque and Dunleith Bridge Company un pont pour franchir le Mississippi à Dubuque (Iowa).
Entre 1868 et 1874, James Eads a conçu et construit le pont Eads à Saint-Louis, au-dessus de Mississippi, dont les parties métalliques ont été produites par la Keystone Bridge Company.
Le Cincinnati Southern Railroad Bridge(en) au-dessus de l'Ohio a été réalisé par la Keystone Bridge Company suivant les spécifications de G. Bouscaren et conçu par J. H. Linville. Sa travée principale a une portée de 158,2 m. C'était alors la plus grande portée pour un pont à poutre en treillis.
En plus de ces grands ponts, J. H. Linville et la Keystone Bridge Company ont réalisé des centaines de ponts avec des portées plus courtes.