Élu lors d'une élection partielle déclenchée après le décès du député David Thompson dans Haldimand, il est défait lors de l'élection générale de 1887. L'élection étant très serrée, celle-ci est annulée et une élection partielle est déclenchée plus tard la même année. À nouveau défait, par une faible, mais plus importante, marge, l'élection est invalidé et Colter remporte la nouvelle élection partielle de 1889. Ce dernier scrutin étant lui aussi contesté, une troisième élection partielle est organisée en 1890. Colter perd cette dernière élection partielle ainsi que l'élection de 1891. Il tente sans succès un retour en politique lors de l'élection générale de 1921 dans Elgin-Est.