Welliver is een zoon van Neil Welliver, die een bekende landschapschilder was. Zijn moeder was modetekenaar en hij heeft drie broers, van wie er een overleden is. Welliver groeide op in Philadelphia (Pennsylvania) en New York, omgeven door kunstschilders en dichters. Aanvankelijk ging zijn hart uit naar het schilderen, net als bij zijn vader, maar later raakte hij verknocht aan het acteervak. In 1980 verhuisde hij naar New York om een acteursopleiding te volgen aan de New York University. Om financieel rond te komen, werkte hij tijdens zijn studie als barkeeper en metaalbewerker.
Welliver was van 1995 tot en met 2004 getrouwd[1] en heeft uit dit huwelijk twee zonen. In 2005 hertrouwde hij[2] en kreeg hij hieruit nog een dochter. Als hobby speelt hij mondharmonica.[3]
Op 15 april 2014 is Welliver getrouwd met het Nederlandse oud-model José Stemkens (Meijel-Limburg). Half 2019 zijn José en Titus gescheiden.