Родился 29 декабря 1830 года на Стат-Айленде, штат Нью-Йорк, в семье коммодора Корнелиуса Вандербильта и его жены — Софии Джонсон. Был вторым сыном из тринадцати рождённых детей[2][3].
В возрасте восемнадцати лет Корнелиус начал страдать эпилепсией, которую его отец счёл слабостью и даже психическим расстройством, полагая, что его сын должен находиться в психиатрической больнице. В 1849 году, чтобы «закалить» сына, отец отправил 18-летнего юношу матросом на борт трехмачтовой шхуны, направлявшейся в Калифорнию на золотые прииски. Но Корнелиус в Сан-Франциско заболел и вернулся обратно в Нью-Йорк. По возвращении отец отправил в психиатрическую больницу Блумингдейла[англ.]. Выписан из лечебницы Корнелиус был в феврале 1850 года. В 1850 году Корнелиус поступил в Колумбийский колледж[англ.], но не окончил его[4].
Корнелиус пробовал себя в нескольких профессиях, в том числе работал клерком, торговцем кожей, фермером и налоговым агентом — но нигде не имел успеха. У него развилась проблема с азартными играми, и он использовал имя Вандербильтов, чтобы занимать деньги, обычно не возвращая их. В январе 1854 года старший Корнелиус снова арестовал сына и отправил его в приют. Его старший брат Уильям Генри, сообщал, что они с отцом снова пытались поместить Корнелиуса в психиатрическую лечебницу, чтобы избежать уголовного обвинения за его случаи подделки документов.
В 1856 году Корнелиус Иеремия Вандербильт женился на Эллен Уильямс (1820—1872) из Хартфорда, штат Коннектикут, дочери министра. Этот брак был единственным в жизни Корнелиуса, детей у них не было. Он основал фруктовую ферму в Ист-Хартфорде[англ.], Коннектикут, но обанкротился в 1868 году. В 1857 году коммодор приобрел для сына поместье в Западном Хартфорде. Он построил на этом участке особняк с 30 комнатами, спроектированный Джоном Мидом. Но в нём так и не поселился.