С XII века район на правом берегу Рейна южнее Дуйсбурга использовался для ведения сельского и лесного хозяйства. Для управления этими хозяйствами строится замок в местности, которая с XI века принадлежала монастырю Святого Свитберта в Кайзерверте. Первое документальное упоминание о замке относится к 1189 году. В этом документе говорится о том, что благородный господин Арнольд фон Теферен закладывает свои вассальные владения на правом берегу Рейна за 100 марок графу Энгельберту фон Бергу. В перечне указывается и имение, находящееся во владении некоего Отто фон Хельдорпа. Также некий Цободонус де Хельдорп фигурирует как свидетель при предоставлении городских прав Дюссельдорфу в 1288 году.
В 1360 году Адольф фон Грашаф продаёт замок Хельторф Томасу фон Лоаузену, который позже возьмёт себе фамилию фон Тройсдорф по имени своего родового имения. Семейство фон Тройсдорф будет владеть замком Хельторф на протяжении 6 поколений, пока Мария фон Тройсдорф не принесёт его в приданое Вильгельму фон Шайд-Вешпфеннингу в 1569 году. Их внучка Мария в 1649 году сочеталась браком с графом Фридрихом Кристианом фон Шпее. После смерти родителей Марии в 1662 году замок Хельторф переходит в наследное владение семейству фон Шпее, которое владеет им и по сей день.
Господский дом замка был заново построен в начале XIX века в классическом стиле. В большом садовом павильоне замка ценность представляют фрески из цикла Барбаросса: «Примирение Фридриха и папы в Венеции» (1826), «Унижение жителей Милана» (1833) и «Коронация Фридриха I» (1837) работы Генриха Мюке и другие. Наряду с этим замок владеет обширной коллекцией старых книг — специально для библиотеки графов фон Шпее архитектор Кёльнского собораФинкенц Штац в 1862 году построил псевдоготическое здание в виде башни.
Замок закрыт для публичного посещения. Парк открыт для посещения с 1 мая по 31 октября в субботние, воскресные и праздничные дни с 10:00 до 18:00.
