Er gehörte zu dem ursprünglich aus der Oberlausitz stammenden, im Dreißigjährigen Krieg nach Schleswig-Holstein gekommenen Adelsgeschlecht Baudissin. Seine Eltern waren Graf Joseph Franz Christian von Baudissin (* 9. Januar 1797; † 5. April 1871) und dessen Ehefrau Gräfin Julia Friederike Josephina von Reventlow (* 21. August 1798; † 3. Juli 1881). Damit waren Adalbert Heinrich Friedrich von Baudissin sowie Nikolaus von Baudissin seine Brüder. Seine Tante war Sophie Anna von Reventlow. Zu seinen Cousins ersten Grades zählten Eduard und Ulrich von Baudissin, ein Cousin zweiten Grades war Wolf Wilhelm von Baudissin.