Cresciuto a Bonn, a Rostock e a Strasburgo, dove il padre Otto Madelung fu direttore della clinica chirurgica presso l'università prima che l'Alsazia tornasse a essere, nel 1918, un territorio francese. Frequentò il rinomato Liceo protestante di Strasburgo; i suoi fratelli Walter Madelung e Georg Madelung erano rispettivamente un chimico e un ingegnere aeronautico.
Erwin Madelung studiò fisica a Kiel, a Zurigo e a Strasburgo conseguendo il dottorato in fisica nel 1905 presso l'Università di Gottinga, specializzandosi nello studio della struttura cristallina. Dopo aver viaggiato per un anno, tornò all'Università di Gottinga lavorando principalmente sulla struttura dei solidi cristallini. Nel 1912 divenne professore a Gottinga. Durante questo periodo sviluppò la costante di Madelung per caratterizzare l'effetto elettrostatico dovuto all'interazione fra gli ioni presenti in un cristallo e determinare l'energia implicata.[1]