Suo padre Baldovino era divenuto Baldovino I Conte di Hainaut, nel 1051, per diritto matrimoniale, dopo aver sposato a Contessa di Hainaut, Richilde di Egisheim, che era vedova del Conte di Hainaut, Ermanno, come precisa il Chronicon S. Andreæ, Castri Cameracesii II[7], spodestando i due figli minorenni, che Rachele aveva avuto dal primo marito, Ermanno di Hainaut, che, secondo la Gisleberti Chronicon Hanoniense, erano stati avviati alla vita religiosa[8]: Ruggero, che secondo gli Iacobi de Guisia Annales Hanoniæ, era claudicante dalla nascita[2], divenne, nel 1066, vescovo di Châlons[8], mentre la figlia Agnese, entreta in monastero, divenne suora[8]. Poi suo padre, Baldovino nel 1067, divenne Conte delle Fiandre come Baldovino VI, succedette al padre, Baldovino V, che in quell'anno era morto; gli IAnnales Elnonenses Maiores riportano la morte del padre, Baldovino V[9].
Suo padre, Baldovino VI morì, quando Arnolfo aveva quindici anni, nel 1070; sia gli IAnnales Elnonenses Maiores che gli Annales Blandinienses riportano la morte di Baldovino VI[10], il 17 luglio (XVI Kal Aug)[11] A Baldovino VI succedette il figlio maggiore, Arnolfo, sia nelle Fiandre[12], come Arnolfo III, che in Hainaut, come Arnolfo I. Rimasta nuovamente vedova sua madre, Richilde, che era preoccupata della ribellione del cognato e zio di Arnolfo, Roberto il Frisone, per il possesso delle Fiandre, per avere un alleato contro il cognato, si offrì in moglie a Guglielmo FitzOsborn, Conte di Hereford, anche lui vedovo e, in quello stesso anno, Richilde, in terze nozze, si unì a Guglielmo, che, secondo gli Annales de Wintonia era nipote del re d'Inghilterra, Guglielmo il Conquistatore[13]; il matrimonio fu approvato sia da Guglielmo il Conquistatore che dal re di Francia, Filippo I[13]. Roberto il Frisone aveva contestato la successione a Baldovino VI, e attaccò le truppe di Arnolfo[13], il 22 febbraio 1071, nella battaglia di Cassel, a Bavinchove, ai piedi di Mont-Cassel, prima che queste avessero avuto il tempo di organizzarsi. Arnolfo stesso rimase ucciso nella battaglia insieme a Guglielmo FitzOsborn e Richilde venne catturata dalle forze di Roberto, come ci confermano gli Annales Blandinienses[14]. Lo scontro viene confermato dal documento n° XXI del Cartulaire de l'Abbaye de Saint-Bertin, che lo cita come una guerra civile (pugna civili), avvenuta a Cassel (apud castrum Casseletum), e conclusa con la morte di Arnolfo III e la cacciata dalla contea della madre, Richilde e del fratello minore, Baldovino[15]; Roberto, dopo aver ottenuto la vittoria, ebbe tutte le Fiandre[15], divenendo conte di Fiandra, mentre la contea di Hainaut andò Baldovino (Baldovino II d'Hainaut). Richilde viene citata assieme al figlio, Baldovino, dal re di Germania e futuro imperatore, Enrico IV di Franconia nel documento n° 242, datato 1071, dei Heinrici IV Diplomata, in cui le venne riconosciuto il titolo di contessa di Hainaut unitamente al figlio, Baldovino II[16].
