Народилася в Осаці, Японія, у матері-японки та батька корейця. Дата народження Ко та японське ім'я в офіційних записах Японії — 26 червня 1952 року та Такада Хіме, відповідно. Її батько, Ко Гьонтек, працював у Осаці на швейній фабриці, керованій міністерством війни Японії. Ко разом із родиною переїхала до Північної Кореї у травні 1961 року або в 1962 році в рамках програми репатріації. На початку 1970-х почала працювати танцюристкою для мистецької трупи Мансуде в Пхеньяні. Її молодша сестра Ко Йонг Сук шукала притулку в посольстві США в Берні (Швейцарія), поки вона проживала там, опікуючись Кім Чен Ином під час його навчання, повідомляла Національна служба розвідки Південної Кореї. Американські чиновники організували виїзд Ко Йон Сук з країни без консультацій з південнокорейськими чиновниками.
Корейсько-японське походження Ко Йон Хі, на додачу до того, що її дідусь працював на швейній фабриці японської імператорської армії, зробили б її статус (сонбун) у північнокорейському суспільстві дуже низьким[15].
Попри це, було зроблено кілька спроб організувати культ особи Ко[16]. Ці спроби звеличення зазнали невдачі, їх припинили невдовзі після серцевого нападу Кім Чен Іра у 2008 році[15]. Розголошення її реального імені видало б поганий сонбун населенню і підірвало б ідею «чистої крові» корейських вождів, тому після смерті Кім Чен Іра ім'я жінки стало державною таємницею КНДР. При цьому при прославленні її називали «Великою Матір'ю», «Lee Eun-mi» та іншими непрямими іменами.
