Cafodd ei geniyn nhalaith Brasil Bahia, yn ferch i fam o Frasil a thad o'r Almaen. Cafodd ei magu yn Rio de Janeiro. Athro iaith oedd ei thad.[3] Priododd João Gilberto ym 1959 a bu iddynt fab, y cerddor João Marcelo Gilberto. Ysgarodd Astrud a João yng nghanol y 1960au. [4] Priododd am yr eildro a chael mab arall, Gregory Lasorsa, a oedd hefyd yn chwarae gyda'i fam. [5][6] Yn ddiweddarach bu’n rhaid iddi gael perthynas â'r chwaraewr sacsoffon jazz Americanaidd, Stan Getz, ond roedd yn berthynas ffiaidd. [7] Symudodd hi i'r Unol Daleithiau ym 1963 a bu'n byw yn yr Unol Daleithiau o'r amser hwnnw ymlaen.
Bu farw Gilberto o achosion heb eu datgelu[2][8] yn ei chartref yn Philadelphia, meddai ei hwyres Sofia Gilberto ar gyfryngau cymdeithasol.[9]