Produto da academia do Shamrock Rovers,[7] Bazunu a sua estreia pela equipa principal com 16 anos, a 9 de junho de 2018, numa vitória em casa por 5–0 sobre o Bray Wanderers.[2][8] O treinador Stephen Bradley afirmou que, embora não gostasse de 'apostar [em guarda-redes jovens] tão cedo', Gavin se encontrava 'pronto' para a sua estreia profissional.[8] Bazunu fez mais 3 jogos pelo Shamrock Rovers na League of Irelanda Premier Division de 2018, não sofrendo quaisquer golos.[2] Num deles, defendeu, inclusive, um penálti, frente ao Cork City.[9] Além disso, Gavin participou em 2 partidas da Liga Europa de 2018–19.[10]
Manchester City
A 6 de setembro de 2018, foi anunciado que o Manchester City, clube da Premier League, teria fechado a contratação de Bazunu por uma taxa não revelada (estimada em cerca de 420 mil libras). O jovem desejava concluir os estudos a Irlanda, pelo que não foi definida a data em que se juntaria ao clube inglês.[11][12] No mês seguinte, o City anunciou ter assinado um pré-contrato com o jogador,[13] que se juntaria ao clube no verão de 2019; no entanto, Bazunu acabou por se mudar para os Citizens antes do previsto, em fevereiro de 2019.[14] A 9 de fevereiro, Gavin fez a sua estreia pelos Sub-18 do Manchester City, numa derrota por 2–1 frente aos Sub-18 do Stoke City.[14]
Em finais de agosto de 2020, Bazunu renovou contrato com o Manchester City até 2024, sendo posteriormente emprestado ao Rochdale, da League One, até ao fim da temporada 2020–21.[16][17] A 5 de setembro, fez a sua estreia pelo clube, começando a titular e não sofrendo golos numa vitória por 1–0 em casa do Huddersfield Town, na EFL Cup.[18] Na semana seguinte, fez o seu primeiro jogo na liga, numa derrota por 3–1 no terreno do Swindon Town.[19]
A 1 de julho de 2021, Bazunu foi emprestado ao Portsmouth até ao fim da temporada 2021–22.[20][21] No fim da época, o jovem guarda-redes foi eleito Jogador da Temporada tanto pelos companheiros de equipa como pelo clube.[22]
Southampton
A 17 de junho de 2022, Bazunu assinou um contrato de 5 anos pelo Southampton,[23] com os Saints a pagarem 12 milhões de libras ao Manchester City pelo guarda-redes.[24] A 6 de agosto, Gavin fez a sua estreia na Premier League, numa derrota por 4–1 frente ao Tottenham Hotspur.[25] A 19 de outubro, Bazunu completou o seu primeiro jogo sem sofrer golos na competição, numa vitória por 1–0 sobre o Bournemouth.[26]