Der in Kamerun geborene Agoumé kam in seiner Kindheit nach Frankreich, wo er kurze Zeit bei Vereinen im ostfranzösischen Besançon spielte. Sein Talent wurde früh erkannt und auch Scouts von stärkeren Vereinen entdeckten den jungen Mittelfeldspieler. 2014 wurde er vom FC Sochaux-Montbéliard in deren Jugendakademie geholt. Bereits mit 15 Jahren spielte er für die U-19-Mannschaft der Lionceaux. Bereits mit 16 Jahren wurde er vom Trainer der Profis José Manuel Aira in die erste Mannschaft geholt. Am 19. Oktober wurde er beim 2:1-Auswärtssieg gegen den ES Troyes AC erstmals in einem Ligaspiel eingewechselt.[1] Aira wurde Mitte November entlassen und unter dessen Nachfolger Omar Daf bekam er weitere Einsatzmöglichkeiten. Sein erstes Spiel von Beginn an bestritt er am 22. Dezember 2018 beim 1:0-Heimsieg gegen den FC Lorient.[2]
Im Sommer 2019 wurde sein Wechsel zum italienischenErstligistenInter Mailand bekanntgegeben, wo er einen Dreijahresvertrag unterzeichnete.[3] Bei Internazionale war er vorerst in der Primavera eingeplant. Im November stand er erstmals im Spieltagskader der ersten Mannschaft von Cheftrainer Antonio Conte.[4] Am 15. Dezember (16. Spieltag) bestritt er sein Debüt beim 1:1-Unentschieden gegen den AC Florenz, als er in der 84. Spielminute für Borja Valero eingewechselt wurde.[5] Insgesamt absolvierte er in dieser Saison 2019/20 drei Kurzeinsätze für Internazionale.[4]
Am 24. September 2020 wechselte Agoumé auf Leihbasis für die gesamte Spielzeit 2020/21 zum Erstliga-Aufsteiger Spezia Calcio.[6] Sein Debüt gab er am 25. Oktober 2020 (5. Spieltag) beim 2:2-Unentschieden gegen Parma Calcio.[7] Im Anschluss wurde er erneut verliehen, dieses Mal nach Frankreich zu Stade Brest. Im September 2022 folgte eine einjährige Leihe an ES Troyes AC.[8] Im Januar 2024 wurde er an den FC Sevilla verliehen.[9]