À la création de la Fédération du Mali en 1959, il est nommé chef d’État major des forces armées par le président Modibo Keïta (Soudanais). Cependant, le vice-président Mamadou Dia (Sénégalais) nomme le colonel Amadou Fall au même poste que lui, ce qui témoigne des tensions croissantes entre les camps soudanais et sénégalais. Les objectifs respectifs des deux militaires sont en outre opposés : Abdoulaye Soumaré souhaite réduire la dépendance militaire du pays vis-à-vis de la France, tandis qu'Amadou Fall s'oppose à cette initiative[3].
Le , alors que la Fédération du Mali explose en deux États distincts, le Mali et le Sénégal, il est arrêté pour trahison et incarcéré pendant un mois. Il est ensuite extradé en France, où le gouvernement l'isole à Perpignan[2].
Quelques semaines plus tard, Modibo Keïta, premier Président de la République du Mali, demande officiellement à la France dans une lettre qu’Abdoulaye Soumaré puisse revenir servir l’armée malienne. Il réitère sa demande en personne quelque temps plus tard, lors d'un voyage officiel à Paris. Abdoulaye Soumaré est alors affecté comme coopérant militaire de la France auprès du gouvernement malien le . Cependant, dès le , il est nommé chef d’État-major des armées du Mali, devenant le premier à occuper cette fonction. À cette occasion, il est également élevé au grade de général de brigade[2].
À partir de 1961, Abdoulaye Soumaré participe à la construction des forces armées maliennes[1], qu'il souhaite uniquement composées de Maliens. Il fait pour cela notamment appel aux soldats encore en poste en Algérie[2].
Abdoulaye Soumaré est le père de plusieurs enfants. Sa fille aînée a épousé l'historien français Jean-Pierre Vallat. L'un de ses fils a également été le conseiller du président malien Amadou Toumani Touré, et travaille dans la diplomatie[6].
↑ abcd et eSoumaïla Guindo, « Le premier chef d'État-Major, le Général Abdoulaye Soumaré, immortalisé », L'Indépendant, (lire en ligne)
↑ abcd et eHawa Séméga, « 50 ans de l'Armée: Le Général Soumaré 1er chef d'État Major des Armées », journaldumali.com, (lire en ligne)
↑ a et bSarah Zimmerman, « Apatridie et décolonisation. Les tirailleurs sénégalais guinéens et la Guinée de Sékou Touré », Les Temps modernes, nos 693-694, , p. 111 à 145 (lire en ligne)