До основної команди клубу пробитися не зміг, втім привернув увагу представників тренерського штабу клубу «Клермон», до складу якого приєднався 2010 року. Відіграв за команду з міста Клермон-Ферран наступні три сезони своєї ігрової кар'єри.
У 2013 році приєднався до команди англійського клубу «Астон Вілла». До складу клубу «Кайсері Ерджієсспор» долучився 2014 року на правах оренди. Відтоді встиг відіграти за команду з Кайсері 15 матчів в національному чемпіонаті.
22 червня 2015 року перейшов у «Ренн»[1], де провів наступний сезон, після чого на правах оренди виступав за «Монпельє» в сезоні 2016/17 та в грецькому «Панатінаїкосі» восени 2017.
У січні 2018 контракт Сілла викупив бельгійський «Мехелен» за 750 тисяч євро, запропонувавши угоду до 2021 року. Однак за підсумками сезону 2017/18 «Мехелен» понизився в класі, і керівництво клубу виставило малійця на трансфер задля зменшення зарплатної маси. Після закриття трансферного вікна в серпні Сілла перестав потрапляти до заявок на матчі, а не знайшовши клубу нового клубу і в зимове трансферне вікно, Сілла розірвав контракт із бельгійським клубом у лютому[2].
Наступними клубами для Сілла стали норвезький «Стремсгодсет» навесні 2019 та румунський ЧФР (Клуж), за який він виступає з липня 2019.