Вихованець футбольного клубу «Ковентрі Сіті» зі свого рідного міста. За дорослу команду дебютував 12 серпня 2009 року у матчі 1-го раунду Кубка Ліги проти «Гартлпул Юнайтед». «Ковентрі» поступився з рахунком 0:1 в додатковий час[1].
З сезону 2012/13 грав за «Ковентрі Сіті» у Першій лізі (3-й за рівнем дивізіон), але основним гравцем став лише у наступному сезоні 2013/14, в якому провів у першій лізі 37 матчів і забив 21 гол, увійшовши в «Команду року Першої ліги» за версією ПФА[2]. Крім того, Вілсон був визнаний найкращим гравцем сезону в «Ковентрі Сіті» за версією вболівальників клубу[3].
Влітку 2014 року перейшов в «Борнмут», який виступав у Чемпіошипі. У дебютному сезоні за клуб Каллум провів у чемпіонаті 45 матчів і забив 20 голів, допомігши команді вийти до Прем'єр-ліги[4]. 22 серпня 2015 року у матчі 3-го туру чемпіонату Англії зробив перший в сезоні 2015/16 хет-трик у ворота «Вест Гем Юнайтед». «Борнмут» виграв з рахунком 4:3[5]. Станом на 26 червня 2018 року відіграв за клуб з Борнмута 106 матчів в національному чемпіонаті.