Андерсен почав займатися футболом у віці 4 років в місцевому клубі «Греве», де грав з 2000 по 2009 рік. Потім він приєднався до академії «Копенгагена», а коли Йоахіму було 15 років, він став гравцем юнацької команди до «Мідтьюлланна». У 2013 році він підписав молодіжний контракт з «Твенте», нідерландський клуб виплатив «Мідтьюлланну» близько 5 млн данських крон (650 тис. євро)[1].
«Твенте»
8 листопада 2013 року Андерсен дебютував у складі «Йонг Твенте», відігравши повний матч проти «Телстара»[2]., в якій провів чотири сезони, взявши участь у 40 матчах чемпіонату. Всього за «Йонг Твенте» відіграв 47 матчів у всіх турнірах.
7 березня 2015 року він отримав свій шанс у першій команді, вийшовши у матчі проти клубу «Віллем II» на останні 20 хвилин[3]. Через тиждень він підписав новий контракт з «Твенте» до 2018 року[4]. У 2015 році Андерсен став найкращим данським гравцем до 19 років за версією Данського футбольного союзу[5].
22 березня вийшов з перших хвилин у матчі проти «Гронінгена» і забив перший гол за першу команду. Щоразу отримував дедалі більше часу у складі першої команди. Він продовжував свій розвиток і став основним гравцем команди у сезоні 2015–16.
Відіграв за команду з Енсхеде три сезони своєї ігрової кар'єри.
«Сампдорія»
26 серпня 2017 року уклав контракт з італійським клубом «Сампдорія»[6]. Він мав пропозиції від інших клубів з різних ліг, але обрав Сампдорію для розвитку в Серії А., у складі якого провів наступні два роки своєї кар'єри гравця.
Андерсен дебютував за новий клуб 25 лютого 2018 року в матчі проти «Удінезе». У тому сезоні він провів ще сім матчів, а з початку сезону 2018–19 став регулярним стартером, тим самим привертаючи увагу інших клубів. У другому сезоні він пропустив лише одну гру через дискваліфікацію. «Сампдорія» запропонувала йому новий контракт до літа 2022 року, який він підписав 8 листопада 2018 року[7].
«Ліон»
12 липня 2019 року Андерсен підписав п’ятирічний контракт з французьким «Ліоном»[8]. Вартість трансферу склала 30 млн євро (24+6 млн бонусів), Андерсен став рекордним трансфером «Ліона»[9]. Це також рекордна вартість трансферу для футболістів з Данії.
2 жовтня він дебютував у Лізі чемпіонів у матчі проти «РБ Лейпциг», а 11 листопада забив свій перший гол у цьому турнірі у переможному матчі проти «Бенфіки» (3:1).
5 жовтня 2020 року Андерсен приєднався до клубу англійської Прем'єр-ліги«Фулгема» на правах сезонної оренди[10]. Всього за сезон відіграв за лондонський клуб 31 матч в національному чемпіонаті.
«Крістал Пелес»
28 липня 2021 року «Крістал Пелес» оголосив про підписання Андерсена на 5 років; англійський клуб заплатив «Ліону» 17,5 млн євро[11].