Kommunen består helt av öar, totalt cirka 600 stycken. Av landarealen är 7 % jordbruk, 10 % skog och resten öde klippor och fjällområden. De största öarna är Vannøya, Karlsøya, Helgøya, Nord-Kvaløya, Reinøya och Nord-Fugløya. Dessutom ingår stora delar av Rebbenesøya och Ringvassøya. På dessa senare öar har kommunen landgräns mot Tromsø kommun i söder. Bebodda öar är Ringvassøya, Reinøya, Karlsøya, Vannøya och Rebbenesøya. I öster ligger Lyngens kommun och Skjervøy kommun och i norr och väster ligger Atlanten.
Karlsøy kommun bildades på 1830-talet, samtidigt med flertalet andra norska kommuner.[8]
1867 överfördes Sørfjords socken med 867 invånare till Lyngens kommun. 1886 bildades Helgøy kommun genom en delning av Karlsøy. 1964 slogs Helgøy och Karlsøy samman igen, samtidigt som fastlandsdelen av Karlsøy överfördes till Lyngens kommun.[9]