Omkring 2000 f.Kr. började Pre-Dorsetkulturen etablera sig på norra delen av ön. Dessa efterträddes av Dorsetkulturen. De kallades så på grund av att de första fysiska bevisen av denna kultur har hittats nära Dorsetudden på öns sydvästkust. Mellan 1100-talet och 1300-talet spreds Thulekulturen över ön.
Baffinön var antagligen besökt av nordiska sjömän runt sekelskiftet på 1100-talet och ön kallades antagligen Helluland. Martin Frobisher nådde ön 1576 och mötte avkomlingarna till Thulekulturen, Baffinöns inuiter. Han gjorde ytterligare två resor (1577 och 1578) och förde med sig lådor med vad han trodde var guld, men i själva verket var malm. William Baffin, som ön är döpt efter, besökte öns östkust 1616 och Luke Foxe kom till Foxe Channel 1631. Ön låg i vägen för sökandet av Nordvästpassagen. William Parry utforskade öns västkust mellan 1821 och 1823. Han följdes av valfångare från Skottland och New England som etablerade en valfångststation i Cumberland Sound under det sena 1850-talet. Hudson Bay-kompaniet etablerade en post vid nuvarande Kimmirut 1911. Franz Boas vistades på ön vintern 1883-1884 och lyckades rita en ganska korrekt karta av ön.
Geologiskt är Baffinön en fortsättning på östra kanten av Kanadensiska skölden som lutar uppåt i öst för att forma en bergsrygg som sluttar mot platåer och lågland i väst. Dess östkust är indragen av Cumberland Sound och Frobisher Bay.
Klimat
Baffinön ligger i ett relativt nordligt luftflöde året om. Ön har därför, liksom resten av östra Kanada, ett mycket kallt klimat. Detta medför långa, kalla vintrar och dimmiga, molniga somrar, vilket har bidragit till att ön endast har en liten befolkning. Våren kommer mycket senare än för andra områden som ligger på norra polcirkeln, i Iqaluit i sydöst runt tidig juni, till tidig eller mitten av juli på nordkusten. Snö, även kraftig sådan, kan förekomma när som helst på året, även om det är mindre troligt på sommarmånaderna.
Ön ligger på norra polcirkeln och i de norra delarna är det således polarnatt och midnattssol.