Dalam usahanya menghindari Kraken, Jack berusaha berlayar ke pulau terdekat. Sayangnya, ia dan kapalnya malah terdampar di kepulauan Pelegosto, sebuah hutan tropis yang dihuni manusia kanibal. Beberapa kru kemudian dimakan oleh kanibal dan tulang-tulang mereka digunakan untuk mengurung kru yang masih hidup; Jack sendiri dijadikan kepala suku oleh mereka.
Will Turner yang sedang mencari Jack berhasil menemukannya di kepulauan Pelegosto ini. Dengan bahasa yang dibuat-buat, Jack menyuruh suku kanibal ini untuk mengurung Will bersama kru lainnya, Jack melakukan ini agar Will tidak segera dimakan para kanibal. Sebelum dikurung, Jack berbisik "help.. help me!" (tolong.. tolong aku!). Dalam kurungannya, Will akhirnya mengetahui bahwa suku kanibal tersebut percaya bahwa Jack adalah Tuhan mereka dan harus dimakan untuk membebaskan rohnya dari "penjara daging" yang menyelimutinya.
Kru Black Pearl yang tersisa kemudian berusaha kabur dan menuju ke kapal, hal yang sama juga dilakukan oleh Jack. Secara kebetulan, mereka bertemu dengan Pintel dan Ragetti, dua orang bekas-kru Black Pearl, yang sedang mempersiapkan Black Pearl untuk berlayar dengan niat mencuri kapal itu. Pintel dan Ragetti akhirnya ikut bergabung dengan Jack.
Dari dialog di film pertama, The Curse of the Black Pearl, diindikasikan bahwa Jack pernah mengunjungi pulau ini sebelumnya. Di film tersebut Jack menceritakan petualangannya kepada Tentara Kerajaan Mullroy dan Murtogg dan berkata, "...dan kemudian mereka menjadikan aku sebagai kepala suku mereka." Ceritanya tersebut mungkin merujuk pada Kepulauan Pelegosto. Dia juga terlihat fasih berbicara bahasa kanibal ketika ia menyuruh mereka untuk mengurung Will. Petunjuk terakhir yang menguatkan pandangan bahwa ia pernah ke sana sebelumnya adalah ketika ia tahu bahwa Tia Dalma tinggal di pulau ini dan tahu di mana ia tinggal.
Selain bangsa kanibal, pulau ini juga dihuni oleh beberapa suku yang tinggal di rawa-rawa. Tia Dalma adalah salah satu di antara mereka. Mereka mungkin adalah kelompok Voodoo atau mungkin juga budak-budak yang melarikan diri.
