Pulau ini ditemukan pada 21 Agustus1821 oleh awak kapal InggrisEliza Francis, dan dinamai oleh komandannya Kapten Brown menurut pemilik kapal tersebut, Edward, Thomas, dan William Jarvis.[1][2] Pulau tak berpenghuni ini dicaplok AS pada 1858, tetapi ditinggalkan pada 1879 setelah seton pupuk kotoran telah dibersihkan. Inggris mencaplok pulau ini pada 1889, tetapi tak pernah menyediakan rencana buat eksploitasi lebih lanjut. Endapan pupuk kotoran ditambang sampai akhir 1800-an. AS menduduki dan memperoleh lagi pulau ini pada 1935.
Perkampungan Millersville di bagian barat pulau ini kadang-kadang dipakai sebagai stasiun cuaca sejak 1935 sampai PD II, saat ditinggalkan; diduduki lagi pada 1957 selama Tahun Geofisika Internasional oleh ilmuwan namun ditinggalkan lagi pada 1958.
Orang masuk ke Pulau Jarvis mewajibkan surat izin penggunaan khusus Dinas Perikanan dan Margasatwa AS dan secara umum dibatasi buat ilmuwan dan pendidik saja. Pulau ini dikunjungi tiap tahun oleh Dinas Perikanan dan Margasatwa AS dan Penjaga Pesisir AS.
Tiada pelabuhan di sini, tetapi ada sedikit pelabuhan lepas pantai. Ada 1 daerah penyeberangan sekoci di tengah pesisir barat dan lainnya dekat pojok barat daya pulau. Mercu suar siang hari dekat di tengah pesisir barat.
Iklimnya tropis, dengan curah hujan kurang, berangin tetap, dan matahari yang hangat. Berbeda dari permukaan laut 7 meter, tanah lapangnya berpasir, dan pulau koralnya dikelilingi batu karang pinggiran yang sempit. Kejarangan serangkai rumput, tumbuhan yang lemah, dan semak belukar yang tumbuhnya lambat terutama persarangan, tenggeran, dan habitat makanan ternak buat burung laut, burung darat, dan margasatwa laut. Pulau ini tak memiliki mata air segar yang alami.
