Wilayah di sekitar Port Jackson ditempati -pada saat penemuan dan kolonisasi bangsa Eropa- oleh beberapa suku termasuk orang-orang Gadigal, Cammeraygal, Eora dan Wanegal. Orang Gadigal diyakini menempati wilayah sepanjang bagian Selatan Port Jackson mulai dari apa yang sekarang disebut "South Head" hingga ke "Petersham". Orang Cammeraygal tinggal dibagian Utara pelabuhan. Wilayah Selatan sungai Parramatta, Barat Petersham hingga Rose Hill, dilaporkan sebagai milik orang Wanegal. Orang Eora tinggal dibagian Selatan pelabuhan, dekat dengan tempat pendaratan rombongan Eropa pertama.
Penemuan pelabuhan oleh orang-orang Eropa dikreditkan kepada Letnan James Cook pada tahun 1770, meskipun dia tidak memasukinya. Cook menamakan pelabuhan tersebut untuk mengenang Sir George Jackson. Kapten Arthur Phillip mendirikan coloni pertama di Australia di Sydney Cove di dalam Port Jackson pada tahun 1778 yang di mana akhirnya menjadi kota Sydney. Dalam berita pertamanya dari koloni tersebut untuk sebuah koran terkenal di England "...kami puas akan penemuan pelabuhan terbaik di dunia, yang di mana ribuan kapal dapat berlayar di bawah keamanan paling sempurna..."
Geografi
Secara geografis, Port jackson adalah lembah sungai yang tenggelam, dengan panjang 19 km dengan area seluas 55 km². Volume muara pada saat pasang adalah 562.000 megaliter. Panjang keliling muara adalah 317 kilometer.
Menurut Geographical Names Board of NSW, Port Jackson adalah "sebuah pelabuhan yang terdiri dari semua air dalam garis khayal yang menhubungkan North Head dan South Head. Dalam pelabuhan ini terletak North Harbour, Middle Harbour dan Sydney harbour." Ketiga pelabuhan ini membentang dari pintu masuk tunggal (disebut sebagai Sydney Head (North and South heads)). North Harbour adalah yang terpendek dan hanya berupa sebuah tanjung besar yang memanjang hingga ke Manly. Middle Harbour memanjang ke Barat-Laut dan dihubungkan oleh jembatan di The Spit dan Roseville. Daerah hulu sungai-nya terletak dalam Taman Nasional Garigal. Lengan terpanjang, Sydney Harbour, membentang ke Barat sejauh Balmain, di mana muara sungai Paramatta dan Lane Cove berada. Port Jackson dihubungi oleh jembatan Sydney Harbour Bridge dan ANZAC Bridge (sebelumnya dikenal sebagai Glebe Island Bridge). Sebuah terowongan, Sydney Harbour Tunnel melintasi bawah pelabuhan, ke bagian Timur jembatan, dan pada tahun 2005 diusulkan pembangunan penghubung ketiga -railway line (kereta api)- di sebelah Barat jembatan. Tanjung dibagian Selatan cenderung luas dan bundar, sedangkan pada bagian Utara umumnya berteluk-teluk kecil. Distrik bisnis (CBD) utama Sydney mulai dari Circular Quay, sebuah tanjung kecil dibagian Selatan Port Jackson yang dari waktu ke waktu direklamasi semi-bundar dari daratan ke area pulau kecil berbentuk persegi panjang di ujung tanjung tersebut (quay). Bagian utara pelabuhan kebanyakan ditujukan untuk kepentingan residensial.
Port Jackson dikelola oleh New South Wales Maritime Authority dan Sydney harbour Foreshore Authority.
Pulau-pulau
Ada beberapa pulau di dalam kawasan pelabuhan, termasuk Shark Island (Pulau Shark), Clark Island, Fort Denison, Goat Island, Cockatoo Island, Spectacle Island, Snapper Island dan Rodd Island. Beberapa pulau terdahulu seperti Bennelong Island, Garden Island dan Berry Island telah digabungkan dengan daratan melalu reklamasi.
Ferry pelabuhan Sydney
Sydney Ferries adalah perusahaan milik negara bagian New South Wales yang menyediakan layanan ferry bagi komuter dan turis di Pelabuhan Sydney.
Pelabuhan Sydney sebagai satuan pengukuran
Di Australia, besaran berbagai wilayah perairan (body of water) direferensikan dengan ukuran Pelabuhan Sydney, yaitu sebuah wilayah perairan x adalah y kali ukuran Pelabuhan Sydney. Contoh: Ukuran Danau Argyle, Dam (Bendungan) Sungai Ord dan danau terbesar di Australia, adalah (berturut-turut) "18 kali lebih besar daripada Pelabuhan Sydney, 8-13 volume Pelabuhan Sydney dan 9 kali lebih besar daripada Pelabuhan Sydney." Warragamba Dam di New South Wales dan Penyuplai air utama di Sydney digambarkan "4 kali lebih besar daripada Pelabuhan Sydney". Danau Eucumbene, satu dari beberapa dam-dam utama di Snowy Mountains Scheme, menampung "9 kali volume Pelabuhan Sydney, atau barangkali tiga belas kali." Perbandingan tidak hanya terbatas terhadap dam-dam saja. Tanjung Jervis di New South Wales dikatakan "paling tidak 6 kali lebih besar daripada volume (dan 4 kali lebih luas) daripada Pelabuhan Sydney" dan Tanjung Boston di Australia Selatan, di mana Port Lincoln berlokasi, adalah "tiga setengah kali lebih besar daripada Pelabuhan Sydney."
(en) Sydney Harbour Federation Trust Didirikan oleh Pemerintah Australia untuk merencanakan kawasan Pertahanan lama dan Tanah-tanah Persemakmuran khusus lainnya di sekitar Pelabuhan Sydney.