Whitehall awalnya adalah kantor pusat untuk empat departemen pemerintah: urusan Luar Negeri, India, Rumah, dan Kolonial pada tahun 1866. Namun, sekarang hanya digunakan sebagai Kantor Luar Negeri dan Persemakmuran.
Sebelum 1768, tanggung jawab untuk urusan koloni Inggris berada di Kementerian Negara Departemen Selatan dan komite Dewan Penasihat yang disebut Dewan Perdagangan dan Perkebunan.[1]
Kantor Kolonial dipimpin oleh Menteri Negara untuk Koloni atau secara informal disebut Menteri Kolonial. Markas Kantor Kolonial berada di Gedung Utama Whitehall.