Bangunan ini dulunya merupakan puri pribadi yang dibangun tahun 1819[1] oleh Aaron Cardozo, seorang pedagang kaya keturunan Yahudi Portugal di Gibraltar, untuk dijadikan rumah keluarganya. Puri ini adalah puri pribadi terbesar di Gibraltar.[2] Rumah tiga lantai ini mendominasi kaki langit John Mackintosh Square.
Bangunan ini dibangun di lahan bekas rumah sakit lama, kapel La Santa Misericordia (bahasa Inggris: The Holy Mercy), dan penjara.[1] Sebagai non-Protestan, Cardozo secara hukum tidak diizinkan memiliki properti di Gibraltar. Namun karena ia adalah teman dekat Nelson dan telah membantu armadanya, ia diberikan sepetak lahan untuk pembangunan rumah di Alameda dengan syarat harus menjadi "ornamen" bagi alun-alun di sana.[2] Biaya pembangunannya sekitar £40.000.[3]
Setelah meninggal dunia tahun 1834, puri Cardozo disewakan kepada John Ansaldo[4] sebagai sebuah hotel bernama Club House Hotel.[1] Hotel ini dibeli tahun 1874 oleh Pablo Antonio Larios, seorang pebisnis dan bankir kaya kelahiran Gibraltar, anggota keluarga SpanyolLarios, yang merombak habis bangunan tersebut.[1] Tahun 1922, putranya Pablo Larios, Marquis Marzales (Master of the Royal Calpe Hunt selama 45 tahun), menjual bangunan ini ke pemerintah kolonial Gibraltar yang ingin mengubahnya menjadi kantor pos. Akan tetapi, bangunan ini dijadikan gedung Dewan Kota Gibraltar yang baru terbentuk.[5] Sejak 1926, jasa telepon Gibraltar dioperasikan oleh Dewan Kota[6] dan layanan pengalihan di Gibraltar dipasang di lantai bawah gedung ini.[7] Gedung ini kemudian diperluas (satu lantai baru dan satu sayap baru ke utara) dengan memodifikasi simetri awalnya. Saat ini, gedung ini merupakan kediaman Wali kota Gibraltar.
Romero Frías, Rafael (1994). Fundación Arte y Tecnología de Telefónica, ed. Colección Histórico-Tecnológica de Telefónica (dalam bahasa Spanish). Madrid. ISBN84-604-9745-3.Pemeliharaan CS1: Bahasa yang tidak diketahui (link)
