A rua foi também o epicentro da cena das belas artes em Londres; em 1814 a Royal Academy, a National Gallery e a casa de leilõesChristie's situavam-se ali, embora nenhuma tenha permanecido no local por muito tempo.[1]
A propriedade alodial de quase todo o lado sul da Pall Mall pertenceu à coroa por centenas de anos, e até hoje é de propriedade do Crown Estate. O Palácio de St. James situa-se no lado sul da rua, em seu lado oeste. A Marlborough House, que já foi residência real, situa-se a seu lado, a leste, abrindo-se para um pátio situado ao sul da rua. A Carlton House, do príncipe-regenteJorge situava-se no lado leste da rua. A Pall Mall também já foi a sede do War Office, tornando-se praticamente um sinônimo da entidade (da mesma maneira que Whitehall se refere ao centro administrativo do governo do Reino Unido). O War Office estava instalado num complexo de edifícios na mansão ducal de Cumberland House, projetada por Matthew Brettingham e Robert Adam.