От дворца 1-го графа Пембрука, приписываемого самому Гольбейну, уцелела только одна въездная башня, напоминающая аналогичное тюдоровское сооружение в Хэмптон-Корте. В 1630-е годы позднеготический дворец-замок оказался безнадёжно устаревшим, вследствие чего была предпринята его перепланировка в палладианском стиле. Авторами проекта 1640-х гг. называют Иниго Джонса и его помощника Джона Уэбба, хотя основную часть работы, скорее всего, выполнял его помощник, француз Исаак Деко[фр.].
В течение XVII—XVIII веков (особенно после пожара 1647 года) дворец неоднократно достраивался и перестраивался. Его интерьеры постоянно пополнялись художественными сокровищами — среди них произведения Рубенса и ван Дейка, Рембрандта и дель Сарто, Лели и Чиппендейла. В 1801 году для подновления усадьбы был приглашён Джеймс Уайет, попытавшийся стилизовать отдельные части здания в неоготическом стиле под сказочный Камелот. Эту работу не принято относить к удачам архитектора.