В начале XIX века обветшавший дворец сдавался под квартиры, потом был приспособлен под военный госпиталь, пока его в 1859 году не выкупил Польский музыкальный институт. Именно в этом здании работали такие крупные музыканты, как Монюшко и Падеревский. Надстроив дворец ещё одним этажом, институт в 1913 году переехал в новое и более вместительное здание по соседству. Во время Второй мировой войны немцы разрушили дворец, но в 1949-54 гг. он был восстановлен из руин.