Первоначальное здание дворца было возведено в 1846 году, когда местный дворянин получил разрешение на строительство двухэтажного дома. Оно представляло собой строение с симметричной планировкой, включавшее в себя семь комнат на первом этаже и девять на втором. Вскоре после завершения строительства этого здания его расширили и добавили ещё один портал. В 1866 году перед дворцом был разбит сад. Через два года рядом с ним были возведены дополнительные строения, а в самом здании российские власти разместили резиденцию ковенского губернатора. В 1876 году они наконец выкупили этот дворец. Во второй половине XIX века здание продолжало расширяться: было построено дополнительное крыло, а также новая галерея. В 1915 году, во время своего посещения Восточного фронта Первой мировой войны, германский кайзерВильгельм II ненадолго останавливался в этом дворце.
Литва провозгласила свою независимость в 1918 году, и здание перешло в собственность литовского правительства. После того, как литовская столица Вильнюс была занята Польшей, Каунас стал временной столицей, а бывшая резиденция ковенского губернатора — президентским дворцом. После реконструкции он получил статус официальной резиденции президента Литвы. Здание стало свидетелем кризиса литовского парламентаризма, военного переворота 1926 года и перехода к авторитарному режиму. Сад дворца был обнесён чугунной оградой, сохранившейся до наших дней. Дворец служил президентской резиденцией до 1940 года, когда Литва снова потеряла свою независимость. В ночь с 14 на 15 июня 1940 года, перед лицом неминуемой советской оккупации, здесь прошло последнее заседание литовского правительства[1].
В советский период дворец подвергся дополнительным перестройкам, размер его сада был уменьшен, а некоторые прилегающие к нему постройки были снесены. На первом этаже были удалы некоторые внутренние стены, чтобы освободить место для кинотеатра. Впоследствии он был преобразован в Каунасский учительский центр, где размещались учительские организации.
В 1989 году управление дворцом было передано Военному музею Витовта Великого[англ.]. После восстановления независимости Литвы в 1991 году здание было признано исторической достопримечательностью. Вскоре после этого в дворцовом саду были установлены три статуи межвоенных президентов Литвы: Антанаса Сметоны, Александраса Стульгинскиса и Казиса Гринюса. В 1997 году во дворце начали проводиться ещё одни ремонтные работы, но из-за финансовых проблем они заняли шесть лет. В 2003 году, в преддверии 85-летия независимости Литвы, был официально открыт отреставрированный дворец. Общая стоимость этих работ превысила пять миллионов литов[2].