На початку 17 століття власники Хоросткова Калиновські (можливо Мартін і Єжи, які були згадуються в 1625 році) споруджують замок. В цей час на Хоростків неоднократно нападали татари, про долю замку в цей час невідомо, але цілком можливо, що він виконував свою захисну функцію, оскільки це були не повномасштабні військові дії, а лише несподівані набіги.
Перше спустошення Хоросткова відбулося в 1648 році, коли козаки мали табір між Копичинцями і Хоростковим і пограбували замок Калиновського.
У 50-х роках 17 століття Хоростків був неодноразово спустошений козаками і їх союзниками татарами, як і інші володіння Калиновських – замки у Сидорові та Гусятині. Ці руйнування почалися з нападу 1650 року, коли татари повністю спалили місто, очевидно замок не встояв. Очевидці повідомляють про руйнування трьох сотень міських будинків.
У 1672 році, після того, як турки були зупинені біля бучацького замку, ці землі увійшли до складу Османської імперії, їх звільнив польський король Ян ІІІ Собеський у 1683 році. Очевидно, замок не був відновлений.
У 18 столітті місто належало Сангушкам. Наприкінці цього століття власником міста став польський дворянин Юзеф Левицький, який спорудив три храми – костел (до наших днів не дійшов), греко-католицьку церкву і каплицю на кладовищі.