В 1719 году Пётр I направил очередной отряд для отыскания золота Яркенда. Во главе новой экспедиции стоял майор Иван Михайлович Лихарев. 20 августа 1720 года у устья реки Ульбы Лихарев отдал приказ о закладке оборонительных сооружений. Осенью 1720 года[5] на месте слияния рек Иртыш и Ульба была заложена Усть-Каменогорская крепость. В 1868 году она получила статус города.
Таким образом на территории Казахского ханства появилась крепость Усть-Каменная, крайняя южная оконечность Иртышской укреплённой линии. И. М. Лихарев оставил гарнизон из 363 человек и назначил комендантом новой крепости подполковника Ступина, возглавившего строительство крепости, руководил которым инженер Летранже. Первыми усть-каменогорцами были солдаты и офицерыКолыванского драгунского полка.
Четырёхугольная деревянная крепость занимала площадь около гектара, была обнесена частоколом и окружена высокими валами. На территории крепости находились казармы для солдат, военный госпиталь, квартиры военачальников, различные кладовые и отделение каторжной тюрьмы.
С 1745 года Усть-Каменогорская крепость входила в состав Сибирской губернии. Крепость пережила не один крупный пожар. После одного из них в 1766 году была отстроена большая каменная крепость, обнесённая каменным валом и рвами.
В 1757 году урянхайцы совершили нападение на село Прапорщиково, находящегося на правом берегу реки Иртыш, между форпостомУбинским и крепостью Усть-Каменогорской, это побудило правительство России перенести южный конец Колыванской линии к этой последней крепости, при чём между нёю и заводом Колывано-Воскресенским было построено пять новых форпостов[2].
В 1804 году в связи с ростом числа жителей и строительством домов вблизи крепости произошло переименование крепости Усть-Каменной в город Усть-Каменогорск[6].
27 ноября 1879 года крепость была снята с военного баланса и передана городу.
После революции 1917 года крепость получила название «Сибирский Шлиссельбург»[7].
Остатки крепостного вала сохранились в Усть-Каменогорске до сих пор. Прямо за валом находится следственный изолятор, с другой стороны вала — Андреевский кафедральный собор.
В массовой культуре
Усть-Каменогорская крепость описывается в приключенческом романе Николая Ивановича Анова «Пропавший брат» (1941). Действия нескольких глав романа происходят в Усть-Каменогорской крепости.