Ludza is een van de oudste steden in Letland. Ze werd voor het eerst genoemd in Russische kronieken in 1173 of 1177.
In 1399 bouwde de Lijflandse Orde een stenen burcht boven op een ouder Letgaals houten fort.
Deze burcht van Ludza had drie verdiepingen, zes torens, drie poorten en twee kasteel-fronten en was de grootste en sterkste vesting in Letgallen. Het diende als oostelijke voorpost voor de Lijflandse Confederatie, vooral om de handelsroutes naar Rusland te bewaken.
Een aantal fragmenten van kasteelmuren en een goed bewaarde hoek van de drie verdiepingen hoge wand zijn bewaard gebleven.
Het is de belangrijkste toeristische attractie en het symbool van de stad Ludza.