Staden grundades vid mynningen av Braunbach i Lainsitz som gräns- och borgstad. Stadsslottet uppfördes på 1500-talet och är idag omgiven av en engelsk park. 1869 invigdes Franz-Josefsbanan från Wien till Prag som hade stora verkstäder i Gmünd. Gmünd blev dessutom viktig järnvägsknutpunkt.
Endast få hus har bevarat sitt gamla utseende. Till dem hör de skrafferade husen vid stadstorget och det gamla fristående rådhuset mitt på torget som idag inhyser stadsmuseet.