La fortezza è stata più volte distrutta e ricostruita a causa delle contese su Montepulciano da parte di senesi e fiorentini.
L'ultima ricostruzione è attribuita all'architetto Antonio da Sangallo il Vecchio, per cui l'appellativo di "medicea".
Ha infine subito profonde ristrutturazioni nel 1885 ad opera dell'ingegnere senese Augusto Corbi.
Finito lo scopo militare ha ospitato, prima uno stabilimento bacologico, poi il liceo classico "Agnolo Poliziano".
Attualmente alcuni suoi locali sono utilizzati come spazi espositivi, usati per l'annuale Mostra dell'artigianato. Altri invece ospitano la Kennesaw State University della Georgia (USA), che li utilizza a scopo didattico-formativo.