Турнір з боксу в напівсередній вазі на літніх Олімпійських іграх 2004 пройшов з 15 по 29 серпня і в ньому взяли участь 28 боксерів. Вагові норми становили від 64 до 69 кг.
Участь у турнірі брали 28 боксерів, які пройшли кваліфікаційні відбори, що проводилися у 2003 та 2004 роках. Усі бої проходили у форматі чотирьох раундів по дві хвилини. Очки нараховувалися за точне попадання в голову, або торс. Троє із п'яти суддів мали зафіксувати попадання. Переможцем ставав боксер з більшою кількістю влучень.