Клуб було засновано у 1922 році при ЦК ЛКСМУ[1]. «Спартак» був найпопулярнішим харківським футбольним клубом у довоєнний час, хоча він не мав свого стадіону і йому доводилося грати на стадіонах «Металіст», «Сільмаш» та «Динамо». У першому клубному чемпіонаті СРСР з футболу «Спартак» грав у групі «В» та посів шосте місце. У наступному, осінньому, чемпіонаті, Спартак зайняв друге місце у групі, поступившись казанському «Динамо». У кубку СРСР команда дійшла до 1/16 фіналу, поступившись московському «Спартаку». Наступного року, команда виступила невдало у чемпіонаті, посіла сьоме місце з десяти команд. Однак, у Кубку СРСР1937 року команда вийшла до чвертьфіналу, де поступилася московському «Локомотиву» 1:4. Цей успіх харківські футболісти змогли повторити лише через 11 років, у 1948 році, коли «Локомотив» дійшов до чвертьфіналу. У 1938 році чемпіонат СРСР з футболу було реорганізовано, змагання проводилися лише у одному дивізіоні. З чотирьох харківських клубів залишилося два, «Спартак» та «Сільмаш», до їх складу перейшли кращі гравці розформованих команд, «Трактора» та «Динамо»: Леонід Мілов та Дмитро Старусєв (обидва — «Трактор»), Микола Фомін, Дмитро Кирилов, Григорій Харламов, Борис Андрєєв, Василь Гусаров, Василь Макаров, Костянтин Терещенко та Іван Привалов (всі — «Динамо»). «Спартак» зайняв 21 місце у чемпіонаті 1938 року та вибув у новостворену групу «Б». Хоча «Спартак» вдало розпочав змагання у чемпіонаті 1939 року, команда посіла 18 місце з 23. За регламентом 12 гірших команд чемпіонату втрачали статус команди майстрів, серед них опинився і «Спартак». Команда втратила всіх своїх провідних гравців та провела наступний сезон у другій групі чемпіонату Харкова. У 1941 році чемпіонат СРСР знову було реорганізовано, було вирішено, що Харків у групі «А» буде представляти «Спартак». Фактично це була нова команда, у ній майже не було гравців минулих років. Основу команди склали гравці розформованих харківських команд, «Динамо» та «Сільмаша». У цьому чемпіонаті команда посідає 14 місце (який не був завершений через напад нацистської Німеччини на СРСР22 червня). Всі шість років команду тренував Микола Кротов.
Після війни команда не брала участі в турнірах майстрів, та грала у чемпіонаті Харкова. Відомо, що «Спартак» брав участь у Кубку УРСР серед колективів фізичної культури 1959 року.
