Військовий коледж сержантського складу створено на виконання постанови Кабінету Міністрів України від 13 травня 2009 р. № 467 «Про заходи щодо подальшої оптимізації мережі вищих військових навчальних закладів та військових навчальних підрозділів вищих навчальних закладів».
Коледж призначеним для підготовки військовиків професійного сержантського (старшинського) складу всіх видів ЗС України. У складі коледжу є два відділення. На першому відділенні здійснюється підготовка професійних сержантських кадрів з освітньо-кваліфікаційним рівнем «молодший спеціаліст» за спеціальністю «Адміністрування у військових підрозділах батальйон (рота)». Термін підготовки — 2,5 роки. Випускники коледжу можуть обіймати посади головного сержанта роти, головного старшини батальйону. На другому відділенні сержанти проходять курси перепідготовки на посади вищого рівня (полк — бригада — корпус — вид Збройних Сил — Генеральний штаб ЗС України) терміном до 6 місяців.
Комплекс символіки Військового коледжу сержантського складу НТУ «ХПІ» побудовано за зразком 101 окремої бригади охорони Генерального штабу ЗС України. Відповідно, символікою коледжу є герб, нарукавна емблема та пам'ятний нагрудний знак «Військовий коледж сержантського складу Національного технічного університету „Харківський політехнічний інститут“».
Малюнки герба і нарукавної емблеми 27 грудня 2010 р. затвердив начальник Генерального штабу — Головнокомандувач ЗС України генерал-полковник Григорій Педченко.
На базі центру підготовки були вперше впроваджені шеврони, які використовуються як елементи знаків розрізнення військових звань військовиків професійного сержантського складу ЗС України, затверджених начальником Генерального штабу — Головнокомандувачем ЗС України 05-06 лютого 2009 р. Погони з новими знаками розрізнення першими одягнули випускники Центру підготовки сержантів ЗС України, на базі якого невдовзі було створено коледж.
Військовий коледж сержантського складу НТУ «ХПІ» став першим військовим навчальним закладом ЗС України, що має комплекс офіційної символіки.
