Розпочав військову службу в 1940, вступивши у військово-морське училище. Вступив в КПРС в 1943.
У роки Німецько-радянської війни — командир взводу морської піхоти, ад'ютант, начштабу батальйону, командир батальйону, воював на Сталінградському, Ленінградському, 4-му Українському і Південному фронтах. Був нагороджений за участь в обороні Ленінград а під час блокади.
Після війни командир танкового батальйону, начальник штабу і командир танкового полку, заступник командира, начальник штабу і командир танкової дивізії.
У 1952 у закінчив Військову академію бронетанкових і механізованих військ і в 1967 у Військову академію Генерального штабу ЗС СРСР.
З вересня 1984 р. по грудень 1988 р. — начальник Генерального штабу Збройних Сил СРСР — перший заступник міністра оборони СРСР.
Керував плануванням військових операцій в Афганістані на всіх етапах, включаючи і виведення військ.
У штабі армії в Кабулі часто збиралося військове керівництво на всілякі наради. До речі, маршал Ахромеєв тоді заступник начальника Генерального штабу, кожен день, без відпусток і вихідних, був на цих планерках вже о п'ятій ранку.
Лауреат Ленінської премії 1980 року за дослідження і розробку нових систем автоматизованого управління Збройними Силами. У 1982 році йому присвоєно звання Героя Радянського Союзу.
У 1984—1989 рр.. — Депутат Верховної Ради СРСР. У березні 1989 року обраний народним депутатом СРСР від Бельцкого тер. округу № 697 (Молдавська РСР). Член Верховної Ради СРСР, Комітету ВР СРСР з питань оборони і безпеки.
На посаді начальника Генерального Штабу неодноразово брав участь у переговорах, що поклали «кінець» холодній війні.
Разом з тим росли його розбіжності з М. С. Горбачовим; він висловлював незгоду з військовою реформою і ослабленням радянської військової потужності, у зв'язку з чим «пішов» у відставку. Неодноразово виступав на засіданнях З'їзду народних депутатів і Верховної Ради СРСР, а також у пресі зі статтями, де говорив про небезпеку швидкого завоювання СРСР країнами НАТО. У березні 1990 р. був призначений радником Президента СРСР у військових справах.
"Він розумів, що багато чого робиться вже неправильно, на шкоду інтересам нашої країни, але, будучи сам людиною чесною, був упевнений, що такими повинні бути й інші люди, вважаючи, що все це робиться через непорозуміння, по чиїмось необ'єктивним доповідям ".
19 серпня повернувся до Москви з Сочі, де він проводив відпустку разом з дружиною Тамарою Василівною та онуками, і зустрівся з Геннадієм Янаєвим. Підтримав Звернення ГКЧП і запропонував свою співпрацю, керував військовими питаннями. Ніч він провів на своїй дачі, де жила його молодша дочка зі своєю сім'єю.
20 серпня працював у Кремлі і в будівлі Міністерства оборони, збираючи інформацію про військово-політичну обстановку у країні. Приготував план заходів, які необхідно було здійснити у зв'язку з введенням надзвичайного стану.
У ніч з 20 на 21 серпня ночував у своєму кабінеті у Кремлі. З кабінету він телефонував своїм дочкам і дружині в Сочі.
Я був впевнений, що ця авантюра зазнає поразки, а приїхавши до Москви, особисто переконався в цьому. <...> Нехай в історії хоч залишиться слід - проти загибелі такої великої держави протестували
— з записної книжки С. Ф. Ахромєєва
22 серпня він відправив на ім'я Горбачова особистий лист.
Чому я приїхав до Москви зі своєї ініціативи - ніхто мене з Сочі не викликав - і почав працювати в "Комітеті"? Адже я був впевнений, що ця авантюра зазнає поразки, а приїхавши до Москви, ще раз переконався в цьому. Справа в тому, що, починаючи з 1990 року, я був переконаний, як переконаний і сьогодні, що наша країна йде до загибелі. Незабаром вона виявиться розчленованою. Я шукав спосіб голосно заявити про це. Вважав, що моя участь у забезпеченні роботи "Комітету" і подальші пов'язані з ним розбори дадуть мені можливість прямо сказати про це. Звучить, напевно, непереконливо і наївно, але це так. Жодних корисливих мотивів у цьому моєму рішенні не було.
— Маршал Ахромеєв з особистого листа М. С. Горбачову
23 серпня Сергій Федорович був присутній на засіданні Комітету Верховної Ради СРСР у справах оборони і держбезпеки.
24 серпня1991 р. о 21.50 у службовому кабінеті № 19 «а» у корпусі № 1 Московського Кремля черговим офіцером охорони Коротєєва було виявлено тіло Маршала Радянського Союзу Сергія Федоровича Ахромєєва.
"Пригадую, яка мене вразила деталь в публікації про самогубство Героя Радянського Союзу радника Президента СРСР маршала Ахромєєва. Після першої невдалої спроби — обірвалася мотузка — Сергій Федорович прийшов в себе (близько 20 хвилин він був без свідомості), вийшов зі свого кремлівського кабінету, розшукав товариша по службі, у якого напередодні позичив невелику суму грошей, повернув йому борг і вже після цього довів задумане до кінця "
— Канд. мед. наук Юрій М. Астапов в журналі «Камуфляж» № 6 (55) за 2007 рік [2]
"А ось що стосується Ахромєєва, у справі все буквально є. І всі записки, і ця стрічка, на якій він повісився. І записка про те, як перший раз обірвалася стрічка… Я впевнений, що Ахромеєв сам наклав на себе руки. Я добре знав Сергія Федоровича. Він не зміг змиритися з тим, що сталося з його країною "
"У ті дні покінчили життя самогубством радник президента з військових питань Маршал Радянського Союзу С. Ф. Ахромеєв і міністр внутрішніх справ Б. К. Пуго. У цих самогубства я особисто дуже сумніваюся, хоча і читав дві останні записки Сергія Федоровича "
Він залишив листа членам своєї родини, а також записку, де говорив, що йде з життя, не в силах бачити крах всього того, чому він присвятив своє життя.
Не можу жити, коли гине моя Вітчизна і нищиться все, що я завжди вважав сенсом в моєму житті. Вік і минуле моє життя дають мені право піти з життя. Я боровся до кінця. Ахромеєв. 24 серпня 1991 »
Похований на Троєкуровському кладовищі. Незабаром після його смерті була розграбована його могила, звідки викрадений маршальський мундир з нагородами, який так і не був згодом виявлений.
"Маршал Сергій Ахромеєв був моїм другом. Його самогубство — це трагедія, котра відображає конвульсії, які потрясають Радянський Союз. Він був комуністом, патріотом і солдатом. І я вважаю, що саме так він сказав би про себе сам "
— американський адмірал Вільям Д. Кроу
Висловлювання
Під час стажування в СРСР у другій половині 70-х років Кондоліза Райс, цікавилася взаємодією керівних військово-політичних структур, "перерахувала в Москві всі вікна в будівлі Міністерства оборони, щоб прикинути, скільки приблизно людей може там працювати ", " Її оцінка — п'ять тисяч. Пізніше вже під час її роботи в СНБ при Буші-старшому, точність цієї оцінки їй підтвердив один з партнерів по переговорах маршал Сергій Ахромеєв "adds / print.php? news/41ffe844a7caf [Архівовано 4 березня 2011 у Wayback Machine.].
Був рішучим прихильником виведення військ з Афганістану[3]. Разом із заступником міністра закордонних справ СРСР Г. М. Корнієнко вважав, що "розраховувати на те, що НДПА зможе залишитися при владі після виведення радянських військ з країни — не реально. Максимум, на що можна було сподіватися так це на те, щоб НДПА зайняла законне, але дуже скромне місце в новому режимі ". Див [3].
За свідченням керівника апарату Президента СРСР В. І. Болдіна, Ахромеєв підтверджував, що «воєнна розвідка має в своєму розпорядженні приблизно такі ж данні, як і КДБ» про «підозри у зв'язках зі спецслужбами зарубіжних країн» члена Політбюро А. Н. Яковлєва[4].
У 1991 році маршал Ахромеєв так оцінював військові втрати СРСР у Великій Вітчизняній війні: "Якщо вважати всіх загиблих у військових діях, тобто військовослужбовців і партизанів, які не повернулися додому з війни, то буде 8 мільйонів 668 тисяч 400 чоловік … З них в 1941 році — 3138 тисяч … "[4] [Архівовано 6 лютого 2012 у Wayback Machine.].
«СРСР у 1970-х роках виробляв у 20 разів більше танків, ніж США». Питання Г. Шахназарова, помічника Генсека КПРС М. Горбачова (1980-і роки): «Навіщо треба виробляти стільки озброєнь?» Відповідь начальника Генштабу С. Ахромєєва: «Тому що ціною величезних жертв ми створили першокласні заводи, не гірше, ніж в американців. Ви що, накажете їм припинити роботу і виробляти каструлі?»