Родился 5 мая 1923 г. в селе Виндрей Спасского уезда Тамбовской губернии РСФСР (ныне в Торбеевском районе Республики Мордовия, РФ) в крестьянской семье.
В 1940 г. окончил 10 классов военно-морской спецшколы в Москве и поступил в Высшее военно-морское училище им. М. В. Фрунзе в Ленинграде (ныне Морской корпус Петра Великого - Санкт-Петербургский военно-морской институт).
В ходе Великой Отечественной войны в сентябре - декабре 1941 г. Сергей Ахромеев в составе объединенного курсантского стрелкового батальона училища им. Фрунзе и Военно-морского пограничного училища НКВД участвовал в обороне Ленинграда (ныне Санкт-Петербург). Был ранен, с января по март 1942 г. находился на лечении в госпитале.
Затем продолжил занятия в училище им. Фрунзе, эвакуированном в г. Астрахань. С мая по август 1942 г. курсантом проходил практику на Черноморском флоте, командуя расчетом орудия на корабле. После этого окончил двухмесячный курс подготовки лейтенантов во 2-м Астраханском военно-пехотном училище и был направлен в действующую армию.
Первое время командовал взводом автоматчиков стрелковой бригады. Затем проходил службу старшим адъютантом батальона, помощником начальника штаба стрелкового полка, старшим адъютантом мотострелково-пулеметного батальона танковой бригады. С июля 1944 г. командовал мотобатальоном автоматчиков 14-й самоходно-артиллерийской бригады резерва Верховного Главнокомандования Харьковского, а затем Московского военных округов (ВО). Принимал участие в боях на Сталинградском, Южном и 4-м Украинском фронтах.
В 1944-1945 гг. прошел обучение в Высшей офицерской школе самоходной артиллерии бронетанковых и механизированных войск Красной армии по специальности "начальник штаба полка самоходной артиллерии".
После окончания офицерской школы занимал должность заместителя командира 2-го самоходно-артиллерийского дивизиона СУ-76 14-й самоходно-артиллерийской бригады, затем командовал 2-м танковым батальоном 14-го отдельного танкового полка Учебного центра самоходной артиллерии бронетанковых и механизированных войск Московского военного округа (ВО). В 1947 г. был назначен командиром батальона ИСУ-122 14-го тяжелого танкосамоходного полка 31-й гвардейской механизированной дивизии Закавказского ВО.
В 1952 г. с золотой медалью окончил командный факультет Военной академии бронетанковых и механизированных войск им. И. В. Сталина (ныне Военный учебно-научный центр Сухопутных войск "Общевойсковая академия ВС РФ", Москва) и был назначен на должность начальника штаба 190-го танкосамоходного полка 39-й армии Приморского ВО.
В дальнейшем Сергей Ахромеев занимал должности начальника штаба 63-го механизированного полка 39-й армии, старшего офицера 3-го отдела управления боевой подготовки штаба Дальневосточного ВО, командовал 76-м, а затем 184-м танковыми полками, был заместителем командира 47-й гвардейской мотострелковой дивизии, начальником штаба 46-й танковой дивизии 5-й армии в том же округе.
В 1960 г. был переведен в Белорусский ВО, где командовал 36-й, а затем 45-й гвардейскими учебными танковыми дивизиями.
В апреле 1964 г. в звании генерал-майора танковых войск был направлен на учебу в Военную академию Генерального штаба Вооруженных сил СССР (ныне Военная академия Генштаба ВС РФ), которую окончил с золотой медалью в 1967 г.
После этого Сергей Ахромеев был назначен начальником штаба - 1-м заместителем командующего 8-й танковой армией Прикарпатского ВО, а в 1968 г. стал командующим 7-й танковой армией Белорусского ВО. С 1972 г. являлся начальником штаба - 1-м заместителем командующего войсками Дальневосточного ВО.
После окончания в 1973 г. Высших академических курсов при Военной академии Генерального штаба ВС СССР им. К. Е. Ворошилова Сергей Ахромеев был назначен начальником Главного оперативного управления Генштаба, а в 1979 г. стал первым заместителем начальника Генерального штаба ВС СССР.
Как военный специалист участвовал в подготовке Договора об ограничении стратегических наступательных вооружений (ОСВ-2), который был подписан лидерами СССР и США Леонидом Брежневым и Джимми Картером в июне 1979 г., однако так и не был ратифицирован ни одной из сторон. Параллельно Сергей Ахромеев занимался подготовкой частей и соединений группировки советских войск ко вводу в Афганистан. С декабря 1979 г. возглавлял штаб Оперативной группы Министерства обороны СССР в Афганистане, отвечал за координацию боевых действий ограниченного контингента советских войск и афганских правительственных сил, неоднократно находился в зоне боевых действий, а позднее участвовал в планировании и проведении поэтапного вывода советских войск из этой страны.
Член ЦК КПСС с 1983 г. В 1984-1988 гг. избирался депутатом Верховного Совета СССР от Молдавской ССР.
С сентября 1984 по декабрь 1988 г. Маршал Советского Союза Сергей Ахромеев находился в должности начальника Генерального штаба ВС СССР - первого заместителя министра обороны страны. На этом посту в 1986 г. занимался организацией и проведением мобилизационного развертывания войск в районе катастрофы на Чернобыльской атомной электростанции, принимал участие в разработке новой Военной доктрины СССР, принятой в 1987 г. В качестве специалиста по военным вопросам участвовал во встречах генерального секретаря ЦК КПСС Михаила Горбачева с президентом США Рональдом Рейганом в Рейкьявике (1986), Вашингтоне (1987) и Москве (1988).
С 1988 г. являлся генеральным инспектором Группы генеральных инспекторов Минобороны СССР. Одновременно в 1989-1990 гг. был советником Председателя Верховного Совета СССР, а в 1990-1991 гг. - президента СССР Михаила Горбачева. Входил в состав советской делегации во время встречи Михаила Горбачева и Джорджа Буша - старшего на Мальте (1989).
Поддержал Государственный комитет по чрезвычайному положению, действовавший в СССР с 19 по 21 августа 1991 г. ("Августовский путч" ГКЧП). 24 августа того же года, после провала попытки государственного переворота, Сергей Ахромеев покончил жизнь самоубийством в своем служебном кабинете в Московском Кремле. Похоронен на Троекуровском кладбище в Москве.
Маршал Советского Союза (1983).
Был награжден четырьмя орденами Ленина (1971, 1978, 1980, 1982), двумя орденами Красной Звезды (1943, 1956), орденом Октябрьской Революции (1988), орденом Отечественной войны I степени (1985), орденом "За службу Родине в Вооруженных Силах СССР" III степени (1975).
Лауреат Ленинской премии (1980, "за исследование и разработку новых систем автоматизированного управления Вооруженными силами").
Герой Советского Союза (1982, "за проявленные воинское мастерство, личное мужество и героизм при проведении мероприятий по оказанию интернациональной помощи Демократической Республике Афганистан и обеспечению безопасности СССР").
В соавторстве с Георгием Корниенко (первый заместитель министра иностранных дел СССР в 1977-1986) написал книгу "Глазами маршала и дипломата: критический взгляд на внешнюю политику СССР до и после 1985 г." (издана в 1992).