Родился 14 апреля 1849 г. (2 апреля 1849 г. по старому стилю) в селе Рамонь Воронежской губернии Российской империи (ныне поселок городского типа Рамонь Воронежской области РФ). Отец Иван Игнатьевич Мосин был отставным военным, подпоручиком, управлял имениями и предприятиями помещика Николая Тулинова. Мать, крестьянка Феоктиста Васильевна, умерла при рождении второго сына Митрофана в 1852 г. Дети остались на попечении отца. При содействии тети помещика Тулинова Анны Шеле братья Мосины получили домашнее образование, обучались грамматике, математике и французскому языку.
В 1860 г. по ходатайству Анны Шеле Иван Мосин вместе с сыновьями были внесены в родословную дворянскую книгу. Это позволило Сергею Мосину в 1861 г. поступить в первый общий класс Воронежского кадетского корпуса, который в 1865 г. был преобразован в военную гимназию. В 1867 г. Сергей Мосин окончил ее с отличием и в том же году поступил в 3-е Александровское военное училище в Москве. Оттуда был переведен в Петербургское Михайловское военное училище, окончил его в 1870 г. по первому разряду. После выпуска из училища был произведен в подпоручики и направлен во вторую резервную роту конно-артиллерийской бригады в Царском Селе (ныне г. Пушкин в составе Санкт-Петербурга).
В сентябре 1872 г. поручик Сергей Мосин был зачислен слушателем на технический факультет Михайловской артиллерийской академии. Окончив ее в 1875 г. по первому разряду в чине штабс-капитана, получил должность помощника начальника инструментальной мастерской Тульского императорского оружейного завода (с зачислением по полевой конной артиллерии).
В 1875-1880 г. Сергей Мосин прошел производственную практику в починочной, замочной и приборной мастерских, руководил инструментальной мастерской, организовал машинное производство охотничьих ружей, в 1877-1880 гг. возглавлял основное (замочное) производство.
В 1881 г. глубже ознакомился с состоянием отечественного оружейного дела в качестве члена комиссии для осмотра механических средств и зданий Сестрорецкого (ныне Сестрорецк входит в состав Санкт-Петербурга) и Ижевского оружейного завода. Одним из основных вопросов, стоявших в те годы перед отраслью, было перевооружение русской армии малокалиберной "повторительной" (многозарядной) винтовкой. В 1882 г. Сергей Мосин приступил к переделке винтовки, разработанной американцем Хайремом Берданом, - такие "берданки" поставлялись на вооружение императорской армии в 1867 и 1870 гг. Винтовки были двух типов и являлись однозарядными - после выстрела оружие необходимо было перезаряжать вручную. В 1883 г. Сергей Мосин предложил комиссии по испытанию магазинных ружей свой вариант приспособления к винтовке Бердана магазина на несколько патронов. Однако комиссия в итоге признала попытки усовершенствовать "берданку" бесперспективными.
В 1883-1889 гг. Военным министерством рассматривались различные системы винтовок. В 1890 г. Сергей Мосин предложил на конкурс новую винтовку калибра 7,62 мм (в старых мерах длины - три русских линии, отсюда название "трехлинейка"). В том же году комиссия получила конкурсное предложение бельгийца Леона Нагана - винтовку калибра 8 мм. Организаторы конкурса выработали техническое задание, предложив Мосину и Нагану доработать свои системы под установленные требования. По итогам сравнительных испытаний полученных образцов в 1891 г. комиссия остановила выбор на "трехлинейке" Мосина, постановив, однако, существенно изменить и дополнить конструкцию. Часть элементов были в итоге позаимствованы у Леона Нагана, который продал русской стороне патенты, чертежи и лекала на свою конкурсную винтовку. Кроме того, в конструкцию были внесены изменения, предложенные членами комиссии - полковником Петровым и штабс-капитаном Савосьяновым, а также полковником Роговцевым, который разработал "трехлинейный" тупоконечный патрон с бездымным порохом.
28 апреля (16 апреля по старому стилю) 1891 г. указом императора Александра III на вооружение русской армии была принята "трехлинейная винтовка образца 1891 г." - так как за разработку отвечала группа специалистов, закреплять в названии винтовки только одну фамилию посчитали некорректным. Сергей Мосин был удостоен орденов и Большой Михайловской премии "за выдающиеся разработки по артиллерийско-стрелковой части", за ним были сохранены авторские права на элементы разработанного оружия. Только после модернизации 1930 г. оно стало именоваться "трехлинейной винтовкой Мосина образца 1891/1930 гг.". В западных источниках также распространен вариант названия "винтовка Мосина - Нагана".
В апреле 1894 г. Сергей Мосин был назначен начальником Сестрорецкого оружейного завода и Сестрорецкого гарнизона в связи с организацией производства "трехлинеек" на этом предприятии. Завод под руководством Мосина был расширен и переоборудован. Винтовки также выпускались на Тульском и Ижевском оружейных заводах. Полностью русская армия была перевооружена винтовками Мосина в 1902 г. В дальнейшем этот вид стрелкового оружия широко применялся в ходе Первой мировой войны 1914-1918 гг., Гражданской войны в России 1917-1922 гг., Великой Отечественной войны 1941-1945 гг. В разные годы винтовки Мосина состояли на вооружении около 30 стран. Так, в Белоруссии "трехлинейка" была официально снята с вооружения только в 2005 г., а в снайперском варианте она выпускается и в настоящее время.
В декабре 1884 г. оружейник был избран совещательным членом Артиллерийского комитета.
Сергей Мосин скончался 8 февраля (по старому стилю 26 января) 1902 г. на 53-м году жизни, причиной смерти было воспаление легких. Похоронен с воинскими почестями на городском кладбище Сестрорецка.
Генерал-майор артиллерии (1900).
Был награжден орденами Св. Анны III (1881) и II (1892) степеней, Св. Владимира IV (1886) и III (1895) степеней, иностранными орденами.
Памятники оружейнику установлены в Туле, Сестрорецке и Рамони. В Туле именем Сергея Мосина названы улица и техникум, в Сестрорецке - профессиональное училище. В 1960 г. в СССР была учреждена премия имени С. М. Мосина за достижения в области машиностроения, в РФ с 1999 г. она стала ежегодной, вручается Ассоциацей научных и технических общественных объединений Тульской области им. С.И. Мосина.