Родился 15 января 1891 г. в Варшаве (Российская империя, ныне Республика Польша). Согласно метрике, дата рождения - 14 (2 по старому стилю) января 1891 г. Он был старшим сыном Эмиля Вениаминовича Мандельштама, изготовителя перчаток, ставшего купцом 1-й гильдии, и Флоры Осиповны Вербловской, учительницы музыки. В 1894 г. семья Мандельштама переехала в Павловск, а в 1897 г. - в Санкт-Петербург.
В 1899-1907 гг. Осип Мандельштам учился в петербургском коммерческом Тенишевском училище. В старших классах участвовал в движении эсеров, начал писать стихи. В сентябре 1907 г. уехал во Францию учиться на факультете словесности Парижского университета (Сорбонны). Во время учебы во Франции окончательно посвятил себя поэзии. В 1909 г. поступил на романо-германское отделение Гейдельбергского университета (Германия), где отучился два семестра. В конце 1910 г. вернулся в Санкт-Петербург.
В мае 1911 г. Осип Мандельштам крестился в методистской церкви в Выборге. В сентябре того же года поступил на романо-германское отделение историко-филологического факультета Петербургского университета. Учился на нем с перерывами до 1917 г., курс не окончил.
Первая публикация Мандельштама состоялась летом 1910 г.: подборка его стихов была напечатана в петербургском журнале "Аполлон", выходившем в издательстве Иосифа и Семена Ефронов "Якорь". С конца 1911 г. принимал участие в собраниях объединения "Цех поэтов", основанного Николаем Гумилевым и Сергеем Городецким. В конце 1912 г. примкнул к поэтическому движению акмеистов, написал один из манифестов этого направления "Утро акмеистов" (опубликован в 1919 г.).
В 1913 г. Осип Мандельштам выпустил дебютный сборник стихотворений - "Камень" (дважды переиздавался с изменениями при жизни поэта). Во время Первой мировой войны не подлежал призыву из-за болезни сердца; сотрудничал с организацией "Союз городов", помогавшей фронту.
После Октябрьской революции работал в Центральной комиссии по разгрузке и эвакуации Петрограда (ранее Санкт-Петербург, впоследствии Ленинград, ныне Санкт-Петербург), затем в Народном комиссариате просвещения, в 1919-1920 гг. находился на Украине, в Крыму, затем в Грузии. Впоследствии жил в разное время в Москве и Ленинграде, путешествовал.
В 1922 г. была опубликована вторая книга Мандельштама - Tristia ("Скорбные элегии", отсылка к одноименному собранию писем римского поэта Овидия), через год был напечатан сборник "Вторая книга".
С 1924 г. публикации произведений Мандельштама в литературных журналах были прекращены в связи с негласным указанием РКП(б), направленным против поэтов, в прошлом придерживавшихся акмеизма. Мандельштам зарабатывал на жизнь переводами, рецензиями, произведениями для детей.
В 1925 г. были опубликованы его воспоминания "Шум времени", в 1928 г. - итоговый поэтический сборник "Стихотворения", собрание статей "О поэзии" и повесть "Египетская марка".
В 1929-1930 гг. Осип Мандельштам работал в газете "Московский комсомолец". Из-за ошибки издательства "Земля и фабрика" был несправедливо обвинен в плагиате при переводе романа Шарля Де Костера "Легенда об Уленшпигеле", эти события нашли отражение в его эссе "Четвертая проза" (1930; опубликовано в 1966 г.).
В 1930 г. Мандельштам совершил поездку в Ереван, по возвращении написал статью "Путешествие в Армению", опубликованную в 1933 г. Также в 1933 г. закончил эссе "Разговор о Данте". В том же году поэт написал стихотворение "Мы живем, под собою не чуя страны…" - по сути, эпиграмму на советского лидера Иосифа Сталина и его окружение. Эти строки Мандельштам прочитал многим своим знакомым.
16 мая 1934 г. поэт был арестован. Его рукописи изъяли в ходе обыска. В конце мая по обвинению в контрреволюционной деятельности он был приговорен к трехлетней ссылке на поселение в г. Чердынь (ныне на территории Пермского края). Прибыв на место ссылки в июне вместе с женой Надеждой Яковлевной, Мандельштам предпринял попытку покончить с собой. Через несколько дней приговор был пересмотрен: после обращения к Сталину партийного деятеля Николая Бухарина поэту было позволено выбрать другое место поселения.
Мандельштамы переехали в Воронеж, где отбывали ссылку в 1934-1937 гг.
В Воронеже поэт продолжал писать стихи (цикл "Воронежские тетради"). Некоторое время работал литературным консультантом в театре и на радио, однако в 1936 г. после новой волны репрессий остался без работы. В мае 1937 г. срок наказания завершился. Поэт вернулся в Москву, однако узнал, что ему запрещено проживать в столице. С ноября 1937 г. Мандельштамы поселились в г. Калинине (ныне Тверь).
2 мая 1938 г. в доме отдыха "Саматиха" (ныне Шатурский район Московской области) Мандельштам был повторно арестован по обвинению в контрреволюционной деятельности. В июле поэт был приговорен к пяти годам исправительно-трудового лагеря. В октябре он прибыл во Владивосток в пересыльный лагерь "Вторая речка". Там Осип Мандельштам скончался 27 декабря 1938 г. на 48-м году жизни. Точное место погребения поэта не установлено.
Осип Мандельштам был реабилитирован в 1956 г. по делу 1938 г. и в 1987 г. по делу 1934 г. В СССР его произведения вновь начали издавать в 1960-х гг.
С 1922 г. был женат на Надежде Мандельштам (в девичестве Хазиной; 1899-1980). После смерти супруга она посвятила свою жизнь сохранению его творческого наследия, написала несколько книг воспоминаний.