Родился 11 февраля 1964 г. в гор. Гурьеве Казахской ССР (ныне - Атырау, Республика Казахстан). Отец - Юрий Абрамович - ученый-геолог, один из открывателей Кашаганского шельфового нефтегазового месторождения в Каспийском море. Мать - Софья Львовна - преподавала музыку в гурьевском музыкальном училище, впоследствии - в Алма-Атинской консерватории (ныне - Казахская национальная консерватория им. Курмангазы).
После седьмого класса школы поступил Алма-Ате в Республиканскую физико-математическую школу-интернат, где познакомился с Ильей Сегаловичем.
В 1986 г. окончил Московский институт нефти и газа им. И. М. Губкина (ныне - Российский государственный университет нефти и газа) по специальности "прикладная математика". После вуза работал в Институте проблем управления Академии наук СССР.
В 1988 г. стал соучредителем одного из первых советских кооперативов, занимавшихся торговлей компьютерами - "Магистр".
В 1989 г. гендиректором совместной российско-американской компании CompTek, занимавшейся дистрибуцей компьютеров и сетевого оборудования. Его партнерами по этой компании американцы Роберт Стабблбайн и Бен Коул.
В 1990 г. Волож создал компанию "Аркадия", которая занялась разработкой информационно-поисковых программ (впоследствии вошла в состав Comptek). В 1991 г. в компании начал работать и Илья Сегалович. В 1993 г. Волож и Сегалович создали приложение для поиска файлов на компьютере, назвав его "Яндекс" (сокращение от "Yet another indexer", англ. "Еще один индексатор"). На основе этой технологии было разработано приложение для информационно-поисковой системы по Библии. В 1995 г. Воложем и Сегаловичем была начата разработка поисковой системы для сети Интернет. Поисковик был впервые продемонстрирован 23 сентября 1997 г. на выставке Softool ("Софтул") в Москве.
В 2000 г. Аркадий Волож ушел из CompTek и стал генеральным директором "Яндекса", ставшего самостоятельной компанией (головная структура Yandex N.V. зарегистрирована в Нидерландах). Под руководством Воложа помимо поиска в интернете компания начала развивать различные информационные, торговые, картографические сервисы, стала оператором такси, доставки еды, совместные проекты со Сбербанком ("Яндекс-деньги", интернет-магазин "Беру.ру"), занимается созданием беспилотного автомобиля.
3 июня 2022 г., после попадания в санкционный список Евросоюза, покинул все посты "Яндексе".
С 2007-2018 г. - заведующий кафедрой "Анализ данных" в Московском физико-техническом институте.
До 2022 г. владел 49% голосующих акций "Яндекса", 75% акций компании ООО "Инфинет" (производитель сетевого оборудования). Входит в число миллиардеров мира по версии американского журнала Forbes. Его состояние в 2018 г. оценивалось в 1,5 млрд долларов США (65-е место в РФ).
Лауреат интернет-премии "Ротор" в номинации "Человек года" (2001, 2011).
Женат, имеет троих детей.