Родился 19 января 1935 г. в Ленинграде (ныне Санкт-Петербург).
В 1953 г. окончил хоровое училище при Ленинградской государственной академической капелле, в 1958 г. - Ленинградскую (ныне Санкт-Петербургскую) государственную консерваторию им. Н. А. Римского-Корсакова по классу хорового дирижирования педагога Елизаветы Кудрявцевой и по классу теории музыки заслуженного деятеля искусств РСФСР Юрия Тюлина. В 1961 г. завершил обучение в аспирантуре Ленинградской консерватории по классу оперно-симфонического дирижирования профессора Николая Рабиновича. В 1968-1969 гг. стажировался у Ханса Сваровского в Венской академии музыки и исполнительского искусства (Австрия). В 1969-1970 гг. был ассистентом народного артиста СССР дирижера Евгения Мравинского в симфоническом оркестре Ленинградской филармонии (ныне Академический симфонический оркестр Санкт-Петербургской академической филармонии им. Д. Д. Шостаковича).
С 1960 г. Александр Дмитриев работал в Симфоническом оркестре Карельского радио и телевидения (ныне Симфонический оркестр Карельской государственной филармонии, Петрозаводск), в 1962-1971 гг. был его главным дирижером. В 1966 г. в Москве стал лауреатом II Всесоюзного конкурса дирижеров.
С 1971 по 1977 г. являлся главным дирижером Ленинградского государственного академического Малого театра оперы и балета (ныне Санкт-Петербургский государственный академический театр оперы и балета им. М. П. Мусоргского - Михайловский театр).
С 1977 по 2018 г. - главный дирижер, художественный руководитель Академического симфонического оркестра Санкт-Петербургской академической филармонии им. Д. Д. Шостаковича. В 2018 г. ему было присвоено звание пожизненного дирижера-лауреата этого оркестра.
В 1970-1990-х гг. Александр Дмитриев вел класс дирижирования в Санкт-Петербургской государственной консерватории им. Н. А. Римского-Корсакова. Был профессором консерватории.
Заслуженный деятель искусств РСФСР (1970). Народный артист СССР (1990).
Награжден орденами Почета (2005) и "За заслуги перед Отечеством" IV степени (2010).
Удостоен Государственной премии РФ в области литературы и искусства за 2000 г.