Родился 22 сентября 1953 г. в Ленинграде (ныне - Санкт-Петербург) в семье военного инженера.
В 1975 г. окончил Московский финансовый институт (ныне - Финансовый университет при правительстве РФ) по специальности "международные экономические отношения".
В 1974-1987 гг. работал по Внешторгбанке СССР, в 1985-1987 гг. был заместителем генерального директора отделения Внешторгбанка в Цюрихе (Швейцария). Затем в 1987-1990 гг. работал генеральным директором советской заграничной внешнеторговой кредитной организации Donau Bank (Донау банк, Вена, ныне - ВТБ Банк Австрия).
В январе 1991 г. в Вене Андрей Акимов основал и стал управляющим директором финансовой компании Investment Management & Advisory Group ("Инвестмент менеджмент энд эдвайзори груп", IMAG), специализировавшейся на инвестициях в энергетику и промышленность России. В частности, в 1990-х гг. компания была финансовым консультантом администрации губернатора Санкт-Петербурга Анатолия Собчака, привлекла иностранные инвестиции для реконструкции Киришского нефтеперерабатывающего завода. Работал в IMAG до 2002 г. Одновременно являлся штатным советником председателя правления Внешторгбанка.
14 января 2003 г. был назначен председателем правления ЗАО "Газпромбанк" (ныне - АО). Под руководством Андрея Акимова банк укрепил свою позицию как третье в России кредитное учреждение по объему активов. Также Акимов принимал участие в превращении "Газпрома", основного клиента банка, в вертикально интегрированную корпорацию. С 16 июня 2003 г. Андрей Акимов занимает пост заместителя председателя совета директоров кредитной организации.
6 апреля 2018 г. в отношении Андрея Акимова были введены санкции США в рамках закона "О противодействии противникам Америки посредством санкций".
В 2011-2013 гг. был председателем наблюдательного совета госкомпании "Российские автомобильные дороги".
В настоящее время является членом советов директоров ПАО "Газпром", ПАО "Новатэк", АО "Роснефтегаз", членом наблюдательного совета хоккейного клуба ЦСКА.
Награжден орденами Почета (2008), "За заслуги перед Отечеством" III и IV степени (2023, 2013), Александра Невского (2017).