Родился 29 октября 1951 г. в с. Медведка Тюменцевского района Алтайского края.
В 1972 г. с отличием окончил Свердловский юридический институт (ныне Уральский государственный юридический университет).
В 1997 г. в НИИ проблем укрепления законности и правопорядка при Генеральной прокуратуре РФ защитил диссертацию на соискание ученой степени кандидата юридических наук (тема - "Проблемы участия прокурора в арбитражном процессе"). Доктор юридических наук. В 2007 г. в Российской академии государственной службы при президенте РФ защитил диссертацию на тему "Проблемы правового регулирования государственной регистрации права собственности на недвижимое имущество". Профессор
С 1972 г. работал следователем, старшим следователем, помощником прокурора г. Бийска (Алтайский край).
Служил в рядах Вооруженных сил СССР. Был призван с должности старшего следователя в гвардейскую мотострелковую дивизию на Дальнем Востоке.
В 1977-1982 гг. - заместитель прокурора Приобского района г. Бийска.
В 1982 г. был назначен заместителем прокурора Барнаула (Алтайский край).
С 1983 по 1986 г. - начальник отдела прокуратуры Алтайского края.
В 1986-1989 гг. занимал должность старшего прокурора управления Генеральной прокуратуры СССР. С 1989 по 1990 г. - помощник по особым поручениям генпрокурора СССР Александра Сухарева.
В 1990-1992 гг. был заместителем начальника управления Генпрокуратуры СССР. В 1992-2000 гг. - начальник отдела управления, начальник управления по обеспечению участия прокуроров в арбитражном процессе Генпрокуратуры РФ.
В 2000-2004 гг. работал в Министерстве юстиции РФ (глава ведомства – Юрий Чайка). 27 апреля 2000 г. был назначен статс-секретарем – первым заместителем министра, 2 апреля 2001 г. - первым заместителем министра юстиции РФ.
8 апреля 2004 г. указом главы государства Владимира Путина назначен начальником Управления президента РФ по вопросам государственной службы.
18 августа 2005 г., после гибели в автомобильной катастрофе главы Алтайского края Михаила Евдокимова, президент РФ Владимир Путин внес кандидатуру Александра Карлина на рассмотрение Алтайского краевого совета. 25 августа 2005 г. региональный парламент наделил Александра Карлина полномочиями главы администрации Алтайского края. В тот же день состоялась церемония инаугурации.
С 1 декабря 2007 г. - губернатор Алтайского края (в связи с переименованием должности руководителя субъекта Федерации).
2 декабря 2007 г. участвовал в выборах в Госдуму РФ V созыва от партии "Единая Россия", был первым номером в региональной группе №22 (Алтайский край). После избрания отказался от депутатского мандата.
29 июля 2009 г. депутаты краевого парламента вновь утвердили Александра Карлина в должности губернатора региона по представлению главы государства Дмитрия Медведева. 25 августа того же года официально вступил в должность.
4 декабря 2011 г. на выборах в Госдуму РФ VI созыва возглавлял список кандидатов партии "Единая Россия" в Алтайском крае (региональная группа №22). После избрания вновь отказался от депутатского мандата.
31 июля 2014 г. президент России Владимир Путин принял досрочную отставку Александра Карлина и назначил его врио руководителя региона.
14 сентября 2014 г. он победил на выборах главы Алтайского края, набрав 72,97% голосов избирателей (баллотировался от партии "Единая Россия"). Второе место занял кандидат от КПРФ, депутат Госдумы Сергей Юрченко (11,22%). 25 сентября того же года Александр Карлин официально вступил в должность.
30 мая 2018 г. президент РФ Владимир Путин принял досрочную отставку Александра Карлина с поста губернатора Алтайского края и назначил врио руководителя региона Виктора Томенко, занимавшего должность и. о. первого заместителя губернатора, председателя правительства Красноярского края.
В 2018-2023 гг. - член Совета Федерации РФ (сенатор) - представитель от исполнительного органа власти Алтайского края. 18 сентября 2018 г. Виктор Томенко, вступивший в должность губернатора Алтайского края, наделил Александра Карлина полномочиями сенатора (подтверждены на заседании Совфеда 26 сентября 2018 г. С 23 октября 2018 г. Александр Карлин занимал пост заместителя председателя комитета СФ по конституционному законодательству и государственному строительству. 18 сентября 2023 г. в верхней палате парламента его сменила Наталья Кувшинова.
Председатель алтайского регионального отделения Общероссийской общественной организации "Ассоциация юристов России".
Государственный советник юстиции I класса (2000).
Действительный государственный советник РФ I класса (2004).
Награжден орденами "За заслуги перед Отечеством" IV и III и степеней (2007, 2013), Александра Невского (2018), медалью ордена "За заслуги перед Отечеством" II степени (2002). Имеет благодарности (2002, 2004 и 2005) и Почетную грамоту (2011) президента РФ, благодарность правительства РФ (2007).
Удостоен орденов Русской православной церкви: Святого благоверного князя Даниила Московского II степени (2011), Святого благоверного царевича Димитрия (2012), Преподобного Серафима Саровского III степени (2015).
Заслуженный юрист РФ (1997).
Почетный работник прокуратуры РФ. Почетный работник юстиции России.
Почетный профессор Санкт-Петербургского университета технологий управления и экономики.
Автор более 200 монографий, учебников и пособий по прокурорскому надзору, трудовому, уголовному, гражданскому и арбитражному процессуальному праву и др. В 2012 г. в трех томах вышла книга Александра Карлина "Право созидать".