Хоккейный клуба ЦСКА ведет свою историю с 1946 г., когда для участия в первом чемпионате СССР при Министерстве Вооруженных сил СССР была создана команда ЦДКА (Центральный дом Красной армии). Армейский клуб под руководством играющего тренера Павла Короткова занял на турнире второе место, уступив по разнице шайб московскому "Динамо".
Во втором первенстве СССР (1947/1948) ЦДКА возглавил играющий тренер Анатолий Тарасов. Команда одержала 16 побед в 18-ти матчах турнира и впервые в своей истории завоевала чемпионский титул. Лучшим бомбардиром соревнований стал Всеволод Бобров, забросивший 52 шайбы. В 1949 и 1950 гг. армейские хоккеисты также становились чемпионами страны. В 1951 г. ЦДКА занял 4-е место и впервые остался без медалей.
В 1952-1954 гг. команда выступала под названием ЦДСА (Центральный дом Советской армии), за это время она трижды подряд выигрывала серебряные медали первенства СССР. В сезоне 1954/1955 гг. клуб был переименован в ЦСК МО (Центральный спортивный клуб Министерства обороны), в том же сезоне армейцы вернули себе титул чемпионов страны, потерпев лишь одно поражение в 18 матчах.
С этого момента началась эпоха доминирования армейского клуба в чемпионате СССР, длившаяся более тридцати лет. В 1955-1989 гг. ЦСК МО (с 1959 г. – ЦСКА, Центральный спортивный клуб армии) лишь шесть раз уступал чемпионский титул другим командам (столичным "Крыльям Советов" и "Спартаку"). Армейские хоккеисты составляли основу сборной СССР, успешно выступавшей на различных международных соревнованиях. Трижды олимпийскими чемпионами становились игроки ЦСКА Владислав Третьяк, Александр Рагулин, Виктор Кузькин, Анатолий Фирсов и Андрей Хомутов.
Хоккеист Борис Михайлов, выступавший в ЦСКА в составе легендарной "тройки" вместе с Владимиром Петровым и Валерием Харламовым, является лучшим бомбардиром в истории отечественного хоккея. Рекордсменом по числу заброшенных шайб за один сезон и сегодня остается другой игрок ЦСКА, Вениамин Александров, в сезоне 1962/1963 гг. ставший автором 53 голов.
Четыре хоккеиста ЦСКА (Владислав Третьяк, Вячеслав Фетисов, Валерий Харламов, Сергей Макаров) в 2008 г. были включены в символическую сборную столетия по версии Международной федерации хоккея на льду. Номера этих игроков выведены из обращения в клубе.
Среди тренеров наибольшее количество титулов с ЦСКА выиграли Анатолий Тарасов и Виктор Тихонов, каждый из них руководил командой на протяжении более 20 лет.
Всего до 1991 г. армейский клуб 32 раза выигрывал чемпионат СССР (1948-1950, 1955, 1956, 1958-1961, 1963-1966, 1968, 1970-1973, 1975, 1977-1989), 12 – Кубок СССР (1954-1956, 1961, 1966-1969, 1973, 1977, 1979, 1988), 20 – Кубок европейских чемпионов (1969-1974, 1976, 1978-1990) и один – Кубок Шпенглера (1991).
После 1989 г. ЦСКА ни разу не удавалось выиграть титул чемпиона страны. В чемпионате СНГ 1991-1992 гг. команда дошла до финала плей-офф, однако уступила московскому "Динамо". В соревнованиях Межнациональной хоккейной лиги, проводившихся в 1992-1996 гг. в разных форматах, ЦСКА не входил в число призеров.
В 1996 г. Виктор Тихонов, возглавлявший армейский хоккейный клуб с 1977 г., был уволен с поста главного тренера приказом начальника ЦСКА Александром Барановским. Возникший конфликт привел к тому, что в чемпионате России в 1996-2002 гг. играли две армейские команды: ХК ЦСКА (его возглавил Виктор Тихонов) и ЦСКА (также назывался ПХК ЦСКА; главными тренерами в разное время были Александр Волчков, Борис Михайлов и др.). Оба клуба не смогли добиться успехов в чемпионате страны. После сезона 2001/2002 гг. команды были объединены. Начальником объединенного ХК ЦСКА стал Тихонов. Клуб ЦСКА, по итогам сезона 2001/2002 гг. покинувший Суперлигу (высший дивизион чемпионата России), был расформирован.
После объединения ЦСКА трижды подряд занимал в чемпионате России 10-е место и не попадал в плей-офф: в 2003-2004 гг. под руководством Тихонова, в 2005 г. – с пришедшим ему на смену Вячеславом Быковым. В 2006-2008 гг. команда Быкова трижды выходила в плей-офф, лучший результат был показан в сезоне 2006/2007 гг. (полуфинал).
В 2008-2009 гг., в первом сезоне Континентальной хоккейной лиги (КХЛ), ЦСКА занял 1-е место в дивизионе Тарасова, однако в плей-офф уступил столичному "Динамо" на стадии 1/4 финала. Главный тренер клуба Вячеслав Быков и его помощник Игорь Захаркин, совмещавшие посты в ЦСКА с успешной работой в сборной России, покинули клуб по окончании сезона.
В 2011 г. команда показала худший результат за всю историю своих выступлений в КХЛ, заняв 19-е место в регулярном чемпионате. В 2013 г. ЦСКА во второй раз сумел преодолеть первый раунд плей-офф КХЛ, в полуфинале Западной конференции армейцы проиграли московскому "Динамо".
В 2010, 2012 и 2014 гг. хоккеисты ЦСКА выбывали из борьбы за Кубок Гагарина после первого раунда плей-офф (поражения в сериях против ХК МВД и дважды – СКА).