Родился 18 декабря 1930 г. в Симферополе (Крымская АССР, ныне Республика Крым) в семье Якова Давидовича Калмановича (1908-1964) и Веры Борисовны Пеллех (1910-2002). В начале 1940-х гг. проживал с родителями в Киеве (Украинская ССР, ныне Украина), с 1943 г. - в Москве.
В конце 1940-х гг. учился в Школе-студии им. Вл. И. Немировича-Данченко при Московском художественном академическом театре (МХАТ) СССР им. М. Горького (ныне Школа-студия, институт, им. Вл. И. Немировича-Данченко при Московском художественном театре им. А. П. Чехова), затем в Таллинском государственном институте прикладных искусств Эстонской ССР (ныне Эстонская академия художеств). В 1955 г. окончил факультет живописи этого вуза.
С середины 1950-х гг. работал художником-постановщиком в столичных театрах. Сотрудничал с МХАТ СССР им. М. Горького, Государственным академическим Малым театром, Театром оперетты. Взял фамилию Ворошилов (по фамилии первой супруги).
С 1966 г. Владимир Ворошилов работал на Центральном телевидении (ЦТ) Гостелерадио СССР. Первоначально выступал в качестве режиссера документальных фильмов и телеспектаклей.
В 1969-1970 гг. был режиссером и ведущим цикла передач "Аукцион", подготовкой которого занималась молодежная редакция ЦТ в сотрудничестве с объединением "Союзторгреклама". Замысел программы состоял в повышении спроса на товары народного потребления, выпускавшиеся в СССР. Правильно ответив на вопросы ведущего, участники передачи также могли получить приз.
В 1970-1972 гг. - сценарист, ведущий спортивно-развлекательной передачи "А ну-ка, парни!" (выходила на первой программе ЦТ).
В 1975 г. Владимир Ворошилов стал автором и режиссером интеллектуальной телевизионной викторины "Что? Где? Когда?". Идея создания передачи принадлежала ему и редактору Наталии Стеценко. Программа впервые вышла в эфир 4 сентября 1975 г. на первой программе ЦТ как подрубрика передачи "В эфире - молодость". В этом выпуске соревновались, отвечая на вопросы, две семьи. В 1976-1977 г. сформировались правила игры, приближенные к современным (соревновались команды знатоков и телезрителей). Ворошилов оставался ведущим "Что? Где? Когда?" до конца 2000 г.
Владимир Ворошилов выпустил книги "Заметки театрального художника" (1978) и "Феномен игры" (1982).
В 1989-2001 гг. - президент Международной ассоциации клубов "Что? Где? Когда?".
Был членом Академии российского телевидения.
Владимир Ворошилов скончался 10 марта 2001 г. в пос. Переделкино (Московская область, ныне территория Новомосковского административного округа Москвы) на 71-м году жизни. Похоронен на Ваганьковском кладбище.
Заслуженный работник культуры РФ (1994).
В октябре 2001 г. посмертно отмечен премией ТЭФИ в почетной номинации "За личный вклад в развитие российского телевидения".
Владимир Ворошилов был женат четыре раза. Последняя супруга - Наталия Стеценко (род. 1945; генеральный директор телекомпании "Игра-ТВ", занимающейся производством передачи "Что? Где? Когда?"). Пасынок (ребенок Наталии Стеценко от первого брака) - Борис Крюк (род. 1966, с 2001 г. - ведущий передачи "Что? Где? Когда?"). Дочь - Наталья (род. 1997). Ее матерью является Наталья Климова.