По прогнозам Gartner, в 2022 году 70% всех коммуникаций с клиентами в сервисе будет происходить при помощи искусственного интеллекта. Уже сегодня уровень голосовых и письменных цифровых помощников позволяет обрабатывать 60% звонков без участия человека. Все больше банков, телеком-операторов и других сервисных организаций используют их для обработки входящих запросов. Однако довести такие коммуникации до совершенства удается не всем.
Как чат-боты не понимают нас
Недавно я звонил в один известный банк, чтобы выяснить, можно ли открыть брокерский счет на несовершеннолетнего ребенка. Минут десять как минимум я пытался объяснить роботу, что мне нужен не обычный счет, не детская карта, пока наконец машина не сдалась и не переключила меня на оператора. Программа слышит слово "счет" и автоматически относит его к правилам открытия счета. При повторном запросе он вычленяет слово "детский" и находит еще одно совпадение — "детская карта". Очевидно, что сценарий по моему запросу не был учтен нейросетью. Для нее это стало ситуацией неопределенности, в которой она не смогла принять решение.
Многие пользователи принципиально не хотят общаться с цифровым ассистентом и сразу просят перевести звонок на оператора. Причина в том, что получить четкий ответ от робота можно только на очень простой, стандартный вопрос — узнать баланс счета и т.д. Если вопрос сформулировать иначе, например, "почему на моем балансе минус, если я вчера положил на счет 500 рублей", то в 99% случаев бот озвучит вам тот же самый ответ или предложит посмотреть баланс в личном кабинете.
Сложности возникают, когда человек говорит быстро и эмоционально: искусственный интеллект настроен на спокойную и медленную речь, короткие и внятные вопросы. Он плохо справляется с потоком мыслей и фраз. Если программа привыкла, что клиенты заказывают мясную пиццу, то не поймет, что ему называют Мясную улицу (такая есть в Санкт-Петербурге — прим. ТАСС).
Это плохо влияет на клиентский опыт, решение задачи затягивается, и, как следствие, лояльность клиента падает.
Почему разочаровывают чат-боты, на которые потрачены миллионы рублей?
Как можно это исправить? Чтобы ответить на эти вопросы, нужно понять, как устроен бот, как он распознает вопросы пользователей и как находит подходящий ответ.
Голосовые боты — это софт на основе искусственного интеллекта (ИИ), который может понимать естественный язык и синтезировать речь, чтобы общаться с людьми.
Сам по себе ИИ не обладает ни волей, ни абстрактным мышлением, ни желанием говорить. Он имитирует общение и, чтобы ответить на вопрос, должен получить входящий сигнал, определить ключевые слова в человеческой речи, проанализировать тысячи заложенных в него кейсов из обращений клиентов и ответов компании, найти совпадения и выбрать правильный сценарий ответа. Для этого чат-бота необходимо качественно обучить. Вот три составляющие обучения:
- Данные. Базовая информация, с которой предстоит работать системе. База знаний для чат-бота создается на основе клиентского опыта. Чем больше клиентских запросов мы загрузим в систему, тем лучше и точнее она будет работать.
- Признаки для разметки данных и формирования датасетов. Необходимо не только собрать как можно больше запросов, но и научить его сортировать их по заранее сформулированным признакам. Так, например, запросы в МФЦ на тему "как прописаться в новой квартире", "как зарегистрироваться в квартире" или "какие документы нужны для регистрации" должны быть отнесены к единому признаку — "регистрация".
- Алгоритмы. Методы для решения поставленной задачи. Они должны быть точными и одновременно вариативными. Так, например, некоторые чат-боты запрограммированы искать ответ самостоятельно и не переключать абонента на оператора. А некоторые просят поставить им оценку, и если в этот момент у пользователя возникает новый вопрос, то ответить на него они уже не смогут — придется звонить еще раз.
Как собирают данные для обучения ИИ
Существует два метода сбора и разметки данных для этой цели: ручной и автоматический. Вручную это делать долго, зато результат получается более точный. Автоматический метод быстрый, но на выходе можно получить не только много ошибок, но и репутационные риски.
Другой популярный банк сформировал базу данных для голосового помощника на основе диалогов, собранных автоматическим путем из открытых источников в Сети. В какой-то момент чат-бот не нашел ответ на поставленный клиентом вопрос и предложил ему… отрезать себе пальцы. Скандал вышел грандиозный: об этом написали многие СМИ.
Избежать такого рода неприятностей можно исключительно путем постмодерации и проверки данных на токсичность с помощью "биологического интеллекта" — человека.
Разметка данных
Нейросеть вычленяет закономерности и формирует нейронные связи на основе размеченного массива данных. Разметка — процесс достаточно рутинный и утомительный, и без людей здесь тоже не обойтись.
Теоретически нейросеть может справиться с этой работой самостоятельно и на основе алгоритмов классифицировать загруженные в нее данные. Например, для формирования датасетов в банке можно использовать клиентские досье: сеть разделит их на группы, но при этом не сможет определить, какие клиенты важны, а какие нет. Такой вид разметки используют обычно для предварительной кластеризации данных перед дальнейшей обработкой руками человека.
Некоторые компании привлекают к решению этих задач собственных операторов (если есть свободные ресурсы) или передают работу на аутсорсинг профильным исполнителям. Чем больше проверок проходит датасет, тем точнее будет впоследствии работать искусственный интеллект, тем эффективнее чат-бот сможет обрабатывать запросы клиентов.
Долгое обучение
Когда чат-бот приступает к работе, его обучение не заканчивается. Для корректировки ошибок нужно анализировать обратную связь, отбирать ситуации, где цифровой помощник не справляется, и исправлять ошибки нейросети — добавлять новые датасеты и прописывать новые сценарии. Нейросеть при помощи подсказок человека обучается с учетом предыдущего опыта. С каждым разом она совершает все меньше ошибок, но все равно могут возникнуть ситуации неопределенности, элементарные для человека и непонятные для машины.
Итак, подытожим причины, из-за которых голосовые помощники могут работать плохо.
- На уровне данных: у нейросети слишком мало стартовой информации для "осмысления", недостаток данных.
- На уровне метрик: ошибки в разметке датасетов, отсутствие постмодерации автоматически размеченных данных или же недостаток датасетов в силу нехватки людей для этой работы.
- На уровне алгоритмов: использование неправильных алгоритмов, например, KPI на высокий процент автоматической обработки запросов. Как показывает практика, не нужно "заставлять" голосового помощника во что бы то ни стало искать ответы самостоятельно и давать близкий по значению ответ. В случае, если он не находит нужного сценария, он должен переключать абонента на оператора (для контроля уверенности предсказаний используется специальная программа).
Недостаток проработки любой из этих составляющих ведет к замене пиццы на улицу и всем другим "трудностям перевода".
Как обучают ИИ, от которого зависит очень многое.
Пример первый. Tesla.
Хороший пример качественного обучения и эффективного использования искусственного интеллекта — опыт Tesla, которая работает над совершенствованием механизма автопилотирования своих автомобилей.
Для обучения нейросети автопроизводитель использует миллиарды сцен, миллионы часов, тысячи терабайт информации, полученных с радаров машин. Это "слепки" конкретных ситуаций, происходящих на дороге. Анализируя полученные данные, система делает предсказания: куда повернуть руль, нажать газ или тормоз и т.д. Безусловно, процесс автоматизирован, но реальная разметка делается с участием человека. Когда человек садится за руль, его действия тщательно фиксируются. На основе полученной информации формируются датасеты, которые используются для обучения сети. Анализ поступающих с машин пользователей данных позволяет постоянно улучшать работу нейросети и совершенствовать автопилот.
Пример второй. Google-переводчик.
Первоначально Google обошел ограничение, связанное с ручной разметкой датасетов: компания использовала официальные документы и их переводы от Европейского парламента и Парламентской ассамблеи Организация Объединенных Наций. Из-за строгости перевода в этих учреждениях эти документы подошли для начального обучения. Но уже на втором этапе разработчики поняли, что для передачи сленга, культурных особенностей речи и других смысловых нюансов без ручной разметки данных не обойтись. Для этого они через аутсорсинговые компании собрали исполнителей, которые работали над разметкой датасетов для постоянного улучшения переводов. Для дообучения понадобились миллионы размеченных документов, и процесс совершенствования системы — как с помощью технологий, так и с помощью людей — продолжается постоянно.
Машина и человек должны работать вместе
Обучение нейросетей без участия человека не дает желаемого результата, несмотря на самые современные методы и технологии. Установка "во имя технологического прогресса лучше распознать плохо и с ошибкой, только без участия человека" имеет мало общего с реальной практикой решения конкретных бизнес-задач, когда важен результат и клиентский опыт.
К сожалению, многим компаниям, сделавшим ставку на технологии и потратившим миллионы на искусственный интеллект, бывает сложно признаться в несовершенстве собственной системы, нанять людей для разметки и исправления ошибок нейросети и начать переключать звонки на операторов ради удобства пользователей.