Оглавление:

• Что такое анализ тональности и зачем он нужен вашим маркетологам
• Как в Awatera пришли к использованию GPT для анализа тональности 
• Колдовство с промптами 
• Какие еще услуги на основе анализа тональности можно предложить клиентам

Разговоры о GPT не утихают с момента релиза ChatGPT в ноябре 2022 года. Его применяют для написания кода, обработки информации, общения с клиентами, создания контента и многих других задач в разных отраслях.  

Мы в Awatera не были исключением и набросились на новый инструмент с энтузиазмом исследователя-первопроходца! Сначала это было просто весело — наблюдать за работой «Чата», выискивать перлы и делиться ими с коллегами, пытаться подловить его на ошибках, придумывать какие-нибудь игры, сюжет или просто поговорить по душам. 

Ну как можно остановиться, когда «бездушная машина» просит называть себя «Дорогой», сравнивает силу манго и авокадо в поединке, заявляет, что хотела бы быть коалой или выдает что-то в духе «Задавайте вопросы, я обязательно на них ответю»? Вот и мы не могли.

Специалисты нашего Экспертного центра разглядели перспективы и начали системно тестировать ИИ. Об одной из его возможностей — анализе тональности — расскажем в этой статье.

Что такое анализ тональности и зачем он нужен вашим маркетологам

Если коротко, анализ тональности — это специальный набор методов контент-анализа, позволяющий определить эмоциональную окраску текста (письма, статьи, презентации). Это отношение автора к тому, о чем он говорит. Обычно оценка суждению дается в формате «позитивное», «нейтральное», «негативное». Но градацию можно расширять и изменять. 

Идея автоматизированного анализа тональности не нова. Еще в начале XXI века лингвисты составляли словари и шкалы тональности. Использовались довольно простые методы, такие как подсчет ключевых слов. Затем перешли на обучение моделей с применением специальных классификаторов. Однако создание классификаторов и обучение требуют много времени и ресурсов. Развитие больших языковых моделей и нейросетей позволяет исключить эти процессы и значительно ускорить анализ настроений аудитории. 

В мире маркетинга, брендов и информации, анализ тональности — незаменимый инструмент бизнес-аналитики. И не важно, выпускаете ли вы музыкальный альбом или ИТ-решение, ведете предвыборную кампанию или продвигаете благотворительную организацию, вы хотите знать, что думает целевая аудитория и как относится к вашему продукту. А в переводческой сфере с помощью анализа тональности отзывов клиента можно, например, подобрать наиболее подходящую проектную группу или грамотно расставить приоритеты задач. Только получив объективную информацию, вы поймете, как улучшить свое предложение или укрепить имидж бренда. 

Как в Awatera пришли к использованию GPT для анализа тональности 

Сначала мы работали над иной задачей — хотели создать чат-бота для клиентских менеджеров, который бы упростил обработку заказов и ускорил общение с клиентами. Для этого с помощью платформы автоматизации PowerAutomate мы в течение месяца собрали более тысячи веток переписки с клиентами в наших филиалах. Но раз уж получили такой объем данных, то и выжать из него надо по максимуму. Решили узнать, нет ли в полученных письмах негативных отзывов, которые затем можно было бы проработать. 

К «Чату» и модели GPT пришли не сразу: сначала пробовали использовать и другие инструменты, например, Azure Cognitive Service for Language, а также библиотеки для обработки естественного языка TextBlob и NLTK. Изучали удобство в работе с ними и, конечно, потенциальные затраты. В TextBlob используется предварительно обученная модель, которая не может гарантировать полезные результаты на наших данных. В NLTK можно обучить собственную модель, но это потребовало бы много времени и сил. Решение Microsoft не проходило по затратам.  

Мы сосредоточили силы на работе с GPT, потому что система от OpenAI обладает неоспоримым преимуществом по сравнению со старыми подходами на базе обучаемых классификаторов — модели GPT уже обучены на огромных массивах текстов из интернета. Шутка ли — GPT, на зависть Шелдону Куперу из «Теории большого взрыва», понимает сарказм (более-менее), а долгое время эта задачка считалась почти непреодолимой. По сути, для адекватного анализа тональности необходим был лишь грамотно сформулированный запрос или, как его принято называть в отношении GPT, промпт (от англ. prompt — запрос, подсказка).

Я спросил у ясеня, или Колдовство с промптами 

Я не просто так в самом начале писал про «энтузиазм первопроходца». Awatera стремится быть на переднем крае технологий, мы постоянно совершенствуем свои продукты и услуги. И когда речь заходит о таких перспективных решениях, как GPT в целом и анализ тональности на ее основе в частности, мы стремимся не задерживаться с проверкой концепции.

В первую очередь мы предварительно обработали собранные письма — удалили лишние символы, служебную информацию и т.д. Это обязательный этап, без которого рискуете получить некорректный результат. Затем вручную подготовили небольшую выборку: 15 писем с неявным негативным тоном, в том числе с саркастическими замечаниями. 

И вот как мы обрабатывали эту «негативную» подборку, используя трехуровневую шкалу тональности (негативный, нейтральный, позитивный): 

• 1-я итерация. GPT-3.5 и простой запрос оценить тональность текста. В 12 случаях из 15 результат был «нейтральная». Не самый лучший итог. 
• 2-я итерация. GPT-4 и тот же простой запрос. В 13 письмах из 15 система отметила тон как «негативный», а в одном даже посчитала, что автор выражает похвалу. Улучшение налицо. 
• 3-я итерация. GPT-4 + специальный промпт-ингредиент. Мы дали системе подсказку, прямо в запросе указав, что клиент может использовать сарказм. И чудо произошло, модель выявила негатив во всех 15 письмах. Впрочем, у версии 3.5 все еще были трудности, а мы хотели заставить работать и ее. 
• 4-я итерация. GPT-3.5 + специальный промпт-ингредиент + расширенная градация. Тонкая настройка творит магию. Мы увеличили шкалу оценки до 5 уровней, добавив варианты «слегка негативный» и «слегка позитивный». Это моментально улучшило результаты даже для более слабой модели. GPT-3.5 прошла тест. 

Конечно, на одной GPT работа не останавливается. После предварительной обработки массива писем нужно показать результат специалисту, который сможет отсечь ложные срабатывания и пограничные случаи, а также разработать меры по отзывам. 

Звучит как работа для CRM, но в Awatera мы придерживаемся принципов самоуправления и самоорганизации, поэтому у нас нет нужды в дополнительном органе или отделе, который занимался бы подобным пост-анализом, разработкой мер и решений по улучшению сервиса. Это дело самих команд, ведь каждый их участник лично заинтересован в повышении продаж и улучшении имиджа компании.  

Анализ тональности позволяет не только определить эмоциональную окраску текста, но и, например, оценить его объективность. В дальнейшем это позволит точечно обрабатывать факты, например, учитывать требования в отношении глоссариев и памяти перевода или собирать пожелания по условиям работы офисов и филиалов. 

И конечно, не негативом единым мы живем. Работа с позитивными отзывами — не менее полезная и действенная стратегия. Выявив особенно положительные отзывы, можно сконцентрировать усилия и улучшить отношения с клиентами, в том числе подобрать подходящих исполнителей и даже организовать допродажи. 

“GPT расширяет горизонты клиентского сервиса. В одном запросе, помимо базового анализа тональности текста, можно задавать дополнительные параметры, чтобы, например, классифицировать отзывы по типам. Всё это — без предварительного обучения модели.

Мы не собираемся останавливаться на изначально придуманных промптах. Промпт-инжиниринг – непрерывный творческий процесс, в ходе которого мы находим способы укротить своенравный искусственный интеллект. Лингвисты-исследователи AWATERA уже накопили достаточный опыт и готовы оказывать услуги внешним клиентам. Мы поможем проанализировать бизнес-процессы и гибко настроить оптимальный промпт для эффективного решения любой бизнес-задачи”.

Какие еще услуги на основе анализа тональности можно предложить клиентам 

Несмотря на то, что анализ тональности не новая услуга и известна давно, ChatGPT с его широкими возможностями автоматизации и отсутствием необходимости обучать классификаторы позволяет получить ощутимый выигрыш как в стоимости, так и в скорости. GPT не только определяет тональность: если задать правильные параметры, можно получить еще больше ценной информации. Например, можно выяснить, кто из клиентов присылает больше правок, чтобы затем проанализировать взаимодействие с таким клиентом и улучшить сервис.  

Мы активно тестируем GPT внутри и надеемся, что сможем предложить услугу анализа тональности на его основе и нашим клиентам. Для решения почти каждой задачи в той или иной сфере можно разработать специализированный промпт и настроить процессы сбора и предобработки данных. А сценариев применения у анализа тональности множество. GPT поможет:
 

клиентским менеджерам:

• выявлять ненавистиь и дискриминационные высказывания. Можно применять, например, для модерации пользовательских сообщений или как дополнительное средство автоматический проверки исходящей коммуникации, предназначенной для регионов, где с этим строго. OpenAI даже предлагает отдельную модель, заточенную именно под эту задачу; 
• классифицировать документы по предварительно настроенным категориям. Подойдет для любых сфер. Переводческие компании могли бы настроить классификацию входящих сообщений, чтобы быстрее отвечать на самые приоритетные запросы или направлять их к соответствующим экспертам (правки клиента — в отдел контроля качества; вопросы по тарифам — в биздев и т.д.); 
• отслеживать эмоциональное состояние клиентов в течение периода времени. Позволит в динамике оценить отношение клиентов, а значит, будет проще анализировать влияющие на это факторы, решать проблемы или подсвечивать лучшие практики;
• распознавать типичные языковые конструкции. Позволит подстраиваться под особенности речи клиентов, чтобы быть с ними «на одной волне» и выстраивать более эффективное общение. 

аналитикам данных и маркетологам:

• составлять числовые системы оценки отзывов в противовес классическим negative/positive. Может быть полезно для целей клиентской аналитики в отдельных сферах. 
• составлять списки плюсов и минусов продукта или предложений по его улучшению на основе необработанных отзывов. Мечта любого специалиста по работе с клиентскими отзывами. Только представьте, что эмоциональное эссе на ваших глазах превращается в удобный структурированный список, который практически сразу можно кидать в разработку. Экономию времени и нервов трудно переоценить. 

Это только начало. Модель GPT успешно работает с европейскими языками, русским и китайским. Мы продолжаем тестировать и собирать информацию о других языковых парах. Все для того, чтобы предлагать клиентом классные услуги и в конечном итоге лучше исполнять свое предназначение — помогать людям, говорящим на разных языках, понимать друг друга.