Нейронная сеть "Сара". Модерация контента на машинном уровне

14.03.201914 марта, 20191 комментарий

В последние годы о нейронных сетях, их пользе и эффективности написано немало статей. Безусловно, тема интересная, особенно если можно не только углубиться в дебри терминов и тезисов, а еще и узнать о реальном применении сего инновационного чуда.

В этой статье мы хотим рассказать о том, как мы разработали и применили нейронную сеть для оптимизации работы над нашим контентом и что получили на выходе.


По порядку

 

Итак, предыстория такова. Как каталог товаров и услуг, Satom.ru имеет четкую структуру. Для удобства пользователей все товары распределены по рубрикам, что значительно облегчает их поиск и продвижение. Каждый из нас покупает что-то в интернет-магазинах, поэтому все в курсе, как важна удобная структура и логичная классификация товаров. Именно поэтому на Satom.ru работа с рубрикатором имеет максимальный приоритет.

Процесс это трудоемкий, а главное - бесконечный: клиенты (владельцы интернет магазинов) постоянно загружают новые товары, часто их ассортимент исчисляется десятками тысяч. Конечно, заморачиваться правильным определением рубрик для такого количества товаров у клиентов нет ни времени, ни желания. И даже возможность автоподбора не решает эту проблему - рубрики, предложенные системой, пользователю нужно подтвердить или отклонить, но часто даже на столь минимальное участие терпения клиентов не хватает. В итоге мы получаем рубрики, захламленные товарами, не имеющими к ним никакого отношения, а также товары вообще без рубрик, которые просто не видны в каталоге. На сайтах, созданных на нашей платформе, рубрикация не обязательна, там структура может быть любой и покупатель может просматривать папки, искать товары в списке и т. д. Каталог же совсем другое дело - его структура едина. Поэтому беспорядок, конечно же, отталкивает покупателя, да и репутация каталога страдает.

Для того, чтобы поддерживать рубрики в порядке, мы не один год содержали целый отдел модераторов. Ежедневно они прорабатывали товары в каталоге, перемещая в нужные рубрики. Мы всячески оптимизировали их работу, дорабатывая функционал, чтобы по максимуму ускорить и автоматизировать процесс. Как вы понимаете, все это обходилось нам в копеечку - заработная плата, модернизация функционала, время, затраченное на контроль и проверку качества работы. Однако, альтернатив на тот момент мы не видели, поэтому обкатывали и усовершенствовали процесс, ничего существенно не меняя.

Время перемен


Подходим к сути. Мы всегда стараемся максимально использовать технологии для улучшения своего продукта. Над этим у нас трудится целый отдел с загадочным названием R&D IT, а если по-русски - исследование и разработка информационных технологий. Вот эти ребята и задались целью использовать нейронную сеть в нашей работе. На тот момент еще не было четкого понимания, где именно она нам пригодится, начали лишь детальное изучение вопроса, чтобы понять - пригодится ли вообще.

Начали с изучения самой сути машинного обучения, нужно было оценить перспективы его внедрения и сферы, в которых мы могли бы его использовать.

Затем, используя существующие библиотеки данных, разработали простую нейронную сеть. В основе разработки - компьютерный анализ текстов, с последующей обработкой нейронной сетью.

Дальше мы обучали нейронную сеть определению рубрики по фото товара. К нашему огорчению, точность оказалась не так высока, как мы ожидали. Сдаваться мы не собирались, поэтому начали обучение другой нейронной сети. На этот раз цель была - классификация товаров, исходя из их названия, а также названия папки, в которой товар размещен. Здесь дела пошли уже лучше. Ребята даже решили дать имя нашей нейронной сети и теперь ее зовут Сара :). Далее мы так и будем называть ее, чтобы не писать каждый раз “нейронная сеть”. На анализ данных, составление словаря и обучение Сары ребята потратили около месяца.

Как это работает


Итак, как работает наша Сара. Сам алгоритм распознавания состоит из 2х частей:

  • I часть преобразует название товара с помощью специального словаря в вектор разрядностью 80000;
  • II часть передает нейронной сети тот самый вектор и делает предсказание рубрики.


Сара делает прогноз вероятности, с которой товар относится к той или иной рубрике. При этом она предлагает 5 вариантов рубрик, в которых находит совпадения с названием товара. Точность результатов была такова:

  • ТОП 1 - 89 %
  • ТОП 5 - 98 %

Расшифруем: показатель ТОП 1 означает, что прогноз, по которому первая рубрика из списка верна, точен на 89%. ТОП 5 означает, что одна из рубрик, расположенных в списке ниже первой, подобрана верно с вероятностью 98%. Оба показателя достаточно точные и мы решили пробовать на практике.

Нам важно было понять, насколько эффективно она может сработать, позволит ли нам, хотя бы частично, исключить ручной труд, а заодно и снизить наши расходы. Но мы не спешили - для начала мы задействовали Сару в нашем алгоритме автоподбора рубрик. Параллельно, в штатном режиме товары продолжали проверять модераторы. По итогам месяца сделали срез данных - результаты были довольно неплохими, поэтому мы решили собирать статистику еще определенный период и, если динамика сохранится - менять нашу систему работы с рубриками.

По прошествии 3х месяцев мы вывели следующую статистику: для 60% проверенных товаров модераторы уже не изменяют рубрику, а лишь подтверждают ту, которая была присвоена товару.

Раньше этот показатель едва доходил до 10%, поэтому у нас были все основания считать, что это связано именно с работой Сары - она определяет рубрики так, что изменять их в большинстве случаев не нужно. Это было уже кое-что и мы начали нашу небольшую реформу.

Что у нас получилось


Совсем отказываться от ручного труда было еще рано, но минимизировать его - уже вполне можно. Поэтому из 12 модераторов мы оставили 6, наиболее продуктивных и добросовестных. Они перепроверяют результаты работы Сары и корректируют их, при необходимости. Параллельно мы начали разрабатывать новую программу обучения, которая позволит еще повысить точность подбора. На эту разработку и на следующий этап обучения потребуется несколько месяцев. Но мы уже оценили эффективность работы нейронной сети, видим ее потенциал, а кроме того - мы уже вошли во вкус и намерены развивать это направление и для других сфер нашей работы.

Все это перспективы, а на данном этапе наша цель - сократить ручной труд настолько, чтобы нам достаточно было троих человек, которые будут лишь частично проверять и дополнять то, что выполнила наша нейронная сеть. Сейчас у нас уже нет сомнений, что это вполне реально и искусственный интеллект - это не только тема для фантастических фильмов, а достаточно эффективный инструмент, упрощающий многие процессы. О наших дальнейших шагах в исследовании этого направления мы вам обязательно расскажем!

 

К рубрике
Новости
Ещё посты из раздела Новости
Оставьте свой комментарий
или войти через
Алексеев Даниил Сергеевич14.04.2019 12:22
Сара, отличное название, сети. Но перепрыгнуть пропасть на 98% и перепрыгнуть пропасть на 100% это не одно и тоже, так и с определением рубрик. Например, определяя рубрику у товара имеющего название "патрубок радиатора..... далее указывается модель автомобиля)", Сара определяет рубрику "радиатор". Тут и ежу понятно, почему так произошло. В каталоге портала Satom.ru имеется другая рубрика, более подходящая для товара с названием "патрубок радиатора .... название модели автомобиля" : система охлаждения двигателя. В этой рубрике есть подраздел, соединительные патрубки и шланги. Это первое. Второе, автомобиль "ЗИЛ" продолжает колесить по дорогам не только России, но и по дорогам Украины, Белоруссии и других стран. Но этого автомобиля больше нет в каталоге. Третье, Заводы изготовители, а точнее инженера, работающие на этих заводах, каждой детали присвоили каталожный номер, у номера есть "голова" и "тело" например 5320-1001020, где "голова" это 5320, а "тело" 1001020. Увидев такой каталожный номер менеджер, механик, продавец, водитель и другие специалисты, поймут, что речь идёт о подушке передней опоры двигателя КАМАЗа. В каталоге портала Satom.ru нет большинства цифр "голов" от каталожных номеров. Это определяется при ручном заполнении карточки товара.
Ответ компании15.04.2019 10:47
Добрый день. Благодарим за отзыв и конструктивные рекомендации. Что касается точности подбора рубрики - нейронная сеть продолжает совершенствоваться и сейчас проходит второй этап ее обучения, направленный на повышение точности подбора. Что касается каталожных номеров - жалоб от клиентов на их отсутствие ранее не поступало. Стоит принять во внимание, что мы не специализированный автомобильный портал, где уместна настолько подробная классификация. В нашем каталоге представлены самые разные категории товаров, поэтому классификация более упрощенная.