Как компьютерное зрение помогло производителю автоматизировать анализ фотографий магазинных полок

В ритейле постоянно внедряются новые технологии, которые помогают сделать покупательский опыт клиентов приятнее, работу сотрудников магазина — проще, а прибыль производителей — выше. Но есть еще очень много задач, которые решаются по старинке, с помощью ручного труда. Так, менеджеры до сих пор вручную разбирают и проверяют фотографии оборудования в торговых точках, которые им присылают мерчандайзеры. Можно ли автоматизировать процесс?

В “БАТ Беларусь” нашли ИТ-решение для этой задачи. О том, как один небольшой запрос на автоматизацию превратился в полноценный продукт для менеджеров, торговых представителей и мерчандайзеров, расскажет Анастасия Бордак — руководитель продукта Goods Checker в ИТ-компании IBA Group. 

Согласно Закону Украины «О рекламе», мы не можем называть бренды табачных изделий и публиковать их фото. Поэтому далее в тексте все марки обезличены, а товары на фото — размыты. 

---

1. Проблема: менеджеры не успевают проверять сотни фотографий

Осенью 2019 года к нам обратилась компания “БАТ Беларусь” — одна из ведущих мультикатегорийных компаний в Беларуси, поставляющая табачные изделия, никотиносодержащие продукты и системы для потребления табака. Менеджеры компании задумались над тем, чтобы автоматизировать анализ фотографий торгового оборудования, которые им присылают мерчандайзеры. Вот какую информацию мы получили от клиента.

Как продукция “БАТ Беларусь” попадает на полки магазинов? Мерчандайзер или торговый представитель компании размещает продукцию на полках стеллажей или в специальных шкафах в соответствии со схемой, которую он получил от своего менеджера. Эта схема называется планограммой. 

Зачем фотографировать товары после выкладки? Когда все товары разложены по местам, мерчандайзер должен отчитаться о выполненной работе. Для этого он делает фото торгового оборудования. Это фото называется реалограммой. Фото отправляется менеджеру, который сверяет реалограмму с планограммой и делает выводы о работе мерчандайзера.

Почему здесь нужна автоматизация? Менеджеры оценивают фотографии вручную. Часто фото плохого качества и человеческий глаз с трудом может распознать SKU. Одна из причин — подсветка на оборудовании (светодиодная лента), которая засвечивает фото и мешает распознавать товары. Кроме того, менеджеров сначала нужно обучить и подготовить, а затем как-то контролировать результаты их работы. При этом каждый менеджер ежедневно получает сотни фотографий и отчетов, которые часто не успевает обрабатывать. Также мерчандайзеры нередко присылают не те фото или неправильно заполняют анкеты. В итоге менеджер принимает решения на основе субъективной оценки под влиянием недостатка времени, усталости и плохого настроения. Автоматизация поможет ускорить процесс оценки реалограмм и избежать человеческого фактора.

Итак, задача: найти решение для автоматической проверки реалограмм. 

Наш отдел Data Science предложил использовать технологию компьютерного зрения для решения задачи. “БАТ Беларусь” поддержал эту идею. 

2. Идея: автоматизировать анализ фотографий с помощью компьютерного зрения

Мы решили сделать умный анализ фотографий: автоматизировать процесс распознавания SKU и оценки правильности выкладки. То есть отдать рутинную работу машинам, чтобы люди могли сосредоточиться на более сложных и важных задачах. 

План был такой:

1. Разработать решение для оценки реалограмм по фотографиям.

2. Создать инструмент для мерчандайзера, чтобы автоматизировать процесс.

3. Создать инструмент для аналитика, чтобы формировать необходимые отчеты для дальнейшего анализа и принятия важных решений. 

Особенность работы с компьютерным зрением состоит в том, что для обучения моделей нужно много данных. Чтобы система научилась распознавать и правильно классифицировать SKU, ей нужно “рассмотреть” сотни разных фотографий. 

BAT поделился с нами фотографиями, которые обычно присылают мерчандайзеры менеджерам. Исходные данные были такие: 

• 2000 фотографий;

• 95 000 товаров. 

У нас было 45 дней на реализацию проекта. Что мы ожидали увидеть:

• идеальное качество фотографий;

• весь ассортимент умещается в одном кадре;

• товары разложены ровно и аккуратно.

К сожалению, ничего подобного. В работе с фотографиями нас ожидало немало сложностей и проблем, которые требовалось решить. 

3. Ожидание vs Реальность: какие препятствия преодолели на пути к результату

Фотографии шкафов и стеллажей с сигаретами разработчики размечали вручную всей командой. Да, чтобы избавиться от ручного труда, нужно приложить немало ручного труда. 

Отличных фотографий, на которых всё красиво и понятно, оказалось меньшинство. Остальные же было сложно разметить, чтобы правильно обучить нейронные сети распознавать SKU с максимальной точностью. 

Самыми распространенными проблемами были следующие (в примерах реальные фотографии из магазинов):

1. Проблема: на обработку присылают фотографии, которые не нуждаются в проверке на соответствие планограмме. Таких фото 45%. 

Решение: мы сделали нейронную сеть, которая определяет, подходит ли фото для анализа.

2. Проблема: оборудование бывает разных типов, а от него напрямую зависит выкладка. 

Решение: мы обучили компьютерное зрение различать разные шкафы и стеллажи, оборудование в дополнительных местах продаж.

3. Проблема: похожие товары. В рамках одной категории SKU обычно очень похожи. На фото более десятка видов сигарет одной марки, некоторые из которых различаются только оттенком цветной вставки. 

Решение: мы обучили разметчиков, и они обработали большое количество данных, внимательно размечая фото. 

4. Проблема: плохое качество съемки. На фото ниже примеры размытого, засвеченного и слишком темного кадра. Такие фотографии тоже нужно как-то распознавать. 

Решение: мы научили систему определять качество фото, которые к нам приходят.

5. Проблема: всё не помещается на одно фото. Так бывает, когда оборудование слишком большое или когда в магазине мало места в проходе и мерчандайзеру неудобно делать фото. 

Решение: в таких случаях несколько фотографий мы “склеиваем” в одну. 

6. Проблема: новые товары. Ассортимент постоянно обновляется: появляются новые товары, а существующие переживают ребрендинг. Все они могут встретиться на одной полке. На фото ниже, в среднем ряду справа, представлены сигареты до и после ребрендинга.

Решение: мы разработали функционал для ввода новых товаров со дня продажи.

Со всеми этими проблемами справились: теперь компьютерное зрение распознает фотографии с точностью >93%. Производитель получил готовое решение, которым успешно пользуется в работе. 

Но нет предела совершенству. “БАТ Беларусь” и IBA Group вместе задумались над тем, чтобы развить функционал и сделать получившееся приложение еще полезнее и удобнее.

4. Новая задача: облако, аналитика и мобильное приложение

После того, как компьютерное зрение обработало 2000 фотографий, у команды на руках оказалось большое количество оцифрованных данных. А это значит, что с ними можно было работать дальше: сделать не просто заказную разработку под одну конкретную задачу, а полноценный продукт.

На базе собственного сервиса IBA Cloud создали облачное решение, дополнив функционал мобильным приложением для мерчандайзеров и веб-приложением для менеджеров. Стала доступна не только проверка реалограмм, но и аналитика. Менеджеры получают подробные отчеты по мерчандайзерам, представленности товаров на полках, дистрибуции в магазинах.

Продукт работает по следующей схеме: 

1. Мерчандайзер фотографирует SKU на полках магазина с помощью мобильного приложения.

2. Фотография через Интернет отправляется в дата-центр IBA Group.

3. Специально разработанный модуль с искусственным интеллектом,  анализирует фотографию, определяет и классифицирует SKU, после чего оценивает реалограмму по заранее заданному сценарию. 

4. Goods Checker получает данные, обрабатывает их на сервере и формирует отчеты.

5. Мерчандайзер видит результат своей работы уже через несколько секунд после отправки и может сразу исправить все неточности или указать причины, почему это сделать нельзя (out of stock, поломка оборудования и т. п.).

6. Менеджер получает аналитические отчеты в режиме реального времени.

Решение работает из облака по модели SaaS. “БАТ Беларусь” доступны все обновления, при этом не нужно тратить собственные ресурсы на поддержку системы. 

5. Результат: как клиент пользуется решением и какую пользу получает

Сейчас 100+ мерчандайзеров и торговых представителей присылают фотографии SKU из 5000 магазинов. Ежемесячно Goods Checker анализирует 60 000 фотографий. Приложение определяет все 100% объектов на фото менее чем за 30 секунд. Точность распознавания SKU — выше 93%. 

Работа с выкладкой товаров, в которой участвуют несколько мерчандайзеров, торговых представителей и супервайзеров, автоматизирована. Мерчандайзер пользуется Goods Checker и сразу видит, какие товары он разложил правильно, а какие — нет. Все ошибки легко исправить сразу же. Результаты обработки в приложении показывают проверяющему, что выкладка верна. Как полевые специалисты, так и менеджеры всегда уверены, что работа сделана качественно. И мерчандайзер знает, что получит бонус за хорошую работу. 

Менеджеры в режиме реального времени могут оценивать не только качество работы мерчандайзеров, но и представленность SKU и использование оборудования. А когда “БАТ Беларусь” выпускает новые SKU, они сразу же добавляются в систему, и приложение их распознает с момента выхода на рынок. Так менеджеры уже со старта продаж видят представленность ключевых позиций. 

В планах по развитию продукта — распознавание на фотографиях ценников, определение цены и соотнесение ее с SKU. Также планируется находить на фото промовставки и определять их актуальность. 

6. Итоги: от маленькой задачи к трансформации бизнес-процессов 

Заказная разработка под одну небольшую задачу способна стать продуктом, который в корне изменит бизнес-процессы компании. Первоначальный запрос — автоматизировать анализ фотографий, которые присылают мерчандайзеры — положил начало совместной работе специалистов “БАТ Беларусь” с командой разработчиков Data Science из IBA Group. В результате у компании есть удобный инструмент, который не только проверяет выкладку товаров на полках магазинов, но и помогает мерчандайзерам работать качественнее, а менеджерам — принимать обоснованные управленческие решения. 

Автоматизация одних бизнес-процессов “тянет за собой” изменение следующих — и в итоге компания внедряет все больше инноваций и получает все больше выгод. А самое главное — уверенно чувствует себя на рынке и выигрывает в конкурентной борьбе.