Як комп'ютерний зір допоміг виробнику автоматизувати аналіз фотографій магазинних полиць

У рітейлі постійно впроваджуються нові технології, які допомагають зробити купівельний досвід клієнтів приємнішим, роботу співробітників магазину — простіше, а прибуток виробників — вищий. Але існує багато завдань, які вирішуються по-старому, за допомогою ручної праці. Так, менеджери досі вручну розбирають та перевіряють фотографії обладнання у торгових точках, які їм надсилають мерчендайзери. Чи можна автоматизувати процес?

У "БАТ Білорусь" знайшли ІТ-рішення для цього завдання. Про те, як один невеликий запит на автоматизацію перетворився на повноцінний продукт для менеджерів, торгових представників та мерчендайзерів, розповість Анастасія Бордак – керівник продукту Goods Checker у ІТ-компанії IBA Group.

Згідно із Законом України «Про рекламу», ми не можемо називати бренди тютюнових виробів та публікувати їх фото. Тому у тексті всі марки знеособлені, а товари на фото — розмиті.

---

1. Проблема: менеджери не встигають перевіряти сотні фотографій

Восени 2019 року до нас звернулася компанія “БАТ Білорусь” – одна з провідних мультикатегорійних компаній у Білорусі, яка постачає тютюнові вироби, нікотиновмісні продукти та системи для споживання тютюну. Менеджери компанії замислилися над тим, щоб автоматизувати аналіз фотографій торговельного обладнання, які їм надсилають мерчендайзери. Ось яку інформацію ми одержали від клієнта.

Як продукція "БАТ Білорусь" потрапляє на полиці магазинів? Мерчендайзер або торговий представник компанії розміщує продукцію на полицях стелажів або спеціальних шафах відповідно до схеми, яку він отримав від свого менеджера. Ця схема називається планограмою.

Навіщо фотографувати товари після викладення? Коли всі товари розкладені на місця, мерчендайзер повинен звітувати про виконану роботу. Для цього він робить фотографії торговельного обладнання. Це фото називається реалограмою. Фото надсилається менеджеру, який звіряє реалограму з планограмою і робить висновки про роботу мерчендайзера.

Чому тут потрібна автоматизація? Менеджери оцінюють фотографії вручну. Часто фото поганої якості, і людське око важко розпізнає SKU. Одна з причин — підсвічування на устаткуванні (світлодіодна стрічка), яка засвічує фото та заважає розпізнавати товари. Крім того, менеджерів спочатку потрібно навчити та підготувати, а потім якось контролювати результати їхньої роботи. При цьому кожен менеджер щодня отримує сотні фотографій та звітів, які часто не встигають обробити. Також мерчендайзери нерідко надсилають не ті фото чи неправильно заповнюють анкети. У результаті менеджер приймає рішення на основі суб'єктивної оцінки під впливом нестачі часу, втоми та поганого настрою. Автоматизація допоможе прискорити процес оцінки реалограм та уникнути людського чинника.

Отже, завдання: знайти рішення для автоматичної перевірки реалограм.

Наш відділ Data Science запропонував використати технологію комп'ютерного зору для вирішення задачі. "БАТ Білорусь" підтримав цю ідею.

2. Ідея: автоматизувати аналіз фотографій за допомогою комп'ютерного зору

Ми вирішили зробити розумний аналіз фотографій: автоматизувати процес розпізнавання SKU та оцінити правильність викладки. Тобто віддати рутинну роботу машинам, щоб люди могли зосередитися на складніших та важливіших завданнях.

План був такий:

1. Розробити рішення для оцінки реалограм за фотографіями.

2. Створити інструмент для мерчендайзера по автоматизації процесу.

3. Створити інструмент для аналітика, щоб формувати необхідні звіти для подальшого аналізу та прийняття важливих рішень.

Особливість роботи з комп'ютерним зором у тому, що для навчання моделей потрібно мати багато даних. Щоб система навчилася розпізнавати та правильно класифікувати SKU, їй потрібно розглянути сотні різних фотографій.

BAT поділився з нами фотографіями, які зазвичай надсилають мерчендайзери менеджерам. Вихідні дані були такі:

• 2000 фотографій;
• 95 000 товарів.

Ми мали 45 днів на реалізацію проекту. Що ми очікували побачити:

• ідеальна якість фотографій;
• весь асортимент міститься в одному кадрі;
• товари розкладені рівно та акуратно.

На жаль, нічого подібного. У роботі з фотографіями нас чекало чимало складнощів та проблем, які потрібно вирішити.

3. Очікування vs Реальність: які перешкоди подолали на шляху до результату

Фотографії шаф та стелажів із цигарками розробники розмічали вручну всією командою. Тобто, щоб позбутися ручної праці, потрібно докласти чимало ручної праці.

Якісних фотографій, на яких все зрозуміло, виявилася меншість. Інші ж було складно розмітити, щоб правильно навчити нейронні мережі розпізнавати SKU з максимальною точністю.

Найпоширенішими проблемами були такі (у прикладах реальні фотографії з магазинів):

1. Проблема: на обробку надсилають фотографії, які не потребують перевірки на відповідність планограмі. Таких фото 45%.

Рішення: ми зробили нейронну мережу, яка визначає, чи підходить фото для аналізу.

2. Проблема: обладнання буває різних типів, а від нього залежить викладка.

Рішення: ми навчили комп'ютерний зір розрізняти різні шафи та стелажі, обладнання у додаткових місцях продажу.

3. Проблема: подібні товари. У рамках однієї категорії SKU зазвичай дуже схожі. На фото більше десятка видів сигарет однієї марки, деякі з яких відрізняються лише кольором вставки.

Рішення: ми навчили розмітників, і вони опрацювали велику кількість даних, за допомогою детальної розмітки фото.

4. Проблема: погана якість зйомки. На фото нижче приклади розмитого, засвіченого та надто темного кадру. Такі фотографії теж треба якось розпізнавати.

Рішення: ми навчили систему визначати якість фотографій, які до нас приходять.

5. Проблема: все не поміщалося на одному фото. Так буває, коли обладнання надто велике або коли в магазині мало місця у проході і мерчендайзеру незручно робити фото.

Рішення: у таких випадках кілька фотографій ми "склеюємо" в одну.

6. Проблема: Нові товари. Асортимент постійно оновлюється: з'являються нові товари, а існуючі переживають ребрендинг. Усі вони можуть зустрітись на одній полиці. На фото нижче, у середньому рядку справа, представлені сигарети до і після ребрендингу.

Рішення: ми розробили функціонал для запровадження нових товарів з дня продажу.

З усіма цими проблемами впоралися: тепер комп'ютерний зір розпізнає фотографії з точністю понал 93%. Виробник отримав готове рішення, яким успішно користується у роботі.

Але немає межі досконалості. "БАТ Білорусь" і IBA Group разом задумалися над тим, щоб розвинути функціонал і зробити додаток, який вийшов, ще кориснішим і зручнішим.

4. Нове завдання: хмара, аналітика та мобільний додаток

Після того, як комп'ютерний зір опрацював 2000 фотографій, у команди на руках виявилася велика кількість оцифрованих даних. А це означає, що з ними можна було працювати далі: зробити не просто розробку на замовлення під одне конкретне завдання, а повноцінний продукт.

На базі власного сервісу IBA Cloud створили хмарне рішення, доповнивши функціонал мобільним додатком для мерчендайзерів та веб-додатком для менеджерів. Стала доступна не лише перевірка реалограм, а й аналітика. Менеджери отримують докладні звіти щодо мерчендайзерів, представленості товарів на полицях, дистрибуції у магазинах.

Продукт працює за такою схемою:

1. Мерчендайзер фотографує SKU на полицях магазину за допомогою мобільного додатка.

2. Фотографія через інтернет надсилається до дата-центру IBA Group.

3. Спеціально розроблений модуль зі штучним інтелектом, аналізує фотографію, визначає та класифікує SKU, після чого оцінює реалограму за заздалегідь заданим сценарієм.

4. Goods Checker отримує дані, обробляє їх на сервері та формує звіти.

5. Мерчендайзер бачить результат своєї роботи вже за кілька секунд після відправлення і може відразу виправити всі неточності або вказати причини, чому це зробити не можна (out of stock, несправність обладнання тощо).

6. Менеджер отримує аналітичні звіти у режимі реального часу.

Рішення працює з хмари за моделлю SaaS. БАТ Білорусь доступні всі оновлення, при цьому не потрібно витрачати власні ресурси на підтримку системи.

5. Результат: як клієнт користується рішенням та яку користь отримує

Зараз 100+ мерчандайзерів та торгових представників надсилають фотографії SKU із 5000 магазинів. Щомісяця Goods Checker аналізує 60 000 фотографій. Програма визначає всі 100% об'єктів на фото менш ніж за 30 секунд. Точність розпізнавання SKU – понад 93%.

Роботу з викладенням товарів, у якій беруть участь кілька мерчендайзерів, торгових представників та супервайзерів, автоматизовано. Мерчендайзер користується Goods Checker і одразу бачить, які товари він розклав правильно, а які ні. Усі помилки легко виправити відразу. Результати обробки у додатку показують перевіряючому, що викладка вірна. Як польові фахівці, так і менеджери завжди впевнені, що роботу зроблено якісно. І мерчендайзер знає, що отримає бонус за хорошу роботу.

Менеджери у режимі реального часу можуть оцінювати не лише якість роботи мерчендайзерів, але й представленість SKU та використання обладнання. А коли “БАТ Білорусь” випускає нові SKU, вони одразу ж додаються до системи, додаток їх розпізнає з моменту виходу на ринок. Так, менеджери вже зі старту продажів бачать представленість ключових позицій.

У планах розвитку продукту - розпізнавання на фотографіях цінників, визначення ціни і співвідношення її з SKU. Також планується знаходити на фото промовставки та визначати їх актуальність.

6. Підсумки: від невеликого завдання до трансформації бізнес-процесів

Технологія під одне невелике завдання здатна стати продуктом, який докорінно змінить бізнес-процеси компанії. Початковий запит - автоматизувати аналіз фотографій, які надсилають мерчендайзери — започаткував спільну роботу фахівців "БАТ Білорусь" з командою розробників Data Science з IBA Group. У результаті компанія має зручний інструмент, який не тільки перевіряє викладку товарів на полицях магазинів, але й допомагає мерчендайзерам працювати якісніше, а менеджерам — приймати обґрунтовані управлінські рішення.

Автоматизація одних бізнес-процесів "тягне за собою" зміну наступних — і у результаті компанія впроваджує все більше інновацій і отримує більше вигод. А найголовніше — впевнено почувається на ринку та виграє у конкурентній боротьбі.