Масштабоване управління даними: як зберегти послідовність атрибутних значень у великих каталогах електронної комерції

У сфері електронної комерції технічні дискусії часто зосереджені навколо таких тем, як розподілені пошукові системи, управління запасами у реальному часі або оптимізація процесу оформлення замовлення. Однак прихованою, але системною проблемою залишається питання надійного управління та стандартизації атрибутів продукту на мільйонах SKU.

Прихована проблема: хаос атрибутів у реальності

Атрибути формують основу пошуку продуктів. Вони керують фільтрами, порівняннями товарів, алгоритмами ранжування та системами рекомендацій. У реальних каталогах ці значення рідко структуровані та послідовні. Простий приклад: атрибут “Розмір” може бути записаний у вигляді [“XL”, “Small”, “12cm”, “Large”, “M”, “S”], тоді як “Колір” — [“RAL 3020”, “Crimson”, “Red”, “Dark Red”].

Ізольовано такі несумісності здаються тривіальними. Однак масштабуючи цю проблему на 3 мільйони SKU з десятками атрибутів, виникає критична системна проблема. Фільтри стають непередбачуваними, пошукові системи втрачають релевантність, а навігація клієнтів стає все більш фрустрованою. Для операторів великих платформ електронної комерції ручне очищення цих значень атрибутів стає операційним кошмаром.

Гібридний підхід: ШІ з обмеженнями, а не чорна скринька

Завдання полягало у створенні системи, яка була б пояснюваною, передбачуваною, масштабованою та людськи контрольованою. Ключ полягав не у непрозорій чорній скриньці ШІ, а у гібридній конвеєрній лінії, яка поєднує великі мовні моделі (LLMs) з детерміністичними правилами та механізмами контролю.

Ця концепція поєднує інтелектуальне контекстуальне мислення з чіткими, зрозумілими правилами. Система діє інтелектуально, коли потрібно, але завжди залишається передбачуваною та керованою.

Архітектурне рішення: обробка офлайн замість у реальному часі

Вся обробка атрибутів виконується не у реальному часі, а через асинхронні фонові задачі. Це не було компромісним рішенням, а свідомим архітектурним вибором:

Пайплайни у реальному часі призвели б до непередбачуваної затримки, крихких залежностей, піків навантаження та операційної нестабільності. Офлайн-завдання забезпечують:

• Високу пропускну здатність: масивні обсяги даних обробляються без шкоди для живих систем
• Високу надійність: помилки у обробці даних ніколи не впливають на клієнтський трафік
• Контроль витрат: обчислення можна планувати у менш навантажені часи
• Ізоляцію систем: затримки LLM не впливають на продуктивність сторінок продукту
• атомарну цілісність: оновлення передбачувані та безконфліктні

Строге розділення між системами, орієнтованими на клієнта, та пайплайнами обробки даних є критичним при роботі з мільйонами SKU.

Пайплайн обробки атрибутів: від сирих даних до структурованих атрибутів

Етап 1: очищення та нормалізація даних

Перед застосуванням моделей ШІ до значень атрибутів кожен запис проходив через комплексний попередній оброблювальний етап. Цей, здавалося б, простий етап був вирішальним для якості подальших результатів:

• Обрізання пробілів
• Видалення порожніх значень
• Дедуплікація
• Контекстуальне спрощення ієрархій категорій

Ця очистка гарантувала, що LLM отримує чисті та чіткі вхідні дані — базову передумову для послідовних результатів. Принцип “сміття у — сміття вийде” у масштабі стає ще критичнішим.

Етап 2: інтелектуальний аналіз атрибутів за допомогою LLM

Система LLM не просто аналізувала алфавітно, а розуміла семантичний контекст. Сервіс отримував:

• очищені значення атрибутів
• breadcrumb-інформацію категорій з ієрархічним контекстом
• метадані про типи атрибутів

З цим контекстом модель могла, наприклад, зрозуміти, що:

• “Напруга” у електроінструментах має числове значення
• “Розмір” у одязі слідує відомій прогресії розмірів
• “Колір” у певних категоріях може відповідати стандартам RAL
• “Матеріал” у апаратних виробах має семантичні зв’язки

Модель повертала: впорядковані значення, уточнені назви атрибутів та класифікацію між детерміністичним та контекстуальним сортуванням.

Етап 3: детерміністичні резерви для ефективності

Не кожен атрибут потребував обробки ШІ. числові діапазони, значення з одиницями та прості категорії вигідно оброблялися за допомогою:

• швидшої обробки
• передбачуваного сортування
• нижчих витрат
• повного усунення неоднозначностей

Пайплайн автоматично розпізнавав ці випадки та застосовував детерміністичну логіку — заходи щодо підвищення ефективності, що уникали зайвих викликів LLM.

Етап 4: ручне тегування та контроль продавців

Хоча автоматизація була основою, продавці мали контроль над критичними атрибутами. Кожна категорія могла мати теги:

• LLM_SORT: модель визначає порядок сортування
• MANUAL_SORT: продавець встановлює кінцевий порядок

Ця двовекторна система тегів дозволяла людям приймати інтелектуальні рішення, водночас ШІ виконував більшу частину роботи. Це також формувало довіру, оскільки продавці могли при потребі вносити корективи.

Збереження даних та синхронізація

Усі результати зберігалися безпосередньо у базі даних Product-MongoDB, що ставала єдиним операційним сховищем для:

• відсортованих значень атрибутів
• уточнених назв атрибутів
• категорійних тегів сортування
• метаданих сортування, пов’язаних із продуктами

Централізоване управління даними дозволяло легко перевіряти, перезаписувати та повторно обробляти категорії.

Інтеграція з пошуковими системами

Після сортування стандартизовані значення атрибутів синхронізувалися з пошуковими рішеннями:

• Elasticsearch: для пошуку за ключовими словами
• Vespa: для семантичного та векторного пошуку

Це забезпечувало, що:

• фільтри відображалися у логічному порядку
• сторінки продуктів показували послідовні атрибути
• пошукові системи ранжували товари точніше
• клієнти могли інтуїтивно шукати за категоріями

Практична трансформація: від хаосу до структури

Пайплайн перетворював хаотичні сирі значення у послідовності, що легко використовуються:

Ці приклади ілюструють, як контекстуальне мислення у поєднанні з чіткими правилами приводить до читабельних, логічних послідовностей.

Операційний вплив та бізнес-результати

Впровадження цієї стратегії управління атрибутами дало вимірювані результати:

• Послідовне сортування атрибутів понад 3 мільйони SKU
• Передбачуваний числовий порядок завдяки детерміністичним резервам
• Постійний контроль продавців через ручне тегування
• Значно чистіші сторінки продуктів з інтуїтивнішими фільтрами
• Покращена релевантність пошуку та якість ранжування
• Зростання довіри клієнтів та вищі коефіцієнти конверсії

Успіх був не лише технічним — він безпосередньо впливав на досвід користувачів та бізнес-показники.

Основні висновки

• Гібридні пайплайни перевершують чистий AI у масштабах. Обмеження та контроль — необхідні
• Контекстуалізація значно підвищує точність LLM
• Офлайн-обробка є незамінною для пропускної здатності, надійності та передбачуваного використання ресурсів
• Механізми людського перезапису формують довіру та операційну прийнятність
• Якість даних — основа: чисті вхідні дані забезпечують надійні результати ШІ

Висновок

Управління та стандартизація атрибутів може здаватися поверхнево тривіальним, але стає справжнім інженерним викликом, коли потрібно обробити мільйони продуктів. Поєднання LLM-базованого мислення з прозорими правилами та операційним контролем дозволило перетворити приховану, але критичну проблему у масштабовану, підтримувану систему. Це нагадування, що найбільші бізнес-успіхи часто виникають із вирішення так званих “нудних” проблем — тих, що легко ігноруються, але присутні на кожній сторінці продукту.