Першоджерело: Quantum Dimension
Джерело зображення: Створено Unbounded AI
Цього року Double 11, окрім покупців, продавців та платформ, є ще й четвертий тип учасників:
** Помічник зі штучним інтелектом. **
На платформах Taobao і Tmall продавці зателефонували ШІ понад 1,5 мільярда разів за період підготовки та продажу Double 11.
Що стосується покупців, то сукупна кількість вражень асистента ШІ Таобао Веньвеня також перевищила 10 мільйонів, з яких середня кількість запитань, які задають високоактивні люди на день, перевищила 8.
Найбільш перебільшені дані**“Максимальна кількість питань, які задає один користувач, перевищує 4000”**, це повністю практичний пошук товару, що купити, це все слухає ШІ?
Різноманітні програми штучного інтелекту Taobao Tmall цього разу сповнені квітів.
Якщо ви не знаєте, що купити, ви можете запитати ШІ, ви можете запитати ШІ, який з них вибрати, як зробити замовлення після того, як ви виберете, а також ви можете запитати ШІ, які види діяльності є доступними.
Це ще не кінець, продавці можуть знайти ШІ, коли швидко відкривають нові магазини, ШІ можна знайти для масштабних товарів на полицях, а ШІ все ще можна знайти для реклами.
…
Бурхливе зростання кількості великих моделей триває вже майже рік, постійно змінюючи те, як люди працюють і грають в Інтернеті.
Проникнення в інтернет-магазини можна розглядати як зв’язок з офлайн-життям, таким як одяг, їжа, житло та транспорт з більш широким простором.
Новий досвід покупок зі штучним інтелектом
Асистент зі штучним інтелектом Taobao Ask був відкритий для всіх користувачів Taobao,Безпосередньо введіть «Taobao Ask» у поле пошуку, щоб перейти безпосередньо.
На перший погляд він схожий на інші продукти чат-ботів, а основною частиною є діалогове вікно.
Насправді я з’ясував, що він не тільки розуміє продукт, а й розуміє вас.
Якщо є купон, щоб компенсувати повну знижку, ви можете попросити ШІ порекомендувати закуски, щоб скласти замовлення.
Немає необхідності ставити додаткові запитання, і він також може рекомендувати продукти, які відповідають вашим уподобанням, на основі таких даних, як минулі замовлення, кошики для покупок тощо.
Для кожного рекомендованого продукту штучний інтелект узагальнить характеристики самого продукту, відповідних людей або випадків, а також причину рекомендації.
Далі натисніть на картку товару, і ви зможете безпосередньо вибрати технічні характеристики та смаки, які потрібно додати до кошика.
Крім прямих запитань, в Taobao Ask є кілька вбудованих шаблонів хороших функцій.
«Використовуй мене, щоб вибрати товар» спеціалізується на лікуванні труднощів вибору, і порівняння переваг і недоліків вибору двох продуктів є зрозумілим.
«Весільний планувальник», «Планувальник подорожей» і «Старший гід по шопінгу» оптимізовані для відповідної сцени, а загальний план + рекомендації щодо продукту для кожного посилання представлені за один раз.
«Little Life Expert» і «Food Expert» можуть купити всі необхідні їм матеріали в один клік на основі вирішення щоденних завдань.
Нарешті, “Soul Writer” призначений для користувачів, які люблять ділитися своїм досвідом покупок.
Ось вступ до того, як порівнювати товари за допомогою функції “Вибрати”: Виберіть два товари, які не можна вибрати безпосередньо з історії веб-перегляду або кошика.
Навіть якщо існують різні типи прального порошку та капсул для білизни, штучний інтелект може допомогти вам проаналізувати подібності та відмінності.
Звичайно, якщо ви хочете порівняти одяг, як його добре поєднувати, Taobao поки що не може вам допомогти.
У цей час вам потрібно попросити іншу функцію**“Taobao Fitting”**, або ви можете знайти її за допомогою безпосереднього пошуку.
Подивіться, який з них можна змінити одним клацанням, а можна підібрати верх і низ або вибрати костюм самостійно, який можна назвати диво-теплом живої дії.
Коли справа доходить до відповідних зачісок, форм обличчя, фігур, ніг та інших типів, ви також можете завантажувати власні фотографії всього тіла, встановлювати власний зріст і вагу замість моделей штучного інтелекту, і ви можете приміряти десятки мільйонів з них онлайн, не виходячи на вулицю та не витрачаючи гроші.
Ви можете натиснути кнопку порівняння, щоб повторно порівняти зі станом під час зйомки фотографії, що також є дуже практичним способом відтворення.
На додаток до вищесказаного, Taobao Tmall також підготував**“My Cute Pet”, який використовує технологію AIGC для створення цифрового клону для вашого вихованця;“Надзвичайно домашній”**, завантажуючи фотографії кімнати, онлайн-плани оформлення дизайну та інший геймплей.
Все це знаходиться в рядку пошуку, а простір обмежений, тому зацікавленим читачам залишається випробувати це на собі.
У продавців також є спеціальний “Taobao Merchant Intelligent Management Tool”, починаючи від завантаження першої фотографії товару, назви магазину, генерації логотипу, автоматичної ідентифікації атрибутів товару лише за допомогою одного зображення, розміщення його на полиці та переходу до прикраси магазину, і все це за один раз, заощаджуючи багато ручних операцій.
, тривалість 01:30
Крім того, існує також функція довільного розширення розміру товарних матеріалів, що може адаптуватися до різних випадків демонстрації, значно знизити витрати на обробку матеріалу та уникнути ручної переробки.
Зрештою, судячи з даних огляду, цьогорічний Double 11 – це той, у якому найбільше беруть участь нові бренди, нові продавці, малий та середній бізнес.
Зазвичай це принесе багато клопоту, якщо ви не знайомі з функціями платформи і не володієте навичками експлуатації, але в цьому році, з додаванням нових технологій, поріг роботи магазину був повністю знижений.
Менш ніж за півмісяця лінійка інтелектуальних інструментів управління торговців Taobao надала 10w+ продуктів для волосся зі штучним інтелектом для продавців жіночого одягу, і час зачіски скоротився на 25% порівняно з традиційними засобами для волосся.
Copilot, централізована операція електронної комерції, заснована на технології великих мовних моделей, також надала десяткам тисяч продавців різноманітні можливості бізнес-допомоги, такі як тести на знання бізнесу, дзвінки бізнес-інструментів і створення копірайтингу після внутрішнього тестування, і підвищила ефективність бізнес-операцій більш ніж у 50 разів.
Перше масштабне застосування технології штучного інтелекту у сфері електронної комерції
Якщо рахувати вгору, то ChatGPT близький до першої річниці свого випуску, а підйом діаграми AIGC Wensheng ще раніше.
Кожен технологічний прорив у цей період запускав хвилю підприємництва або трансформації існуючих бізнесів. Лише на цьогорічному Double 11 штучний інтелект нарешті був широко застосований у сфері електронної комерції, що має надзвичайне значення:
Не тільки для внутрішніх процесів, а й для кінцевого споживача. І це час зіткнутися як з покупцями, так і з продавцями, і потреби кінцевих споживачів абсолютно різні.
Це передбачає інтеграцію та інновації двох основних технічних маршрутів великої моделі та діаграми AIGC Wensheng, яка може спостерігати, як штучний інтелект перетинає розрив від технології до програми, а також може принести натхнення в інші галузі.
** Поговоримо про діаграму AIGC Wensheng, яка з’явилася раніше. У серпні 2022 року Stable Diffusion була з відкритим вихідним кодом і вимагала менше обчислювальної потужності, що відкрило прелюдію до комерціалізації AIGC. **
Але і слабкі сторони Stable Diffusion були швидко виявлені на практиці:
По-перше, це неконтрольована проблема зображень, що генеруються, особливо в сфері електронної комерції, де розташовані Taobao і Tmall, де пред’являються вкрай високі вимоги до точності представлення основного корпусу продукту.
Друга полягає в тому, що використання складних слів-підказок непросто освоїти, а багато параметрів, які потрібно коригувати, збільшують вартість навчання.
Поворот не змусив себе довго чекати. У січні з’явився ControlNet, який вміло додав допоміжні умови, щоб певною мірою керувати генерацією, щоб вирішити проблему керованості, яку називають «переломним моментом». **
У цей час майстер вже може використовувати комбінацію Stable Diffusion + ControlNet для вказівки деталей згенерованого зображення, таких як поза персонажа, загальний макет і т.д., що еквівалентно збільшенню верхньої межі діаграми AIGC Wensheng.
Однак для багатьох звичайних користувачів, яких хочуть обслуговувати Taobao і Tmall, вартість розуміння та використання цих методів керівництва все ще дуже висока.
** У серпні 23-го з’явилася нова технологія IP-Adapter, яка в черговий раз знизила поріг стабільної генерації зображень на вимогу. **
IP-Adapter відкриває новий спосіб “використання образів як підказок”, а також може використовуватися як умова початкового завантаження в ControlNet.
Таким чином, продавці електронної комерції можуть ефективно використовувати готові фотографії товару в процесі діаграми Веньшен, і їм більше не потрібно вчитися, щоб оволодіти навичками підказки або іншими професійними знаннями малювання, що еквівалентно подальшому зниженню нижньої межі AIGC.
Вирішуються основні практичні завдання, висвітлюються більш глибокі потреби.
Stable Diffusion є попередньо навченою моделлю, і її розуміння світу в основному походить від даних на етапі навчання.
Сфера електронної комерції стрімко змінюється, і щодня випускається велика кількість нових продуктів, що вимагає від ШІ постійного оновлення та продовження навчання.
** Ось тут і стане в нагоді LoRA, технологія швидкого тонкого налаштування великих мовних моделей, запозичена з області AIGC графа Веньшен як метод «ін’єкції знань/концепцій». **
Зокрема, LoRA заморожує більшу частину ваги моделі при тонкому налаштуванні, оновлюючи лише невелику частину. При цьому оновлені ваги також можна розділяти окремо, і кожна вага має розмір лише від десятків до сотень МБ.
У практиці Taobao і Tmall, LoRA еквівалентна створенню цифрового двійника для товарів і моделей, прискоренню цифрових активів для продавців і подальшому генеруванню більш різноманітних продуктів або зображень моделей.
Після додавання LoRA в процес виникає проблема поганої керованості генерації. Як збалансувати імідж і красу моделей, створених LoRA, і як точно відновити деталі продуктів, створених на основі LoRA, - все це проблеми додатків, які потребують подальшого вирішення.
Крім того, Taobao і Tmall також досліджують нову технологію ін’єкції знань, яка може використовувати концепції продуктів для генерації зображень без навчання і може безпосередньо надавати зображення продукту на стадії висновків, значно знижуючи вартість застосування технології ін’єкції знань і покращуючи роботу в режимі реального часу.
Для того, щоб AIGC можна було застосовувати у великих масштабах, існує так багато покращень і перетворень навколо самої моделі генерації зображень Stable Diffusion.
Однак у реальному робочому процесі ще багато роботи потрібно виконати, щоб значно зменшити складність операції картографування. **
Наприклад, у відповідь на попит у сфері електронної комерції на точне представлення тематики товарів додається модель сегментації SAM, яка спочатку відокремлює тематику продукту, а потім адаптується та інтегрується з екологічним фоном, що генерується штучним інтелектом.
Таким чином, він забезпечує точне представлення основної частини продукту, уникає «неправильної версії» та змушує основну частину продукту плавно інтегруватися з фоном, щоб світло та тінь виглядали бездоганно та мали відчуття місця.
Далі необхідно поєднати локальне відновлення деталізації, суперроздільну здатність, додавання фільтрів та інших посилань для покращення якості зображення та виходу на рівень комерційного рівня.
** Застосування AIGC відбувається саме так, і шлях великих моделей до масштабного застосування в сфері електронної комерції також непростий. **
Зокрема, те, що має робити Taobao Tmall, є не чистою професійною моделлю, а загальною моделлю з потужними можливостями професійної доменної області для аналізу довгих проблем природної мови користувачів Taobao та розуміння більш точних намірів користувачів.
Щоб досягти цього, на основі загальної моделі, необхідно спочатку підвищити професійні знання електронної комерції та навчити їх накопиченим роками даним індустрії електронної комерції.
Але на даний момент загальна модель все ще пише текст на основі введених даних, наприклад, коли користувач задає питання, модель, швидше за все, додасть кілька схожих питань у форматі, а не відповість на запитання.
Підхід індустрії до вирішення цієї проблеми полягає в тому, що штучний інтелект узгоджується з уподобаннями людини. SFT (Instruction Tuning) дозволяє великим моделям навчитися виконувати інструкції користувача, а RLHF (Human Feedback Reinforcement Learning) дозволяє великим моделям дізнатися, які реакції відповідають уподобанням людини. У практиці Taobao і Tmall, після запуску продукту він може продовжувати повторювати вподобання користувачів щодо зворотного зв’язку.
** Наступне, що потрібно вирішити, це «проблема галюцинацій» у відповіді великої моделі. У зв’язку з цим технічна команда Taobao Tmall вирішила його як зсередини, так і зовні моделі. **
У модель, тобто на етапі навчання моделі вводиться велика кількість даних про індустрію електронної комерції.
На додаток до моделі, за допомогою технології RAG (Retrieval Enhanced Generation) для отримання оновленої інформації про продукт у режимі реального часу використовуються різні бази знань для вирішення різних проблем.
Крім того, для задач, які вимагають виклику зовнішніх інструментів у режимі реального часу, технічна команда Taobao Tmall використовує технологію навчання інструментів, щоб оптимізувати здатність великих моделей розуміти, вибирати та викликати інструменти, а також надавати інтерпретовані шляхи виклику інструментів, щоб зробити відповіді більш точними, а форми відповідей багатшими.
Наприклад, звичайний запит користувача в Taobao Ask не тільки викликає можливість генерації великої моделі, але і називає можливість рекомендації продукту Taobao і можливість рекомендації відео контент-спільноти. Більш складні сценарії, такі як планування подорожей, також будуть використовувати можливості бронювання вина під час польоту партнера Фліггі.
В кінцевому підсумку, серія великомасштабних модельних продуктів, представлених Taobao Wenwen, мають здатність розпізнавати, планувати завдання, запам’ятовувати і використовувати зовнішні засоби на основі великомасштабних моделей, і розвиваються в напрямку Agent, що є наступним етапом великомасштабної модельної індустрії.
Іспит Double 11, який бал AI?
У минулому кожен рік на Double 11 був великим випробуванням для технологій та інженерії. Цього року додавання ШІ додало шар смаку до першого бойового випробування.
Чи є ця хвиля досягнень у сфері штучного інтелекту Taobao Tmall Group також явними новими тенденціями?
Перш за все, інновації в технології штучного інтелекту розширюють межі електронної комерції та розширюють можливості. **
Шопінг починається з необхідності точно знати, що купувати, і відправитися на пошуки. З’явилася можливість просити ШІ, поки є потреба.
Навіть якщо ви не знаєте, що купити, або не думаєте, що можете вирішити свої потреби, купивши продукт, штучний інтелект може порекомендувати його вам.
По-друге, інновації в технології штучного інтелекту покращили спосіб роботи та продуктивності продавців. **
Схожа на ситуацію покупця, але інша, продавець рекомендований штучним інтелектом для бекенд-функцій та бізнес-інструментів.
У минулому торговці використовували верстак Qianniu на задньому плані торговців Taobao Tmall, які мали високу вартість навчання і занадто багаті функції, і багато хто не знав, де вони знаходяться, або навіть не знав про існування певної функції.
З благословення ШІ також стало можливим знайти ШІ, якщо є якась потреба в процесі роботи магазину, щоб ШІ міг знайти відповідну функцію або відповісти на запитання продавців за допомогою технології RAG.
**Нарешті, незважаючи на те, що День холостяка минув, багато взаємодії зі штучним інтелектом залишило цінний досвід і дані. **
Taobao Tmall Group вже має повні дані про індустрію електронної комерції та галузевий досвід, а завдяки своїй здатності створювати великомасштабні продукти штучного інтелекту під час Double 11 генерується велика кількість даних про відгуки користувачів, які можна реінвестувати в удосконалення алгоритмів і, нарешті, сформувати ефект снігової кулі.
День розробника OpenAI знаменує зростаючий обсяг індустрії штучного інтелекту, і засновник YC Пол Грем припустив, що якщо ви хочете залишитися поза конкурентами, вам потрібно:
- Спирається не тільки на штучний інтелект, а й на глибокі знання предметної області в конкретній галузі
- Побудуйте дуже тісні стосунки з кінцевим користувачем
І саме в цих двох пунктах Taobao Tmall Group від природи добре справляється.
В індустрії AIGC є приказка: «Штучний інтелект – це день, рік у світі», і ми з нетерпінням чекаємо, який новий досвід покупок штучний інтелект може принести нам наступного року в 618 та Double 11.
