Fonte original: Quantum Dimension
Fonte da imagem: Gerado por Unbounded AI
O Double 11 deste ano, além de compradores, vendedores e plataformas, há também um quarto tipo de participante:
** Assistente de IA. **
Nas plataformas Taobao e Tmall, os comerciantes chamaram IA mais de 1,5 bilhão de vezes durante o período de preparação e venda do Double 11.
Em termos de compradores, o número acumulado de tempos de experiência do assistente de IA Taobao Wenwen também ultrapassou 10 milhões, dos quais o número médio de perguntas feitas por pessoas altamente ativas por dia ultrapassou 8.
O dado mais exagerado é**“O número máximo de perguntas feitas por um único usuário ultrapassa 4000”**, isso é completamente prático para encontrar mercadorias, o que comprar é tudo ouvido IA?
As várias aplicações de IA do Taobao Tmall desta vez estão cheias de flores.
Se você não sabe o que comprar, você pode perguntar à IA, você pode perguntar à IA qual escolher, como fazer um pedido depois de escolher, e você também pode perguntar à IA quais atividades são acessíveis.
Isso não acabou, os vendedores podem encontrar IA quando abrem rapidamente novas lojas, a IA pode ser encontrada para produtos em grande escala nas prateleiras e a IA ainda pode ser encontrada para publicidade.
…
A explosão de grandes modelos existe há quase um ano, transformando constantemente a forma como as pessoas trabalham e se divertem online.
A penetração nas compras no e-commerce pode ser considerada como uma conexão com a vida off-line, como roupas, alimentos, habitação e transporte, com um espaço mais amplo.
AI Nova Experiência de Compra
Assistente de IA Taobao Ask, foi aberto para todos os usuários Taobao,Digite diretamente “Taobao Ask” na caixa de pesquisa para ir diretamente.
À primeira vista, ele se parece com outros produtos de chatbot, com o corpo principal sendo uma caixa de diálogo.
Na verdade, descobri que ele não só entende o produto, mas também entende você.
Se houver um cupom para compensar uma redução total, você pode pedir à IA para recomendar lanches para compor o pedido.
Não há necessidade de fazer perguntas adicionais, e ele também pode recomendar produtos que correspondam às suas preferências a partir de dados como pedidos anteriores, carrinhos de compras e muito mais.
Para cada produto recomendado, a IA resumirá as características do próprio produto, as pessoas ou ocasiões adequadas e o motivo da recomendação.
Em seguida, clique no cartão do produto e você pode selecionar diretamente as especificações e sabores para adicionar ao carrinho de compras.
Além de perguntas diretas, existem alguns modelos de função bons embutidos no Taobao Ask.
“Use me to pick goods” é especializado no tratamento de dificuldades de seleção, e a comparação das vantagens e desvantagens de escolher dois produtos é clara.
“Wedding Planner”, “Travel Planner” e “Senior Shopping Guide” são otimizados para a cena correspondente, e o plano geral + recomendações de produtos para cada link são apresentados de uma só vez.
“Little Life Expert” e “Food Expert” podem comprar todos os materiais de que precisam com um clique com base na resolução de problemas diários.
Finalmente, o “Soul Writer” é para usuários que gostam de compartilhar sua experiência de compra.
Aqui está uma introdução sobre como comparar produtos com “Usar minha escolha”: Selecione dois itens que você não pode escolher diretamente do seu histórico de navegação ou carrinho de compras.
Mesmo que existam diferentes tipos de detergente para a roupa e cápsulas de roupa, a IA pode ajudá-lo a analisar as semelhanças e diferenças.
Claro, se você quiser comparar roupas, como combiná-las bem, Taobao não pode ajudá-lo por enquanto.
Neste momento, você tem que pedir outra função**“Taobao Fitting”**, ou você pode encontrá-lo pesquisando diretamente.
Olhe para qual deles pode ser mudado com um clique, e você pode combinar a parte superior e inferior ou escolher o terno você mesmo, o que pode ser chamado de um calor milagroso live-action.
Quando se trata de combinar penteados, formas de rosto, formas de corpo, formas de pernas e outros tipos, você também pode carregar suas próprias fotos de corpo inteiro, definir sua própria altura e peso em vez de modelos de IA, e você pode experimentar dezenas de milhões deles on-line sem sair e gastar dinheiro.
Você pode clicar no botão comparar para comparar repetidamente com o estado quando você tira uma foto, que também é uma maneira muito prática de jogar.
Além disso, Taobao Tmall também preparou**“My Cute Pet”, que usa a tecnologia AIGC para fazer um clone digital para o seu animal de estimação;“Extremely Home”**, upload de fotos do quarto, planos de decoração de design on-line e outras jogabilidades.
Está tudo na barra de pesquisa, e o espaço é limitado, por isso é deixado aos leitores interessados experimentá-lo por si mesmos.
Os comerciantes também têm uma “Taobao Merchant Intelligent Management Tool”, começando pelo upload da primeira foto do produto, o nome da loja, gerando o logotipo, identificando automaticamente os atributos do produto com apenas uma imagem, colocando-a na prateleira e indo para a decoração da loja, tudo de uma só vez, economizando muitas operações manuais.
, duração 01:30
Além disso, há também a função de expandir arbitrariamente o tamanho dos materiais de mercadoria, que podem se adaptar a várias ocasiões de exibição, reduzir muito o custo de processamento de materiais e evitar o retrabalho manual.
No final, a julgar pelos dados da revisão, o Double 11 deste ano é o que tem mais participação de novas marcas, novos comerciantes e pequenas e médias empresas.
Normalmente, trará muitos problemas se você não estiver familiarizado com as funções da plataforma e não for proficiente em operação, mas este ano, com a adição de novas tecnologias, o limite para operar uma loja foi completamente reduzido.
Em menos de meio mês, a linha de ferramentas de gestão inteligente dos comerciantes Taobao forneceu produtos de cabelo 10w+ AI para comerciantes de roupas femininas, e o tempo de cabelo é reduzido em 25% em comparação com os produtos de cabelo tradicionais.
O Copilot, uma operação centralizada de comércio eletrônico baseada em tecnologia de modelo de linguagem grande, também forneceu a dezenas de milhares de comerciantes uma variedade de recursos de assistência comercial, como testes de conhecimento de negócios, chamadas de ferramentas de negócios e geração de copywriting após o teste interno, e melhorou a eficiência das operações de negócios em mais de 50 w vezes.
A primeira aplicação em larga escala da tecnologia de IA no campo do comércio eletrónico
Contando para cima, ChatGPT está perto do primeiro aniversário de seu lançamento, e a ascensão do diagrama AIGC Wensheng é ainda mais cedo.
Cada avanço tecnológico durante este período desencadeou uma onda de empreendedorismo ou transformação dos negócios existentes. Só no Double 11 deste ano é que a IA foi finalmente aplicada em larga escala no domínio do comércio eletrónico, o que tem um significado extraordinário:
Não só para processos internos, mas também para o utilizador final. E é um momento para enfrentar compradores e vendedores, e as necessidades dos usuários finais são completamente diferentes.
Isso envolve a integração e inovação das duas principais rotas técnicas de modelo grande e diagrama AIGC Wensheng, que pode observar como a IA atravessa a lacuna da tecnologia para a aplicação, e também pode trazer inspiração para mais indústrias.
**Vamos falar sobre o diagrama de Wensheng da AIGC que surgiu anteriormente. Em agosto de 2022, o Stable Diffusion era de código aberto e exigia menos poder de computação, abrindo o prelúdio para a comercialização do AIGC. **
Mas as fraquezas da Difusão Estável também foram rapidamente expostas na prática:
O primeiro é o problema incontrolável das imagens geradas, especialmente no campo do e-commerce onde Taobao e Tmall estão localizados, que tem exigências extremamente altas para a precisão da apresentação do corpo principal do produto.
A segunda é que o uso de palavras prontas complexas não é fácil de dominar, e muitos parâmetros que precisam ser ajustados aumentam o custo de aprendizagem.
A reviravolta não tardou. Em janeiro, o ControlNet nasceu, inteligentemente adicionando condições auxiliares para orientar a geração, até certo ponto, para resolver o problema da controlabilidade, saudado como um “divisor de águas”. **
Neste momento, o mestre já pode usar a combinação de Difusão Estável + ControlNet para especificar os detalhes da imagem gerada, como a postura do personagem, o layout geral, etc., o que equivale a aumentar o limite superior do diagrama AIGC Wensheng.
No entanto, para os muitos usuários comuns que Taobao e Tmall querem servir, o custo de entender e usar esses métodos de orientação ainda é muito alto.
**Em agosto '23, uma nova tecnologia, IP-Adapter, apareceu, mais uma vez baixando o limiar para a geração estável de imagens sob demanda. **
IP-Adapter abre uma nova maneira de “usar imagens como prompts” e também pode ser usado como uma condição de bootstrap no ControlNet.
Desta forma, os vendedores de comércio eletrônico podem fazer bom uso de fotos de produtos prontos no processo do diagrama de Wensheng, e não precisam mais aprender a dominar habilidades rápidas ou outros conhecimentos profissionais de desenho, o que equivale a reduzir ainda mais o limite inferior do AIGC.
Os problemas práticos básicos são resolvidos e as necessidades mais profundas são destacadas.
Stable Diffusion é um modelo pré-treinado, e sua compreensão do mundo vem principalmente dos dados na fase de treinamento.
O campo do comércio eletrônico está mudando rapidamente, e um grande número de novos produtos são lançados todos os dias, o que exige que a IA seja constantemente atualizada e continue a aprender.
**É aqui que o LoRA, uma tecnologia de ajuste fino rápido de grandes modelos de linguagem, vem a calhar, tomando emprestado do campo AIGC do Gráfico de Wensheng como um método de “injeção de conhecimento/conceito”. **
Especificamente, LoRA congela a maioria dos pesos do modelo ao ajustar fino, atualizando apenas uma pequena fração. Ao mesmo tempo, os pesos atualizados também podem ser separados separadamente, e cada peso tem apenas dezenas a centenas de MB de tamanho.
Na prática de Taobao e Tmall, LoRA é equivalente a construir um gêmeo digital para bens e modelos, precipitando ativos digitais para os comerciantes e gerando ainda mais produtos ou imagens de modelos mais diversos.
Depois de adicionar LoRA ao processo, há um problema de baixa controlabilidade de geração. Como equilibrar a imagem e a beleza dos modelos gerados pelo LoRA, e como restaurar com precisão os detalhes dos produtos gerados com base no LoRA são todos os desafios de aplicação que precisam ser resolvidos.
Além disso, Taobao e Tmall também estão explorando uma nova tecnologia de injeção de conhecimento que pode usar conceitos de produto para geração de imagens sem treinamento e pode fornecer diretamente imagens do produto no estágio de inferência, reduzindo consideravelmente o custo de aplicação da tecnologia de injeção de conhecimento e melhorando o tempo real.
Para que o AIGC seja aplicado em larga escala, existem muitas melhorias e transformações em torno do próprio modelo de geração de imagens Stable Diffusion.
No entanto, no fluxo de trabalho real, ainda há muito trabalho a ser feito para reduzir significativamente a complexidade da operação de mapeamento. **
Por exemplo, em resposta à demanda no campo do comércio eletrônico para a apresentação precisa do assunto de mercadorias, o modelo de segmentação SAM é adicionado, que primeiro separa o assunto do produto e, em seguida, adapta e integra com o fundo ambiental gerado por IA.
Desta forma, garante a apresentação precisa do corpo principal do produto, evita a “versão errada” e faz com que o corpo principal do produto se integre perfeitamente com o fundo, para que a luz e a sombra pareçam impecáveis e tenham uma sensação de lugar.
Em seguida, é necessário combinar restauração de detalhes locais, super resolução, adicionando filtros e outros links para melhorar a qualidade da imagem e atingir o nível comercial.
**A aplicação do AIGC é assim, e a jornada de grandes modelos para aplicação em larga escala no campo do comércio eletrônico também é difícil. **
Em particular, o que o Taobao Tmall deve fazer não é um modelo profissional puro, mas um modelo geral com fortes capacidades de domínio profissional para analisar os problemas de linguagem natural de cauda longa dos usuários do Taobao e entender intenções de usuário mais precisas.
Para conseguir isso, com base no modelo geral, é necessário primeiro aumentar o conhecimento profissional do e-commerce e treiná-lo nos dados do setor de comércio eletrônico acumulados ao longo dos anos.
Mas, neste ponto, o modelo geral ainda está escrevendo texto com base na entrada, por exemplo, quando um usuário faz uma pergunta, o modelo provavelmente adicionará várias perguntas semelhantes no formato, em vez de responder à pergunta.
A abordagem da indústria para resolver este problema é que a IA se alinha com as preferências humanas. SFT (Instruction Tuning) permite que grandes modelos aprendam a completar instruções do usuário, e RLHF (Human Feedback Reinforcement Learning) permite que grandes modelos aprendam quais respostas atendem às preferências humanas. Na prática do Taobao e do Tmall, após o lançamento do produto, ele pode continuar a iterar as preferências de feedback dos usuários.
**A próxima coisa a resolver é o “problema de alucinação” na resposta do modelo grande. A este respeito, a equipe técnica do Taobao Tmall resolveu isso de dentro e de fora do modelo. **
No modelo, ou seja, uma grande quantidade de dados do setor de e-commerce é introduzida na etapa de treinamento do modelo.
Além do modelo, através da tecnologia RAG (Retrieval Enhanced Generation), diferentes bases de conhecimento são chamadas para diferentes problemas para obter informações atualizadas do produto em tempo real.
Além disso, para problemas que exigem invocação em tempo real de ferramentas externas, a equipe técnica do Taobao Tmall usa tecnologia de aprendizado de ferramentas para otimizar a capacidade de grandes modelos de entender, selecionar e invocar ferramentas, e fornecer caminhos de invocação de ferramentas interpretáveis para tornar as respostas mais precisas e os formulários de resposta mais ricos.
Por exemplo, uma consulta comum de um usuário no Taobao Ask não só chama a capacidade de geração de grandes modelos, mas também chama a capacidade de recomendação de produtos Taobao e a capacidade de recomendação de vídeo da comunidade de conteúdo. Cenários mais complexos, como o planejamento de viagens, também invocarão os recursos de reserva de vinhos a bordo do parceiro Fliggy.
Eventualmente, uma série de produtos de modelo em grande escala representados por Taobao Wenwen têm a capacidade de reconhecer, planejar tarefas, memorizar e usar ferramentas externas com base em modelos de grande escala, e estão se desenvolvendo na direção do Agente, que é o próximo estágio da indústria de modelos em grande escala.
Exame duplo 11, qual é a pontuação da IA?
No passado, todos os anos no Double 11 era um grande teste para tecnologia e engenharia. Este ano, a adição de IA adicionou uma camada de sabor ao primeiro teste de combate.
Agora, essa onda de conquistas de IA do Taobao Tmall Group também representa algumas novas tendências claras?
Em primeiro lugar, a inovação tecnológica de IA expande as fronteiras do comércio eletrónico e aumenta as possibilidades. **
As compras começam com a necessidade de saber exatamente o que comprar e ir pesquisando. Tornou-se possível pedir IA desde que haja necessidade.
Mesmo que você não saiba o que comprar ou não pense que pode resolver suas necessidades comprando um produto, a IA pode recomendá-lo para você.
Em segundo lugar, a inovação tecnológica de IA melhorou a forma como os comerciantes trabalham e são produtivos. **
Semelhante à situação do comprador, mas diferente, o vendedor é recomendado pela IA para funções de back-end e ferramentas de negócios.
No passado, os comerciantes usavam a bancada de trabalho Qianniu no fundo dos comerciantes Taobao Tmal, que tinha um alto custo de aprendizado e funções muito ricas, e muitos não sabiam onde estavam, ou mesmo sabiam da existência de uma determinada função.
Com a bênção da IA, também se tornou possível encontrar IA se houver alguma necessidade no processo de operação da loja, para que a IA possa localizar a função apropriada, ou responder às perguntas dos comerciantes através da tecnologia RAG.
**Finalmente, embora o Dia dos Solteiros tenha passado, muita interação com a IA deixou experiências e dados valiosos. **
O Taobao Tmall Group já tem dados completos da indústria de comércio eletrônico e experiência no setor, e com sua capacidade de criar produtos de IA em grande escala, uma grande quantidade de dados de feedback do usuário é gerada durante o Double 11, e pode ser reinvestida na melhoria do algoritmo e, finalmente, formar um efeito bola de neve.
O OpenAI Developer Day marca o volume crescente da indústria de IA, e o fundador da YC, Paul Graham, sugeriu que, se você quiser ficar fora da concorrência, você precisa:
- Baseia-se não só na IA, mas também no conhecimento profundo do domínio em um campo específico
- Construir uma relação muito próxima com o usuário final
E esses dois pontos são o que o Taobao Tmall Group é naturalmente bom.
Há um ditado na indústria AIGC, “IA é um dia, um ano no mundo”, e estamos ansiosos para o que a nova experiência de compra IA pode nos trazer no próximo ano em 618 e Double 11.
