Gestión escalable de datos: Cómo mantener coherentes los valores de atributos en grandes catálogos de comercio electrónico

En el negocio de comercio electrónico, las discusiones técnicas a menudo abordan temas como sistemas de búsqueda distribuidos, gestión de inventario en tiempo real o optimización del proceso de pago. Sin embargo, un problema sistémico a menudo subestimado permanece oculto bajo la superficie: la gestión fiable y la estandarización de atributos de productos a lo largo de millones de SKUs.

El problema oculto: caos de atributos en la realidad

Los atributos constituyen la base del descubrimiento de productos. Controlan la funcionalidad de filtros, comparaciones de productos, algoritmos de ranking de búsqueda y sistemas de recomendación. Sin embargo, en catálogos de productos reales, estos valores rara vez están estructurados y son coherentes. Un ejemplo simple: el atributo “Tamaño” podría estar en un conjunto de datos como [“XL”, “Small”, “12cm”, “Large”, “M”, “S”], mientras que “Color” podría estar registrado como [“RAL 3020”, “Crimson”, “Red”, “Dark Red”].

Considerados de forma aislada, estos inconsistencias parecen triviales. Pero si escalamos estos problemas a 3 millones de SKUs con decenas de atributos cada uno, surge un problema crítico sistémico. Los filtros se vuelven impredecibles, los motores de búsqueda pierden relevancia y la navegación del cliente se vuelve cada vez más frustrante. Para los operadores de grandes plataformas de comercio electrónico, limpiar manualmente estos valores de atributos se convierte en una pesadilla operativa.

Un enfoque híbrido: IA con límites en lugar de sistemas caja negra

El desafío era crear un sistema que fuera explicable, predecible, escalable y controlable por humanos. La clave no residía en una caja negra de IA ininteligible, sino en una tubería híbrida que combina modelos de lenguaje grandes (LLMs) con reglas determinísticas y mecanismos de control.

Este concepto combina un pensamiento contextual inteligente con reglas claras y comprensibles. El sistema actúa de manera inteligente cuando es necesario, pero siempre permanece predecible y controlable.

Decisión arquitectónica: procesamiento offline en lugar de en tiempo real

Todo el procesamiento de atributos no se realiza en tiempo real, sino mediante trabajos asíncronos en segundo plano. Esto no fue una solución de compromiso, sino una decisión arquitectónica consciente:

Las pipelines en tiempo real conducirían a latencias impredecibles, dependencias frágiles, picos de carga y inestabilidad operativa. Los trabajos offline ofrecen:

• Alto rendimiento: grandes volúmenes de datos pueden procesarse sin afectar los sistemas en vivo
• Seguridad ante fallos: errores en el procesamiento de datos nunca afectan el tráfico de clientes
• Control de costos: los cálculos pueden planificarse en horarios de menor tráfico
• Aislamiento del sistema: la latencia de LLM no afecta el rendimiento de las páginas de productos
• Consistencia atómica: las actualizaciones son predecibles y libres de contradicciones

La separación estricta entre sistemas orientados al cliente y pipelines de procesamiento de datos es esencial cuando se trabaja con millones de SKUs.

La pipeline de procesamiento de atributos: de datos crudos a atributos estructurados

Fase 1: Limpieza y normalización de datos

Antes de aplicar modelos de IA a los valores de atributos, cada conjunto de datos pasaba por un proceso exhaustivo de preprocesamiento. Esta fase aparentemente sencilla era crucial para la calidad de los resultados posteriores:

• Recorte de espacios en blanco
• Eliminación de valores vacíos
• Deducción de duplicados
• Simplificación contextual de jerarquías de categorías

Este paso de limpieza aseguraba que el LLM recibiera entradas limpias y claras, una condición básica para resultados coherentes. El principio “Garbage In, Garbage Out” se vuelve aún más crítico a gran escala.

Fase 2: Análisis inteligente de atributos mediante LLMs

El sistema LLM no solo analizaba alfabéticamente, sino que comprendía el contexto semántico. El servicio recibía:

• Valores de atributos limpios
• Breadcrumbs de categoría con contexto jerárquico
• Metadatos sobre tipos de atributos

Con este contexto, el modelo podía entender, por ejemplo:

• Que “Tensión” en herramientas eléctricas debe interpretarse numéricamente
• Que “Tamaño” en ropa sigue una progresión de tallas conocida
• Que “Color” en ciertas categorías puede cumplir con estándares RAL
• Que “Material” en productos de hardware tiene relaciones semánticas

El modelo devolvía: valores ordenados, nombres de atributos refinados y una clasificación entre ordenamiento determinista o contextual.

Fase 3: Fallbacks deterministas para eficiencia

No todos los atributos requerían procesamiento de IA. Los rangos numéricos, valores con unidades y categorías simples se beneficiaban de:

• Procesamiento más rápido
• Ordenamiento predecible
• Menores costos de procesamiento
• Eliminación completa de ambigüedades

La pipeline detectaba automáticamente estos casos y aplicaba lógica determinista, evitando llamadas innecesarias a LLM.

Fase 4: Etiquetado manual y control por comerciantes

Aunque la automatización era la base, los comerciantes necesitaban controlar atributos críticos para el negocio. Cada categoría podía etiquetarse con:

• LLM_SORT: El modelo decide el orden de clasificación
• MANUAL_SORT: Los comerciantes definen el orden final

Este sistema de doble etiquetado permitía a las personas tomar decisiones inteligentes, mientras que la IA realizaba la mayor parte del trabajo. También generaba confianza, ya que los comerciantes podían realizar sobreescrituras cuando fuera necesario.

Persistencia y sincronización de datos

Todos los resultados se almacenaban directamente en la Product-MongoDB, que constituía el único almacenamiento operativo para:

• Valores de atributos ordenados
• Nombres de atributos refinados
• Etiquetas de orden específicas de categoría
• Metadatos de ordenación relacionados con productos

Esta gestión centralizada de datos permitía verificar, sobrescribir y volver a procesar categorías fácilmente.

Integración con sistemas de búsqueda

Tras la ordenación, los valores de atributos estandarizados se sincronizaban con las soluciones de búsqueda:

• Elasticsearch: para búsquedas por palabras clave
• Vespa: para búsquedas semánticas y basadas en vectores

Esto aseguraba que:

• Los filtros se mostraran en orden lógico
• Las páginas de productos mostraran atributos consistentes
• Los motores de búsqueda clasificaran los productos con mayor precisión
• Los clientes pudieran explorar categorías de forma intuitiva

Transformación práctica: del caos a la estructura

La pipeline transformaba valores crudos caóticos en secuencias coherentes y utilizables:

Estos ejemplos muestran cómo el pensamiento contextual combinado con reglas claras conduce a secuencias legibles y lógicas.

Impacto operativo y resultados comerciales

La implementación de esta estrategia de gestión de atributos generó resultados medibles:

• Ordenación coherente de atributos en más de 3 millones de SKUs
• Orden numérico predecible mediante fallbacks deterministas
• Control continuo por parte de los comerciantes mediante opciones de etiquetado manual
• Páginas de productos mucho más limpias con filtros más intuitivos
• Mejor relevancia y calidad de ranking en búsquedas
• Mayor confianza del cliente y tasas de conversión más altas

El éxito no fue solo técnico: impactó directamente en la experiencia del usuario y en métricas de negocio.

Conclusiones clave

• Las pipelines híbridas superan a los sistemas puramente de IA a gran escala. Los límites y el control son esenciales
• La contextualización mejora drásticamente la precisión de los LLM
• El procesamiento offline es imprescindible para rendimiento, seguridad y uso predecible de recursos
• Los mecanismos humanos de sobreescritura generan confianza y aceptación operativa
• La calidad de los datos es la base: entradas limpias conducen a resultados de IA confiables

Conclusión

La gestión y estandarización de atributos puede parecer trivial superficialmente, pero se convierte en un verdadero desafío ingenieril cuando se realiza para millones de productos. La combinación de pensamiento basado en LLM, reglas comprensibles y control operativo permite transformar un problema oculto pero crítico en un sistema escalable y mantenible. Es un recordatorio de que muchas veces los mayores éxitos comerciales provienen de resolver problemas aparentemente “aburridos”, aquellos que se pasan por alto fácilmente pero que aparecen en cada página de producto.