Jalur Praktis Mengatasi Kekacauan Properti Produk E-commerce Skala Besar dengan AI

Ketika orang membahas skala e-commerce, mereka selalu fokus pada tantangan teknologi besar seperti pencarian terdistribusi, inventaris, dan mesin rekomendasi. Tapi yang benar-benar membuat setiap platform e-commerce pusing adalah masalah dasar: ketidakkonsistenan nilai atribut produk.

Nilai atribut menggerakkan seluruh sistem penemuan produk. Mereka mendukung filter, perbandingan, peringkat pencarian, dan logika rekomendasi. Namun dalam katalog produk nyata, nilai atribut jarang bersih. Pengulangan, format yang acak, dan semantik yang kabur adalah hal yang umum.

Lihatlah atribut “ukuran” yang tampaknya sederhana: [“XL”, “Small”, “12cm”, “Large”, “M”, “S”]

Kemudian “warna”: [“RAL 3020”, “Crimson”, “Red”, “Dark Red”]

Hanya melihat ini saja tampaknya tidak masalah, tetapi ketika Anda memiliki 3 juta+ SKU, masing-masing berisi puluhan atribut, masalahnya menjadi tantangan sistemik. Pencarian menjadi membingungkan, rekomendasi gagal, operasi terbenam dalam koreksi manual, dan pengalaman pengguna menurun drastis.

Menghancurkan Pemikiran Kotak Hitam: Ide Desain Sistem Campuran Cerdas

Menghadapi masalah ini, kuncinya adalah menghindari jebakan “AI kotak hitam”—sistem yang secara misterius mengurutkan sesuatu tanpa bisa dipahami atau dikendalikan.

Pendekatan yang benar adalah membangun sebuah pipeline dengan karakteristik berikut:

• Sangat dapat dijelaskan
• Perilaku dapat diprediksi
• Dapat diskalakan
• Menerima intervensi manusia

Solusi akhirnya adalah pipeline AI campuran: kemampuan pemahaman konteks LLM dipadukan dengan aturan yang jelas dan kontrol manusia. Ia bekerja cerdas saat diperlukan, tetapi tetap terkendali. Ini adalah AI dengan pagar pengaman, bukan AI yang kehilangan kendali.

Pemrosesan Offline: Fondasi Skala

Semua pengolahan atribut dilakukan dalam tugas offline di backend, bukan secara real-time. Ini bukan kompromi, melainkan keputusan arsitektur strategis.

Pipeline real-time terdengar menarik, tetapi dalam skala e-commerce akan menyebabkan:

• Fluktuasi latensi yang tidak terduga
• Ketergantungan yang rapuh
• Biaya komputasi puncak
• Kerentanan operasional

Sedangkan tugas offline menawarkan:

• Throughput tinggi: pemrosesan batch data besar, tanpa mempengaruhi sistem pelanggan
• Ketahanan: kegagalan tidak pernah mempengaruhi lalu lintas pengguna
• Biaya terkendali: komputasi dapat dijadwalkan saat rendah
• Isolasi perlindungan: latensi LLM sepenuhnya terpisah dari halaman produk
• Konsistensi atomik: pembaruan yang sepenuhnya dapat diprediksi dan sinkron

Dalam menangani jutaan SKU, isolasi antara sistem pelanggan dan pipeline pengolahan data sangat penting.

Pembersihan Data: Langkah dengan ROI tertinggi

Sebelum menerapkan AI, perlu dilakukan pra-pemrosesan yang ketat, langkah ini tampak sederhana tetapi berdampak besar.

Pipeline pembersihan meliputi:

• Menghapus spasi di awal dan akhir
• Menghapus nilai kosong
• Menghilangkan duplikasi
• Menyederhanakan jalur kategori menjadi string terstruktur

Ini memastikan LLM menerima input yang bersih dan jelas. Dalam sistem skala besar, bahkan noise kecil bisa berkembang menjadi masalah besar di kemudian hari. Input sampah → output sampah. Prinsip dasar ini semakin keras di hadapan data jutaan.

Pemberian Konteks LLM

LLM bukan sekadar mengurutkan nilai atribut secara alfabetis. Ia benar-benar memahami arti dari nilai tersebut.

Layanan ini menerima:

• Nilai atribut yang sudah dibersihkan
• Informasi kategori (breadcrumb)
• Metadata atribut

Dengan konteks ini, model dapat memahami:

• Dalam alat listrik, “tegangan” harus diurutkan secara numerik
• Dalam pakaian, “ukuran” mengikuti urutan yang dapat diprediksi (S→M→L→XL)
• Dalam cat, “warna” mungkin menggunakan standar RAL (misalnya RAL 3020)
• Dalam hardware, “bahan” memiliki hubungan semantik (Baja→Baja tahan karat→Baja karbon)

Model mengembalikan:

• Urutan nilai yang diurutkan
• Nama atribut yang lengkap
• Tanda keputusan: gunakan pengurutan deterministik atau pengurutan berbasis konteks

Ini memungkinkan pipeline menangani berbagai tipe atribut tanpa perlu aturan keras untuk setiap kategori.

Cadangan Deterministik: Mengetahui kapan tidak perlu AI

Tidak semua atribut membutuhkan AI. Sebagian besar atribut lebih baik diproses dengan logika deterministik.

Nilai numerik, satuan, dan kumpulan sederhana sering mendapatkan manfaat dari:

• Kecepatan pemrosesan lebih tinggi
• Pengurutan yang sepenuhnya dapat diprediksi
• Biaya lebih rendah
• Tidak ambigu

Pipeline secara otomatis mengenali situasi ini dan menerapkan logika deterministik. Ini menjaga efisiensi sistem dan menghindari panggilan LLM yang tidak perlu.

Keseimbangan Kekuasaan: Sistem Label Merchant

Merchant perlu mempertahankan kendali, terutama atas atribut kunci. Oleh karena itu, setiap kategori dapat diberi label:

• LLM_SORT — biarkan model memutuskan
• MANUAL_SORT — merchant menentukan urutan secara manual

Sistem label ganda ini memberi manusia kendali akhir, sementara AI menangani sebagian besar pekerjaan. Ini juga membangun kepercayaan—merchant tahu mereka bisa selalu menimpa keputusan model tanpa mengganggu pipeline.

Persistensi Data: MongoDB sebagai Sumber Fakta Tunggal

Semua hasil langsung ditulis ke MongoDB Produk, menjaga arsitektur tetap sederhana dan terpusat. MongoDB menjadi satu-satunya penyimpanan operasional untuk:

• Nilai atribut yang diurutkan
• Nama atribut lengkap
• Label urutan kategori
• Field urutan produk

Ini memudahkan audit perubahan, penimpaan nilai, pengolahan ulang kategori, dan sinkronisasi dengan sistem lain.

Loop Penelusuran di Layer Pencarian: Dari Data ke Penemuan

Setelah peringkat selesai, nilai mengalir ke:

• Elasticsearch — pencarian berbasis kata kunci
• Vespa — pencarian semantik dan vektorial

Ini memastikan:

• Filter muncul dalam urutan logis
• Halaman produk menampilkan atribut yang konsisten
• Mesin pencari mengurutkan hasil dengan lebih akurat
• Navigasi kategori menjadi intuitif dan lancar

Kekuatan pengurutan atribut paling nyata dalam pencarian, di mana konsistensi sangat penting.

Gambaran Sistem: Dari Data Mentah ke Antarmuka Pengguna

Agar sistem ini berjalan di jutaan SKU, saya merancang pipeline modular yang berfokus pada tugas backend, inferensi AI, dan integrasi pencarian:

Alur data:

• Data produk berasal dari sistem informasi produk
• Tugas ekstraksi atribut menarik nilai atribut dan konteks kategori
• Nilai ini dikirim ke layanan pengurutan AI
• Dokumen produk yang diperbarui ditulis ke MongoDB Produk
• Tugas sinkronisasi keluar menulis kembali hasil pengurutan ke sistem informasi produk
• Tugas sinkronisasi Elasticsearch dan Vespa memperbarui indeks pencarian masing-masing
• Layanan API menghubungkan mesin pencari dan aplikasi klien

Alur ini memastikan setiap nilai atribut—baik dari pengurutan AI maupun penetapan manual—tercermin dalam pencarian, pengelolaan rak, dan pengalaman akhir pengguna.

Dampak Praktis dari Transformasi

Bagaimana nilai acak asli diubah:

Contoh ini menunjukkan bagaimana pipeline menggabungkan pemikiran kontekstual dan aturan yang jelas untuk menghasilkan urutan yang bersih dan mudah dipahami.

Mengapa Memilih Offline Daripada Real-Time?

Jika menggunakan pemrosesan real-time, akan muncul:

• Fluktuasi latensi yang tidak terduga
• Biaya komputasi tinggi
• Ketergantungan yang rapuh
• Kompleksitas operasional meningkat

Sedangkan tugas offline menawarkan:

• Efisiensi batch
• Panggilan LLM asinkron
• Logika retry dan antrian dead-letter
• Jendela review manual
• Biaya komputasi yang sepenuhnya dapat diprediksi

Biaya yang dikeluarkan adalah sedikit penundaan antara data masuk dan tampil, tetapi manfaatnya adalah konsistensi skala besar—yang benar-benar dihargai pelanggan.

Dampak Bisnis

Hasilnya cukup signifikan:

• Skala atribut >3 juta SKU mencapai konsistensi
• Pengurutan nilai dengan fallback deterministik yang dapat diprediksi
• Merchant memiliki kontrol granular melalui label manual
• Halaman produk lebih bersih dan filter lebih intuitif
• Relevansi pencarian meningkat
• Kepercayaan dan konversi pengguna meningkat

Ini bukan hanya keberhasilan teknis, tetapi juga pengalaman pengguna dan pendapatan.

Pelajaran Utama

• Pipeline campuran lebih unggul dalam skala daripada solusi AI murni. Pagar pengaman itu penting.
• Konteks secara signifikan meningkatkan akurasi LLM
• Tugas offline adalah fondasi throughput dan toleransi kesalahan
• Mekanisme penimpaan manual membangun kepercayaan dan penerimaan
• Input bersih adalah dasar output AI yang andal

Penutup

Pengurutan nilai atribut terdengar sederhana, tetapi saat harus menangani jutaan produk, ini menjadi tantangan nyata. Dengan menggabungkan kecerdasan LLM, aturan yang jelas, dan kontrol merchant, masalah tak kasat mata ini diubah menjadi sistem yang bersih dan skalabel.

Ini adalah pengingat: kemenangan terbesar sering berasal dari menyelesaikan masalah yang tampaknya sepele—masalah yang muncul setiap hari di setiap halaman produk.