Je viens de remarquer quelque chose d'intéressant : il y a un nouveau cadre de marché appelé The Grid qui adopte une approche complètement différente du jeu de l'inférence.

Au lieu de l’habituelle configuration API de modèle à laquelle nous sommes tous habitués, ils ont construit toute leur architecture autour de l’inférence basée sur les tâches. Pensez-y : plutôt que d’appeler simplement un endpoint d’API, vous structurez réellement le travail autour de tâches computationnelles spécifiques.

Leurs plans techniques viennent tout juste d’être publiés et, honnêtement, la philosophie de conception est vraiment rafraîchissante. C’est le genre de moment où l’on se dit « pourquoi personne n’y a pensé avant ? ». Tout le système est conçu pour traiter les requêtes d’inférence comme des tâches distinctes plutôt que comme des appels d’API génériques.

Pour tous ceux qui construisent dans l’espace du calcul décentralisé, cela pourrait valoir le coup d’œil. La structure orientée tâches pourrait réellement résoudre certains des goulets d’étranglement en matière d’efficacité auxquels nous sommes confrontés avec les configurations traditionnelles de déploiement de modèles.

Curieux de voir comment cela se concrétise une fois que les gens commenceront à mettre l’infrastructure à l’épreuve.