Acabo de ver algo interesante: hay un nuevo marco de mercado llamado The Grid que está adoptando un enfoque completamente diferente al juego de la inferencia.

En lugar de la típica configuración de API de modelos a la que todos estamos acostumbrados, han construido toda su arquitectura en torno a la inferencia basada en tareas. Piénsalo: en vez de simplemente llamar a un endpoint de una API, realmente estás estructurando el trabajo en torno a tareas computacionales específicas.

Acaban de publicar sus planos técnicos y, sinceramente, la filosofía de diseño es bastante refrescante. Es uno de esos momentos en los que piensas: "¿por qué nadie pensó en esto antes?". Todo el sistema está diseñado para gestionar solicitudes de inferencia como tareas discretas en vez de llamadas genéricas a una API.

Para cualquiera que esté construyendo en el espacio de computación descentralizada, esto podría valer la pena echarle un vistazo. La estructura orientada a tareas podría realmente solucionar algunos de los cuellos de botella de eficiencia con los que hemos lidiado en las configuraciones tradicionales de servicio de modelos.

Tengo curiosidad por ver cómo se desarrolla esto en la práctica una vez que la gente empiece a poner a prueba la infraestructura.