кто-то запустил модель распознавания речи на Apple Watch.

не игрушечная демонстрация. Granite 4.0 1B speech заняла ПЕРВОЕ место в рейтинге OpenASR.
вот что в этом удивительно:
• 1B параметров - вдвое меньше, чем Granite 3.3 2B
• выше точность транскрипции английского, чем у более крупной модели
• спекулятивное декодирование для более быстрого вывода на крошечном оборудовании
• 6 языков - английский, французский, немецкий, испанский, португальский, японский
• настройка списка ключевых слов для правильного распознавания имен и акронимов
часть, о которой никто не говорит:
вы платите за вызовы Whisper API каждый месяц, в то время как модель вдвое меньшая по размеру, чем ее предшественник, превосходит ее на устройстве, закрепленном на вашем запястье.
это не мелкая оптимизация. это разрушение всей структуры затрат на edge-распознавание речи.
меньшая модель. лучшая точность. НУЛЕВАЯ зависимость от облака.