Tether Запускает BitNet LoRA Framework на всех платформах

• Технология BitNet LoRA от Tether позволяет обучать модели ИИ на смартфонах, GPU и потребительских устройствах.

• Система снижает использование памяти и повышает производительность, уменьшая требования к VRAM до 77,8%.

• Пользователи могут донастраивать модели до 13 миллиардов параметров на мобильных устройствах, расширяя возможности edge-ИИ.

Tether анонсировала новый фреймворк ИИ через платформу QVAC Fabric, который обеспечивает кросс-платформенное обучение BitNet LoRA на потребительских устройствах. Обновление позволяет запускать модели с миллиардами параметров на смартфонах и GPU. Генеральный директор Паоло Ардойно поделился информацией о разработке, подчеркнув снижение затрат и расширение доступа к инструментам ИИ.

Кросс-платформенное обучение ИИ расширяет доступ

Обновление QVAC Fabric вводит поддержку кросс-платформенного донастройки BitNet LoRA. Это позволяет моделям ИИ работать на разном оборудовании и операционных системах.

Особенно важно, что фреймворк поддерживает GPU от AMD, Intel и Apple, включая мобильные чипсеты. Также используются бэкенды Vulkan и Metal для совместимости.

По словам Tether, впервые BitNet LoRA работает на таком широком диапазоне устройств. В результате пользователи могут обучать модели на обычном оборудовании.

Повышение производительности на потребительском оборудовании

Система снижает потребность в памяти и вычислительных ресурсах за счет объединения технологий BitNet и LoRA. BitNet сжимает веса модели в упрощенные значения, а LoRA ограничивает количество обучаемых параметров.

Вместе эти методы значительно уменьшают требования к оборудованию. Например, вывод модели на GPU работает в 2–11 раз быстрее, чем на CPU на мобильных устройствах.

Кроме того, использование памяти значительно сокращается по сравнению с моделями с полной точностью. Бенчмарки показывают снижение использования VRAM до 77,8% по сравнению с аналогичными системами.

Tether также продемонстрировала донастройку на смартфонах. Тесты показали, что модели с 125 миллионами параметров обучаются за несколько минут на таких устройствах, как Samsung S25.

Мобильные и edge-устройства справляются с большими моделями

Фреймворк позволяет запускать более крупные модели на edge-устройствах. Tether сообщила об успешной донастройке моделей до 13 миллиардов параметров на iPhone 16.

Кроме того, система поддерживает мобильные GPU, такие как Adreno, Mali и Apple Bionic. Это расширяет возможности ИИ за пределы специализированного оборудования.

По словам Паоло Ардойно, развитие ИИ часто зависит от дорогостоящей инфраструктуры. Он отметил, что данный фреймворк переводит возможности ближе к локальным устройствам.

Tether добавила, что система снижает зависимость от централизованных платформ и позволяет пользователям обучать и обрабатывать данные прямо на своих устройствах.