Я щойно помітив цікаву річ щодо розвитку інфраструктури ШІ за останній час. Наприкінці минулого року великі компанії придбали Groq — компанію з чипами, орієнтованими на низьку затримку обчислень, за 20 мільярдів доларів США. А з того, що я бачив на GTC минулого тижня, вони щойно презентували чип Groq 3 LPU, виготовлений за технологією 4 нм від Samsung.

Що мене зацікавило — це причина, яка стоїть за цим рухом. Здається, ринок послуг ШІ змінюється. Це вже не просто про збільшення обчислювальної потужності у традиційний спосіб, а про надання користувачам більшого вибору. Деякі потребують швидкості, інші — швидкої реакції, треті — і того, і іншого, але за різною ціною.

Насправді це схоже на розширення меж ринку, а не просто на традиційне зростання. З’явилися нові сегменти з низькою затримкою і високою ціною за одиницю. Крім старих методів, що зосереджені на обсязі та високій швидкості, одна й та сама модель може встановлювати різні ціни залежно від швидкості реакції. Хоча обсяг обчислень може бути меншим, ціна за одиницю може компенсувати це.

Що цікаво — архітектура LPU від Groq славиться своєю точною низькою затримкою. У поєднанні з високошвидкісним підходом GPU від лідерів ринку, це схоже на заповнення прогалини у їхньому продуктовому портфоліо. Це не просто пряма конкуренція, а доповнення, яке розширює їхні можливості — дуже розумний хід.