Помітив цікаву тенденцію на ринку. Компанії, які ще недавно розкішно витрачали токени, наче це вода з крану, тепер сидять над розрахунками з калькулятором в руках. Епоха freeuse офіційно закінчилася.

Два роки тому все було просто. Великі інвестори платили рахунки, ми писали довгі промпти, кидали в модель цілі PDF-документи, і нікого не хвилювало. Зараз? Кожен токен — це реальні гроші. Не умовні одиниці, а справжній касса.

Реально, що змінилося? По-перше, вартість обчислювальної потужності стрімко зросла. Боротьба за чіпи NVIDIA H100 перетворилася на геополітичний конфлікт. По-друге, коли щоденний обсяг API-запитів перевищує мільйони, та незначна «1K Tokens» раптом стає машиною для відкачування грошей. Токен врівняний з реальною валютою.

Я розумію, що багато хто не розумів, куди йдуть гроші. Глянув на рахунок — шок. Але проблема не в самих цінах, а в тому, як ми витрачаємо. Вихід у трьох речах: семантичне кешування, компресія промптів і маршрутизація моделей. Це вже не люкс, це необхідність.

Семантичне кешування — найпростіший спосіб заощадити. Користувач запитує «Як скинути пароль?» сотні разів на день. Чому кожен раз запускати GPT-4? Перший раз обчислюємо, результат кешуємо, наступні запити повертаємо з кешу. Затримка з секунд переходить у мілісекунди, витрати — майже до нуля.

Компресія промптів — це вже хірургія. Алгоритми аналізують, які слова критично важливі, а які зайві. Можна стиснути текст з 1000 токенів до 300, зберігаючи сенс. Дозволяю машинам спілкуватися своєю мовою — результат той же, а плата менше на 70%.

Маршрутизація моделей — це архітектурна робота. Не все потребує GPT-4o. Просте витягування даних? Маршрутизую на дешеву Llama 3 8B або Claude 3 Haiku. Складне логічне міркування? Тоді так, беру потужну модель. Як у компанії: рецепшн не передає питання генеральному директору.

Я дивився на те, як це роблять передові команди. OpenClaw на мобільних пристроях майже одержимо контролює токени. Замість вільного генерування, він змушує модель заповнювати JSON Schema. Це виглядає обмежуючим, але насправді економить трафік. Hermes Agent йде іншим шляхом — динамічна пам'ять. Зберігає останні 3–5 розмов, старіші резюмує легкою моделлю і зберігає у вектор-базі. Це не вишкідництво — це хірургічне керування контекстом.

Тепер найголовніше — це зміна мислення. Раніше ставились до токенів як до споживчого товару. Побачив знижку — кидаєш у кошик. Сліпо підключали LLM до всього, навіть щоб AI створював меню їдальні. Рахунок в кінці місяця — шок.

Тепер треба перейти на інвестиційне мислення. Кожен токен — це інвестиція. Запитуємо себе: що це мені дало? Підвищився відсоток закриття тікетів? Скоротився час виправлення багів? Чи це просто розваги? Якщо функція на правилах коштує 10 центів, а LLM вимагає долар на токен, але підвищує конверсію на 2%, то вирізаємо без роздумів.

Переходимо від «великих та всебічних» рішень до «малих та вдосконалених» точних ударів. Коли бізнес запитує: «Чи можна AI прочитати 100 тисяч звітів?», я запитую: «Чи покриють доходи кілька мільйонів токенів?» Порахуємо. Економимо. Лічимо токени як власник продуктового магазину.

Звучить далеко не технологічно, скоріше сільськогосподарськи. Але саме це — етап дорослішання AI-індустрії. Епоха безмежних субсидій закінчилася. Залишаються ті, хто розуміє архітектуру, знає, як оптимізувати на мобільних пристроях, і дивиться на цифри токенів з холодною розрахунковістю. Коли приплив відступить, видно буде, хто плаває голий. На цей раз це будуть компанії, що не навчилися економити. Той, хто виковує кожну каплю як золото, переживе.