В эпоху промышленной революции чем дешевле уголь, тем больше его сжигали. Сейчас в эпоху AI токены работают по тому же принципу

Когда токены дешевеют, AI продукты наоборот могут их больше потреблять
Раньше ты задавал вопрос — модель отвечала, и всё заканчивалось
Теперь ты кликаешь, агент в фоновом режиме разбирается с задачами, ищет информацию, настраивает инструменты, пишет код, исправляет ошибки, подводит итоги, выполняет целый набор процессов
Поэтому один токен стал дешевле, но за один раз задача съедает слишком много токенов
Именно поэтому счета продолжают расти
После того как паровая машина стала более экономичной в использовании угля, в Великобритании его не стало меньше. Потому что уголь стал более выгодным, и больше машин, фабрик, железных дорог начали его сжигать
Токены — это тот же самый принцип
Когда они дешевеют, агент, глубокие исследования, программирование AI, длинный контекст, автоматизация предприятий начинают действительно работать
Поэтому центр затрат AI смещается с обучения на инференс
Обучение — это временные расходы, а инференс — постоянные. Пользователи онлайн, он продолжает работать. Агент запущен, он продолжает работать. Чем длиннее контекст, чем больше кэш, тем больше расходуются память, пропускная способность, электроэнергия, теплоотвод — всё это становится напряжённее
Именно поэтому AI цепочка поставок не может ограничиваться только GPU
HBM, DRAM, SSD, передовая упаковка, оптические модули, коммутирующие чипы, CPU, инференс-чипы — всё это будет переоценено под влиянием растущего спроса на инференс
Компании, разрабатывающие AI-приложения, также будут вынуждены делить уровни
Те, кто только создаёт интерфейс и полностью полагается на закрытые API, с ростом числа пользователей счета будут расти, а прибыль — уменьшаться
Истинные барьеры начнут углубляться: маршрутизация, квантование, кэширование, пакетная обработка, обрезка контекста, замена больших моделей малыми
Да, токены — это уголь