Ви зрозуміли цю дуже цікаву стратегію NVIDIA? Вони придбали бізнес з чіпів для інференції компанії Groq за 200 мільярдів доларів, і тепер стає набагато більш зрозуміло, чому вони це зробили.



Мене привернула увага пояснення Хуана Женьсуна щодо логіки цієї покупки. В основному, ринок інференції сегментується. Раніше всі зосереджувалися лише на одному: збільшенні пропускної здатності. Але потім комерційна цінність токенів значно змінилася, і різні користувачі готові платити різні ціни залежно від швидкості відповіді.

Це приблизно так: якщо я можу швидше надавати відповіді інженерам, дозволяючи їм працювати ефективніше, вони будуть готові платити більше за це. І попит на низьку затримку є досить новим на ринку.

Тут і входить Groq. Їхня архітектура LPU відома саме низькою детермінованою затримкою, що ідеально доповнює підхід високої пропускної здатності GPU NVIDIA. Коли вони випустили Groq 3 LPU на 4 нм, показали, що здатність інференції на мегават у моделях з трильйонами параметрів у 35 разів перевищує Blackwell NVL72. Це не мало.

Інакше кажучи, NVIDIA заповнила важливу прогалину у своєму продуктовому ряді. Тепер вони охоплюють як сегмент високої пропускної здатності, так і сегмент низької затримки з високою одиничною вартістю. Експансія Парето, як її називають деякі. Одна й та сама модель, різні ціни залежно від часу відповіді. Менша пропускна здатність, але вартість за одиницю компенсує це.

Це і є стратегія: не конкуренція, а доповнення. І це має сенс, враховуючи, як розвивається ринок ШІ.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріпити