Google випустив алгоритм TurboQuant: 3-bit квантизація KV кешу без втрати точності, швидкість виведення збільшена до 8 разів

Gate News повідомляє, 25 березня дослідницький інститут Google опублікував алгоритм квантового стиснення TurboQuant, який може зменшити обсяг кешу KV великих мовних моделей до 3 біт, зменшуючи використання пам’яті щонайменше у 6 разів, без необхідності тренування або доопрацювання та без втрати точності моделі. У режимі 4 біт швидкість обчислення уваги на GPU NVIDIA H100 у порівнянні з базовим 32-бітовим не квантованим режимом зросла до 8 разів. Команда дослідників підтвердила ефективність TurboQuant на довгих контекстних бенчмарках LongBench, Needle In A Haystack, ZeroSCROLLS, використовуючи моделі Gemma і Mistral, і досягла найкращих результатів у всіх тестах. Алгоритм складається з двох підалгоритмів: PolarQuant, який за допомогою перетворення у полярні координати усуває пам’ятні витрати традиційних методів квантування, та QJL, що коригує залишкову помилку всього за 1 біт. Дослідження очолювали Амір Зандієх з Google Research і віце-президент та Google Fellow Вахаб Міррокні у співпраці з KAIST (Республіка Корея) та Нью-Йоркським університетом, і воно буде опубліковане на ICLR 2026. Google зазначає, що одним із основних застосувань цієї технології є подолання вузьких місць у кеші KV моделей на кшталт Gemini.

Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до Застереження.

Пов'язані статті

Звіт: Токенізовані активи на провідних CEX дають змогу здійснювати макро-хеджування в режимі реального часу на тлі геополітичних подій

Повідомлення Gate News, 21 квітня — Провідна криптовалютна біржа та Block Scholes опублікували дослідницький звіт, у якому розглядається зближення між криптовалютним та традиційним фінансовими ринками, адже трейдери дедалі частіше переходять між класами активів у відповідь на глобальні макроекономічні події. Платформа's TradFi

GateNews2год тому

Дослідження Deutsche Bank: частка участі американських роздрібних інвесторів у криптовалютах у березні зросла до 12%

Deutsche Bank опублікувала дослідницький звіт 20 квітня, посилаючись на дані db DataInsights із опитування 3 400 споживачів у США, ЄС та Великій Британії. Згідно з ним, роздрібна популярність криптовалют у США у березні зросла до 12%, відновивши рівень липня 2025 року. У звіті також зазначено, що 70% респондентів, які володіють криптовалютою, заявили, що тримають біткоїн — це найвища частка серед усіх криптоактивів.

MarketWhisper8год тому

Останній звіт A16z: чому блокчейн є тією бракуючою інфраструктурою, якої не вистачає AI-агентам?

a16z crypto останній звіт зазначає, що AI-агенти переходять від допоміжних інструментів до економічних суб’єктів, однак у ключовій інфраструктурі, зокрема щодо ідентичності, платежів і кросплатформної співпраці, досі існують суттєві прогалини. У звіті наголошується, що зі зростанням участі AI в управлінні та торгівлі механізми верифікації стають ключем до довіри, а технологія блокчейну може надати верифіковану інфраструктуру для подолання цих викликів. У майбутньому потрібно за допомогою криптографічних механізмів забезпечити, щоб AI-агенти справді відображали волю користувачів, і змінити традиційні платіжні системи.

ChainNewsAbmedia16год тому

Три провідні платформи контролюють 75% ринку безстрокових ф’ючерсів на акції в I кварталі 2026 року

Звіт TokenInsight за I квартал 2026 року показує, що ринок безстрокових ф’ючерсів на акції домінує кілька провідних платформ, які в сукупності утримують близько 75% частки ринку. Великі біржі дедалі частіше пропонують продукти, пов’язані з акціями США та фінансами, щоб посилити торгівлю між класами активів.

GateNews23год тому

Хеджування міжкласовими активами виходить на перший план як основна стратегія — звіт за 1 квартал показує

Звіт Block Scholes показує зростання кореляцій між криптоактивами та традиційними ринками, відзначаючи підвищений попит на уніфіковані торговельні платформи, адже трейдери керують різноманітними активами. Торгові обсяги різко зросли, що відображає перехід до багатопрофільних стратегій.

GateNews23год тому

Продукти для інвестицій у цифрові активи зафіксували рекордні $1,4 млрд чистих притоків минулого тижня — найвищий показник від січня

CoinShares повідомила про $1,4 млрд чистих притоків у продуктах для інвестицій у цифрові активи минулого тижня, що стало найбільшим зростанням від січня. Bitcoin очолив із $1,116 млрд, тоді як Ethereum зазнав $328 млн чистого притоку. США зробили значний внесок, хоча Швейцарія мала відпливи.

GateNews23год тому
Прокоментувати
0/400
Немає коментарів