DeepSeek публикует TileKernels с открытым исходным кодом — библиотеку GPU-ядeр для обучения и вывода больших моделей

Сообщение Gate News, 23 апреля — DeepSeek опубликовал TileKernels с открытым исходным кодом под лицензией MIT. Это библиотека GPU-ядeр, написанная на TileLang для обучения и вывода больших языковых моделей. TileLang — предметно-ориентированный язык, разработанный командой tile-ai для выражения высокопроизводительных GPU-ядeр на Python. DeepSeek заявил, что большинство ядер в библиотеке уже приблизились к предельным значениям производительности по плотности вычислений и пропускной способности памяти; при этом отдельные части уже развернуты во внутренних операциях обучения и вывода.

Библиотека включает шесть категорий ядер: MoE (mixture of experts) — механизмы gating и маршрутизации, включая выбор экспертов Top-k, сопоставление токенов с экспертами, а также объединенные expand/shrink с нормализацией весов; квантование, поддерживающее форматы FP8, FP4 и E5M6, с квантованием по токену, по блокy и по каналу, включая объединенные операции SwiGLU+квантование; пакетную транспозицию; Engram gating с объединенным прямым/обратным распространением RMSNorm и редукцией градиента весов; Manifold HyperConnection с нормализацией Sinkhorn и смешанным split/apply; а также высокоуровневые интерфейсы autograd, которые оборачивают низкоуровневые ядра в обучаемые слои.

Engram и Manifold HyperConnection являются проприетарными компонентами архитектуры модели DeepSeek; детали реализации впервые раскрыты публично. Библиотека требует графические процессоры архитектуры NVIDIA SM90 или SM100 (H100/H200 или серии Blackwell), CUDA Toolkit 13.1 или выше, а также PyTorch 2.10 или выше.

Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к Отказу от ответственности.

Связанные статьи

Aave предлагает 25,000 ETH DeFi United для помощи Kelp DAO

Провайдеры услуг Aave в пятницу выдвинули предложение по управлению, которое внесло бы $58 в почти 25,000 ETH стоимости средств от DAO протокола в DeFi United — скоординированную инициативу по оказанию помощи, чтобы восстановить обеспечение для rsETH после эксплойта в Kelp DAO, сообщает The Block. Предлагаемый вклад

CryptoFrontier2ч назад

Павел Дуров говорит, что комиссии TON снизятся в 6 раз, ориентируясь на почти нулевые затраты

TON снижает комиссии за транзакции в шесть раз до почти нулевого уровня, переходя на фиксированное ценообразование, не зависящее от перегруженности сети. Обновление повышает скорость и финальность, позволяя выполнять более быстрые и дешевые транзакции по сравнению с Ethereum, Bitcoin и Solana. Более низкие издержки поддерживают микротранзакции и приложения,

CryptoFrontNews3ч назад

Протокол DeFi-кредитования Sui 受 взлому: Scallop, уязвимость в старом контракте привела к краже 150 000 SUI

Scallop подвергся атаке в сети Sui: побочный контракт вовлёк связанный с ним пул наград sSUI, который был использован злоумышленниками; примерно 150000 SUI были украдены. Основной контракт безопасен, депозиты и вывод средств уже восстановлены. Официальное заявление касается только заброшенного (деактивированного) контракта с наградами; средства пользователей не пострадали. Бывший разработчик NEAR Vadim заявил, что источник уязвимости — устаревший пакет V2, выпущенный 17 месяцев назад: из-за того, что last_index не был инициализирован, награды накапливались с 2023 года; для исправления нужно добавить поле версии в общий объект и усилить проверки версий, чтобы исключить риски от устаревших пакетов.

ChainNewsAbmedia3ч назад

JPMorgan: Токенизация изменит индустрию фондов, но «хорошие варианты использования» появятся через несколько лет

Глобальный руководитель по продуктам ETF и корпоративным услугам ценных бумаг JPMorgan, Сиаран Фицпатрик, заявил, что токенизация будет стимулировать изменения во всей индустрии фондов, согласно сообщению от пятницы. Фицпатрик отметил, что хотя эксперименты с токенизацией ETF продолжаются, банк оценивает, что это будет «а

CryptoFrontier5ч назад

Aave, Kelp и LayerZero предлагают разблокировать $71M в замороженном ETH для поддержки восстановления rsETH

Сообщение Gate News, 26 апреля — Коалиция крупных DeFi-протоколов во главе с Aave Labs, к которой присоединились Kelp DAO, LayerZero, EtherFi и Compound, в субботу утром подала Конституционную AIP-заявку с просьбой к DAO Arbitrum разблокировать примерно $71 миллиона замороженного ETH для поддержки DeFi United — межпротокольной

GateNews7ч назад

Scallop обнаруживает уязвимость в пуле вознаграждений sSUI, несет убытки 150K SUI, но обязуется полностью возместить

Сообщение Gate News от 26 апреля — Scallop, кредитный протокол в экосистеме Sui, объявил об обнаружении уязвимости во вспомогательном контракте, связанном с его пулом вознаграждений sSUI, что привело к потере примерно 150,000 SUI. Пострадавший контракт заморожен, и Scallop подтвердил

GateNews8ч назад
комментарий
0/400
Нет комментариев