Google DeepMind открыла исходный код семейства мультимодальных моделей Gemma 4

ME Новости, сообщение от 3 апреля (UTC+8): Google DeepMind недавно открыла исходный код семейства мультимодальных моделей Gemma 4. Эта серия моделей поддерживает ввод текста и изображений (для небольших моделей также поддерживается аудио), генерирует текстовый вывод, включает варианты с предварительным обучением и инструкционную настройку, контекстное окно максимально достигает 256K токенов и поддерживает более 140 языков. Модели используют две архитектуры: плотную (Dense) и смесь экспертов (MoE). Всего предусмотрены четыре размера: E2B, E4B, 26B A4B и 31B. Их ключевые возможности включают высокопроизводительное инференс-вычисление, расширенную мультимодальную обработку, оптимизацию для устройств, увеличение контекстного окна, усиление возможностей кодирования и агентности, а также поддержку системных подсказок «из коробки». В технических деталях модель использует механизм смешанного внимания: глобальные слои применяют единые пары ключей и значений и пропорциональную RoPE (p-RoPE). При этом модели E2B и E4B используют технологию послойного встраивания (PLE), поэтому эффективные параметры меньше общего числа параметров. А в модели 26B A4B MoE при инференсе активируются только 3.8B параметров, а скорость работы близка к модели с 4B параметрами. (Источник: InFoQ)