Meta AI выпустила совместную встроенную предиктивную модель мира JEPA-WMs для физического планирования

Новости Meta, 3 апреля (UTC+8): команда Meta AI Research опубликовала модель мира JEPA-WMs с объединенным прогнозированием встраиваний для физического планирования и связанные с ней исследования. Исследование рассматривает ключевые факторы, обеспечивающие успешную работу модели, и предоставляет полный код PyTorch, набор данных и предварительно обученную модель. Опубликованные модели включают основную JEPA-WM, а также базовые модели DINO-WM и V-JEPA-2-AC(fixed), охватывающие несколько робототехнических сред для манипуляций и навигации, таких как DROID & RoboCasa, Metaworld, Push-T, PointMaze и Wall. Модель использует визуальные энкодеры, включая DINOv3 ViT-L/16, DINOv2 ViT-S/14 и V-JEPA-2 ViT-G/16, при этом разрешение входных изображений в основном составляет 224×224 или 256×256. Проект также предоставляет опциональную декодирующую головку VM2M для визуализации и декодирования траекторий, но подчеркивает, что эта декодирующая головка не является необходимой для обучения модели мира или для оценки планирования. Все ресурсы доступны на GitHub, Hugging Face и arXiv. (Источник: InFoQ)