Meta AI выпустила совместную встроенную предиктивную модель мира JEPA-WMs для физического планирования

Новость от ME: сообщение от 3 апреля (UTC+8). Команда Meta AI Research опубликовала совместную предсказательную модель мира JEPA-WMs и связанные с ней исследования, предназначенные для физического планирования. В рамках работы рассматриваются ключевые факторы успешности модели, а также предоставляются полная реализация на PyTorch, набор данных и предварительно обученные модели. Опубликованные модели включают основной JEPA-WM, а также модели DINO-WM и V-JEPA-2-AC(fixed) в качестве базовых подходов, охватывающие различные роботизированные задачи по управлению и навигации и среды, включая DROID & RoboCasa, Metaworld, Push-T, PointMaze и Wall. Модели используют визуальные энкодеры, такие как DINOv3 ViT-L/16, DINOv2 ViT-S/14 и V-JEPA-2 ViT-G/16; входное разрешение изображений в основном составляет 224×224 или 256×256. Проект также предоставляет опциональную декодирующую головку VM2M для визуализации и декодирования траекторий, но подчеркивает, что этот декодер не является необходимым для обучения модели мира или для оценки планирования. Все ресурсы опубликованы на GitHub, Hugging Face и arXiv. (Источник: InFoQ)