На выставке CES 2025 генеральный директор NVIDIA Дженсен Хуанг анонсировал новую платформу, которая объединяет передовые генеративные модели для развития физического искусственного интеллекта. Платформа ориентирована на такие области, как автономные автомобили и робототехника.
Cosmos World Foundation Models (WFM) предоставляет разработчикам инструменты для создания объемных фотореалистичных синтетических данных, основанных на физических законах, чтобы улучшить обучение существующих моделей. Эти модели доступны по открытой лицензии, что стимулирует развитие сообществ в области робототехники и автономных транспортных систем.
Ключевые партнеры Cosmos — компании, специализирующиеся на робототехнике и автопроме: 1X, Agile Robots, Agility, Figure AI, Foretellix, Fourier, Galbot, Hillbot, IntBot, Neura Robotics, Skild AI, Virtual Incision, Waabi, XPENG и Uber.
Разработчики смогут адаптировать WFM под свои нужды, используя разнообразные датасеты: от видео поездок автономных авто до складских операций роботов. Платформа может создавать физически достоверные видеоролики, работая с различными типами данных, такими как текст, изображения, видео и данные с сенсоров.
Система NVIDIA AI и CUDA на базе платформы Blackwell обеспечивает колоссальное ускорение обработки данных. Вместо 3,4 лет анализа 20 миллионов часов видео на процессорах CPU, этот объем данных можно обработать всего за 14 дней.
Платформа Cosmos уже применяется в реальных проектах. Компания 1X использует Cosmos Tokenizer для нового набора данных 1X World Model Challenge. XPENG планирует ускорить разработку своих роботов, а Hillbot и SkildAI применяют технологии для создания универсальных роботов. В транспортной отрасли Waabi использует Cosmos для поиска и анализа видеоданных, а Foretellix интегрирует платформу с API Nvidia Omniverse Sensor RTX для генерации тестовых сценариев.
Меры безопасности в Cosmos включают механизмы для минимизации вредного контента и инструмент для улучшения запросов, что повышает точность работы моделей. Видеоконтент, созданный с использованием Cosmos, содержит водяные знаки для идентификации, чтобы избежать дезинформации и неверной атрибуции.
Эта открытая платформа открывает новые возможности для разработчиков, ускоряя внедрение физического ИИ и задавая новые стандарты в отрасли.