На виставці CES 2025 генеральний директор NVIDIA Дженсен Хуанг анонсував нову платформу, яка об'єднує передові генеративні моделі для розвитку фізичного штучного інтелекту. Платформа орієнтована на такі галузі, як автономні автомобілі та робототехніка.
Cosmos World Foundation Models (WFM) надає розробникам інструменти для створення об'ємних фотореалістичних синтетичних даних, заснованих на фізичних законах, щоб поліпшити навчання наявних моделей. Ці моделі доступні за відкритою ліцензією, що стимулює розвиток спільнот у галузі робототехніки та автономних транспортних систем.
Ключові партнери Cosmos - компанії, що спеціалізуються на робототехніці та автопромі: 1X, Agile Robots, Agility, Figure AI, Foretellix, Fourier, Galbot, Hillbot, IntBot, Neura Robotics, Skild AI, Virtual Incision, Waabi, XPENG і Uber.
Розробники зможуть адаптувати WFM під свої потреби, використовуючи різноманітні датасети: від відео поїздок автономних авто до складських операцій роботів. Платформа може створювати фізично достовірні відеоролики, працюючи з різними типами даних, як-от текст, зображення, відео та дані з сенсорів.
Система NVIDIA AI і CUDA на базі платформи Blackwell забезпечує колосальне прискорення обробки даних. Замість 3,4 років аналізу 20 мільйонів годин відео на процесорах CPU, цей обсяг даних можна обробити всього за 14 днів.
Платформа Cosmos уже застосовується в реальних проєктах. Компанія 1X використовує Cosmos Tokenizer для нового набору даних 1X World Model Challenge. XPENG планує прискорити розробку своїх роботів, а Hillbot і SkildAI застосовують технології для створення універсальних роботів. У транспортній галузі Waabi використовує Cosmos для пошуку та аналізу відеоданих, а Foretellix інтегрує платформу з API Nvidia Omniverse Sensor RTX для генерації тестових сценаріїв.
Заходи безпеки в Cosmos включають механізми для мінімізації шкідливого контенту та інструмент для поліпшення запитів, що підвищує точність роботи моделей. Відеоконтент, створений з використанням Cosmos, містить водяні знаки для ідентифікації, щоб уникнути дезінформації та невірної атрибуції.
Ця відкрита платформа відкриває нові можливості для розробників, прискорюючи впровадження фізичного ШІ та задаючи нові стандарти в галузі.