editor'S Catatan: Artikel ini awalnya diposting pada 23 Oktober 2024, tetapi telah diperbarui.
AI fisik – Implementasi kecerdasan buatan dalam robot, agen AI visual, gudang, pabrik, dan sistem otonom lainnya yang beroperasi dalam pengalaman dunia nyata momen terobosan.
Untuk memungkinkan pengembang membangun sistem AI fisik yang efektif di industri seperti transportasi dan mobilitas, manufaktur, logistik, dan robotika, NVIDIA membangun tiga komputer yang memajukan pelatihan fisik, simulasi dan inferensi fisik.
https://www.youtube.com/watch?v=uhldha9skfk
Apa 3 komputer NVIDIA untuk robotika AI?
Berikut adalah tiga solusi komputer dari NVIDIA: nvidia Superkomputer DGX AI Untuk pelatihan AI, (2) Nvidia omniverse Dan Kosmos Di atas NVIDIA RTX Pro Server Simulasi dan (3) nvidia Jetson Agx Tinggi Untuk penalaran robot. Arsitektur ini memungkinkan pengembangan lengkap sistem AI fisik, dari pelatihan hingga penyebaran.
Apa itu AI fisik dan mengapa itu penting?
Tidak seperti Agen aiAI fisik, yang beroperasi di lingkungan digital, adalah model ujung-ke-ujung yang memungkinkan Anda memahami, beralasan, berinteraksi, dan menavigasi dunia fisik.
Selama 60 tahun, “Software 1.0” (kode seri yang ditulis oleh pemrogram manusia) dijalankan pada komputer tujuan umum dengan CPU.
Kemudian pada tahun 2012, Alex Krizhevsky, yang dipimpin oleh Ilya Sutskever dan Geoffrey Hinton, memenangkan kompetisi pencarian gambar komputer Imagenet dengan Alexnet yang inovatif. Pembelajaran yang mendalam Model Klasifikasi Gambar.
Ini menandai kontak pertama dengan AI di industri. Machine Learning Breakthrough – Jaringan saraf yang berjalan di GPU – memulai era Perangkat Lunak 2.0.
Saat ini, perangkat lunak menulis perangkat lunak. Beban kerja komputasi global telah beralih dari komputasi CPU tujuan umum ke komputasi GPU yang dipercepat, memperlambat lebih banyak hukum Moore.
AI yang dihasilkan, multimodal transformator Model difusi dilatih untuk menghasilkan respons.
Model Bahasa Besar Ini adalah satu dimensi dan dapat memprediksi token berikutnya untuk mode seperti huruf atau kata. Model gambar dan pembuatan video adalah dua dimensi dan dapat memprediksi piksel berikutnya:
Tidak satu pun dari model ini yang dapat memahami atau menafsirkan dunia 3D. Di situlah AI fisik ikut bermain.
https://www.youtube.com/watch?v=uhldha9skfk
Robot adalah sistem yang memungkinkan persepsi, rasionalitas, perencanaan, tindakan dan pembelajaran. Robot sering dianggap sebagai robot seluler otonom (AMR), lengan manipulator, atau humanoids. Namun, ada banyak jenis implementasi robot lainnya.
Apa pun yang akan bergerak atau memantau apa yang akan bergerak dalam waktu dekat akan menjadi sistem robot yang otonom. Sistem ini dapat mendeteksi dan merespons lingkungan.
Dari mobil self-driving, kamar bedah, pusat data, gudang, pabrik, sistem kontrol lalu lintas, atau seluruh kota pintar, semuanya berubah dari sistem statis, yang dioperasikan secara manual ke sistem interaktif yang otonom yang diwujudkan oleh AI fisik.
Mengapa robot humanoid perbatasan berikutnya?
Robot humanoid adalah gejala robot tujuan umum yang ideal karena mereka dapat beroperasi secara efisien di lingkungan yang dibangun untuk manusia, sementara membutuhkan penyesuaian minimal untuk penyebaran dan operasi.
Pasar Global untuk Robot Humanoid Menurut Goldman Sachs, diperkirakan akan mencapai $ 38 miliar pada tahun 2035, meningkat lebih dari enam kali dari sekitar $ 6 miliar, perkiraan periode hampir dua tahun lalu.
Para peneliti dan pengembang di seluruh dunia berlomba untuk membangun gelombang robot berikutnya.
Bagaimana tiga komputer NVIDIA bekerja sama untuk robotika?
Robot belajar bagaimana memahami dunia fisik menggunakan tiga jenis kecerdasan komputasi yang berbeda. Masing -masing memainkan peran penting dalam pipa pengembangan.
1. Komputer Pelatihan: NVIDIA DGX
Bayangkan mencoba memahami bahasa alami dalam robot, mengenali objek, dan merencanakan gerakan yang kompleks. Semua pada saat bersamaan. Daya komputasi skala besar yang diperlukan untuk jenis pelatihan ini hanya dapat dicapai melalui infrastruktur superkomputer khusus. Oleh karena itu, komputer pelatihan sangat penting.
Pengembang dapat melatih model robot foundation mereka sendiri terlebih dahulu Platform NVIDIA DGXatau gunakan model Nvidia Cosmos Open World Foundation nvidia Isaac Gr00t Robot humanoid Model dasar Sebagai model dasar untuk kebijakan robot baru setelah pelatihan.
2. Simulasi dan Komputer Pembuatan Data Sintetis: Nvidia Omniverse dengan Cosmos di NVIDIA RTX Pro Server
Tantangan terbesar dalam mengembangkan robotika generalis adalah kesenjangan data. Peneliti LLM beruntung dapat menggunakan data internet dunia secara bebas untuk membuatnya tersedia untuk bisnis terlebih dahulu. Namun, ini tidak ada dalam AI fisik.
Data robot dunia nyata terbatas, mahal dan sulit dikumpulkan. Mengumpulkan sangat sulit ketika menyiapkan kasus tepi di mana pretraining di luar jangkauan. Mengumpulkan data intensif, mahal dan sulit dikurangi.
Pengembang dapat menggunakan omniverse dan cosmos untuk menghasilkan sejumlah besar beragam berbasis fisik Data sintetis – Gambar 2D atau 3D, peta segmentasi atau kedalaman, data gerak dan lintasan, dll. Untuk bootstrap pelatihan dan kinerja model.
Untuk memastikan bahwa model robot aman dan berkinerja sebelum digunakan di dunia nyata, pengembang perlu mensimulasikan dan menguji model Kembar digital lingkungan. Kerangka kerja open source seperti Isaac SimItu dibangun di atas Omniverse Perpustakaan yang berjalan di server NVIDIA RTX Pro memungkinkan pengembang untuk menguji kebijakan robot dalam simulasi. Ini adalah lingkungan yang bebas risiko di mana robot dapat belajar dari kesalahan tanpa berulang kali mencoba tugas, menempatkan keselamatan manusia pada risiko atau kerusakan perangkat keras yang mahal.
Juga dapat digunakan oleh peneliti dan pengembang Laboratorium Nvidia Isaacopen source Pembelajaran Robot Kerangka kerja untuk memindahkan robot Pembelajaran Penguatan Dan Pembelajaran imitasimembantu mempercepat pelatihan kebijakan robot.
3. Komputer Runtime: Nvidia Jetson Thor
Untuk penyebaran yang aman dan efektif, sistem AI fisik membutuhkan komputer yang memungkinkan robotika otonom real-time menggunakan daya komputasi yang diperlukan untuk melakukan data sensor, alasan, rencana, dan tindakan.
Komputer inferensi robot mengharuskan robot menjalankan model inferensi AI multimodal untuk memungkinkan interaksi cerdas dengan orang -orang dan dunia fisik secara real time. Desain kompak Jetson Agx Thor memenuhi kebutuhan komputasi kinerja AI onboard Anda dan kebutuhan efisiensi energi sambil mendukung ansambel model seperti kebijakan kontrol, visi, dan pemrosesan bahasa.
Bagaimana Digital Kembar akan mempercepat pengembangan robot?
Fasilitas robotika dikaitkan dengan puncak dari semua teknologi ini.
Saya suka produsen Foxconn Perusahaan logistik seperti Amazon Robotics dapat mengoordinasikan tim robot otonom untuk bekerja dengan pekerja manusia dan memantau operasi pabrik melalui ratusan atau bahkan ribuan sensor.
https://www.youtube.com/watch?v=HjPwggmt57U
Gudang, tanaman, dan pabrik otonom ini ditemukan Kembar digital Perencanaan dan optimasi tata letak, simulasi operasional, dan yang paling penting, perangkat lunak robot armada dalam uji loop.
Dibangun di omniverse, “Mega” adalah cetak biru untuk pabrik digital pabrik Hal ini memungkinkan perusahaan industri untuk mensimulasikan armada robotika mereka sebelum mengerahkannya ke pabrik fisik. Ini memastikan integrasi yang mulus, kinerja optimal, dan gangguan minimal.
Mega memungkinkan pengembang untuk memasukkan robot virtual dan model AI, atau otak robot, ke kembar digital pabrik. Robot kembar digital melakukan tugas dengan merasakan lingkungan, menyimpulkan, merencanakan langkah selanjutnya, dan menyelesaikan tindakan terakhir yang direncanakan.
Tindakan ini disimulasikan dalam lingkungan digital oleh Simulator Dunia Omniverse, dan hasilnya diakui oleh otak robot. Simulasi Sensor Omniverse.
Simulasi sensor memungkinkan otak robot untuk menentukan tindakan selanjutnya dan loop berlanjut. Sementara itu, Mega dengan halus melacak keadaan dan posisi semua elemen dalam kembar digital pabrik.
Tes loop canggih ini membantu perusahaan industri mensimulasikan dan memvalidasi perubahan dalam kisaran yang aman dari Omniverse Digital Twin, memprediksi dan mengurangi potensi masalah, mengurangi risiko dan biaya selama penyebaran nyata.
Perusahaan mana yang menggunakan tiga komputer NVIDIA untuk robotika?
Tiga komputer Nvidia mempercepat karya pengembang robotika dan pembangun model robot foundation di seluruh dunia.
Robot universalPerusahaan robotika teradyne, bekas Manipulator nvidia IsaacBangun Perpustakaan dan AI yang Diakelarisasi Isaac, dan Nvidia Jetson ACELERATOR AI URperangkat perangkat keras dan perangkat lunak yang memungkinkan pengembang COBOT untuk membangun aplikasi, mempercepat pengembangan, dan mempercepat waktu untuk memasarkan produk AI.
Robot rgo Digunakan Perseptor Nvidia Isaac Roda. AMRS selalu berfungsi di mana-mana, membantu Anda membuat keputusan intelektual dengan memberikan persepsi seperti manusia dan informasi spasial visual.
Produsen robot humanoid seperti 1x Technology, Agility Robotics, Apptronik, Boston Dynamics, Fourier, Garobot, Mentee, Sanctuary AI, Robot Kesatuan, Robot Xpeng, dll. Telah mengadopsi adopsi Nvidia Platform Pengembangan Robot.
Dinamika Boston Saya sedang membangun dengan Isaac Sim dan Isaac Lab Hewan berkaki empatdan robot humanoid Jetson tol, akan meningkatkan produktivitas manusia, mengatasi kekurangan tenaga kerja, dan memprioritaskan keselamatan gudang.
Fourier Isaac Sim digunakan untuk melatih robot humanoid yang beroperasi di bidang -bidang seperti penelitian ilmiah, perawatan kesehatan, dan manufaktur.
Menggunakan Isaac Lab dan Isaac Sim, Gabott Kami telah mengembangkan set data genggaman yang cekatan untuk robot besar yang disebut dexgraspnet. Ini dapat diterapkan pada berbagai tangan robot yang cekatan. Perusahaan juga menggunakan Jetson Thor untuk kontrol waktu nyata dari tangan robot.
Field AI Model Dasar Multitasking dan Multi-Purpose yang Diaktifkan Risiko Untuk robot dapat beroperasi dengan aman di lingkungan lapangan luar menggunakan platform Isaac dan laboratorium Isaac.
Masa depan AI fisik di seluruh industri
Ketika industri global memperluas kasus penggunaan robotika mereka, tiga pendekatan komputer NVIDIA terhadap AI fisik menawarkan potensi besar untuk meningkatkan pekerjaan manusia di seluruh industri seperti manufaktur, logistik, layanan, dan perawatan kesehatan.
Mengeksplorasi Platform robot Nvidia Mulailah pelatihan, simulasi dan alat penyebaran untuk AI fisik.
AI fisik dipercepat oleh tiga komputer nvidia untuk pelatihan robot, simulasi dan inferensi