Di GTC Taipei dan Computex hari ini, NVIDIA Corp. mengungkapkan beberapa keterampilan dan alat AI fisik sumber terbuka-untuk membantu pengembang robotika, kendaraan otonom, AI visual, dan kembaran digital industri. Perusahaan mengklaim bahwa mereka dapat membantu mengurangi biaya, waktu, dan kompleksitas pembuatan alur kerja AI fisik dalam skala besar.
Tersedia sebagai bagian dariPerangkat Agen NVIDIA, keterampilan baru ini akan memungkinkan agen AI mempercepat pembuatan data, simulasi, pelatihan, evaluasi, dan penerapan di belakang robot, kendaraan otonom (AV), pabrik, dan laboratorium, kata perusahaan tersebut.
“Agen AI merevolusi pengembangan perangkat lunak, dan peralihan tersebut kini terjadi pada AI fisik, yang meluas ke sistem yang akan mengubah transportasi, manufaktur, layanan kesehatan, dan robotika,” kata Jensen Huang, pendiri dan CEO NVIDIA, di GTC Taipei. “Ketika agen dapat langsung menggunakan perpustakaan, model, dan kerangka kerja NVIDIA, pengembangan AI fisik akan bergerak lebih cepat, memungkinkan pengembang untuk membangun robot, kendaraan otonom, dan sistem industri masa depan dengan kecepatan luar biasa.”
“AI fisik memerlukan data pelatihan dalam jumlah besar di lingkungan yang beragam,” kata Rev Lebaredian, wakil presiden simulasi AI fisik di NVIDIA. "Teleoperasi, simulasi, dan data berskala-internet menghasilkan model dasar dunia untuk kasus penggunaan yang sangat beragam."
NVIDIA telah menyiapkan agen tumpukan AI fisik-
NVIDIA mengatakan pihaknya mengoptimalkan seluruh tumpukan AI fisiknya untuk agen dengan mengubah perpustakaan, model, dan kerangka kerja menjadi alat-yang dapat dipanggil oleh agen. Ini termasuk:
NVIDIA Kosmos3 model dasar dunia untuk penalaran dan pembangkitan dunia fisik
NVIDIA Omniverseperpustakaan untuk simulasi dan digital twins
NVIDIA Ishakuntuk simulasi robotika dan pembelajaran robot
NVIDIA Metropolisuntuk visi AI
NVIDIA Alpamayountukmengemudi otonom
NVIDIA Jetsonplatform untuk pengembangan edge AI
“Cosmos 3 adalah model fondasi terdepan untuk AI fisik,” kata Lebaredian. “Ia memahami video dan teks serta dapat menandai hal-hal penting. Cosmos adalah simulasi yang akurat secara fisik dan mampu memprediksi apa yang terjadi selanjutnya dan menghasilkan tindakan.”
Untuk membantu menerapkan alat ini, NVIDIA meluncurkannyaketerampilan baruuntuk mengubah proses pengembangan AI fisik menjadi instruksi berulang yang dapat diikuti oleh agen pengkode. Hal ini mencakup alat apa yang harus digunakan, keluaran apa yang harus dihasilkan, dan bagaimana pengembang dapat memvalidasi hasil.
Pengembang juga dapat dengan aman membangun dan menerapkan agen otonom menggunakan keterampilan ini denganNVIDIA NemoClawcetak biru danNVIDIA OpenShellruntime, yang memberikan tata kelola privasi dan keamanan berbasis kebijakan pada perangkat keras lokal atau cloud. Agen-agen tersebut akan bekerja maksimal di Jetson dan telah menunjukkan peningkatan dalam waktu kerja, kata Lebaredian.
NVIDIA mengatakan keterampilan dan alat AI fisiknya mempercepat pengembangan agen di:
Robotika dan AI tepi:Pengembang robot dapat menggunakan keterampilan untuk mempercepat keseluruhan jalur pengembangan robotika, mulai dari menghasilkan data pelatihan persepsi dan mobilitas hingga simulasi, mengotomatiskan pelatihan navigasi, memajukan pembelajaran robot, dan menyempurnakan sistem edge berbasis Jetson untuk penerapan.
Kendaraan otonom:Bagi pengembang AV, keterampilan dapat mengarahkan agen untuk merekonstruksi data yang diambil oleh armada ke dalam lingkungan simulasi, menghasilkan skenario mengemudi fotorealistik dalam skala besar, dan menjalankan pembelajaran penguatan{0}loop tertutup untuk memperluas cakupan pelatihan dan evaluasi.
Agen AI dengan visi{0}}waktu nyata:Untuk inspeksi otomatis dan kecerdasan video, NVIDIA mengatakan keterampilan agennya dapat membantu tim menghasilkan data pelatihan sintetis,{0}}menyempurnakan model, mengotomatiskan pelabelan, dan membangun agen AI video yang menelusuri, meringkas, dan menganalisis video langsung atau rekaman.
AI Industri:Pengembang perangkat lunak industri dapat menggunakan keterampilan ini untuk mengonversi data teknik menjadi aset-desain berbantuan komputer (CAD) untuk simulasi kembar digital, mengoptimalkan adegan OpenUSD yang besar dengan lebih sedikit penyiapan manual.
Layanan Kesehatan:Sebelum menerapkan otomatisasi di lingkungan klinis, tim layanan kesehatan dapat memandu agen melalui pembuatan kembaran digital lingkungan rumah sakit, simulasi-pembuatan data nyata, dan-perangkat lunak-pengujian kebijakan loop.
Keterampilan tersebut dapat digabungkan dan diintegrasikan ke dalam sistem agen yang lebih besar, menurut NVIDIA. Hal ini memungkinkan pengembang untuk mengatur dan mengotomatiskan alur kerja yang kompleks seperti pembuatan data, simulasi, pengoptimalan, penyesuaian inferensi, evaluasi berkelanjutan, dan banyak lagi.
Pengembang robotika menggunakan tumpukan AI fisik
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI, dan Universal Robots adalah beberapa perusahaan robotika yang telah menggunakan tumpukan AI fisik siap pakai dari agen NVIDIA.
"Dengan pembaruan tumpukan di NVIDIA Isaac GR00T, alur kerja-hingga-end yang baru dapat disiapkan dalam hitungan jam versus minggu," kata Lebaredian. "'Omni-modal' artinya bekerja dengan mode berbeda - video, sensor, teks, dan suara untuk masukan dan keluaran tindakan."
Selain itu, Foxconn dan Compal menggunakan NVIDIA Isaac for Healthcare untuk mempercepat robotika rumah sakit. Compal memajukan proses pengembangan robot PolyMedX menuju platform orkestrasi-di seluruh rumah sakit, yang mengintegrasikan simulasi, AI, dan-operasi dunia nyata.
Foxconn memperluas Nurabot ke beberapa rumah sakit dan-lingkungan perawatan jangka panjang, menghadirkan robotika yang didukung AI-ke dalam perawatan pasien, serta memperkenalkan Robot Kolaborasi Perawat Scrub baru untuk membantu mengoptimalkan alur kerja di ruang operasi.
Para pemimpin industri membangun dengan teknologi NVIDIA
Mitra dan pelanggan NVIDIA di bidang manufaktur, transportasi, layanan kesehatan, dan perangkat lunak industri menggunakan perpustakaan AI fisiknya untuk memajukan pengembangan sistem otonom dan AI industri.
Saat pustaka ini{0}}siap untuk agen, pengembang dapat menggunakan keterampilan NVIDIA untuk membantu agen mengotomatiskan penyiapan, eksekusi, dan iterasi di seluruh alur kerja AI fisik yang kompleks.
Di bidang manufaktur elektronik, TSMC dan Pegatron menyempurnakan-model inspeksi visual. Pegatron dilaporkan mengurangi waktu pelatihan dan penerapan model sebesar 67% menggunakan data sintetis yang dihasilkan dari keterampilan Defect Image Generation.
Delta Electronics menghasilkan data cacat sintetis dan menggunakan keterampilan untuk menangkap kelebihan solder pada busbar logam, sehingga meningkatkan tingkat deteksi sebesar 17%. Inventec mengembangkan jalur inspeksi visual Agen Observasi dengan mengintegrasikan keterampilan Pembuatan Gambar Cacat, mengurangi upaya pengumpulan data cacat untuk pembuatan sasis laptop sebesar 30%.
Foxconn, bekerja sama dengan DeepHow, menggunakan keterampilan tersebut untuk meningkatkan efisiensi produksi dengan mendeteksi kesalahan lebih awal, sehingga meningkatkan hasil lintasan pertama sekitar 3%.
Dalam AI industri, Cadence, Dassault Systèmes, Siemens, dan Synopsys menggunakan pustaka dan keterampilan NVIDIA Omniverse untuk inspeksi data teknik, simulasi, dan kembaran digital interaktif. PTC, MetAI, dan Lightwheel memanfaatkan kerangka kerja NVIDIA Isaac Sim dan alur kerja berbasis OpenUSD-untuk mengubah data CAD menjadi aset dan lingkungan yang siap simulasi.
Sebagai bagian dari peta jalan "Autonomous Fab 2030", SK hynix mengimplementasikan digital twins semikonduktor fab menggunakan NVIDIA Omniverse. Pembuat chip ini juga berkolaborasi dengan NVIDIA dan SK Telecom untuk memvalidasi NVIDIA Agent Toolkit untuk pembuatan-AI fisik tertentu.
Pengembang-self-driving Li Auto, Afari, dan DeepRoute.ai menggunakan model NVIDIA Omniverse NuRec untuk rekonstruksi dan rendering adegan neural. Mereka telah menghasilkan lebih dari 1.000 rekonstruksi dan lebih dari 300.000 render dan simulasi per hari.
Selain itu, perusahaan AV menggunakan gudang keterampilan agen baru untuk mempercepat dan meningkatkan pengembangan sistem mengemudi otonom yang lebih aman dan mumpuni. Foxconn, VinFast, Uber, dan HUMAIN telah bergabung dengan ekosistem NVIDIA DRIVE Hyperion untuk mengembangkan dan menerapkan robotaxis SAE Level 4.
Alpamayo 2 Super telah diunduh lebih dari 500.000 kali dan dinobatkan sebagai "Teknologi Terbaik" di Computex, kata Spencer Huang, direktur produk robotika di NVIDIA.
Alat agen AI fisik kini tersedia
NVIDIA mengatakan alat dan keterampilan agen AI fisiknya tersedia melaluiGitHubDanketerampilan.shuntuk digunakan dengan agen pengkodean apa pun.
Keterampilan agen dan alat untuk pembuatan data sintetis -Rekonstruksi Saraf, Augmentasi Video, Pembuatan Gambar Cacat- juga tersedia di NVIDIA Brev sebagaiPeluncuran AI Fisik, lingkungan yang telah dikonfigurasikan sebelumnya yang menggabungkan keterampilan dan alat agen untuk pembuatan dan evaluasi data sintetis yang lebih cepat.
Microsoft,IntiWeave, DanNebiussedang mengintegrasikan keterampilan dan alat agen ini dengan layanan cloud mereka untuk memungkinkan pengembang menyederhanakan dan menskalakan pembuatan dan penerapan data sintetis.
Unitree humanoid referensi untuk NVIDIA Isaac GR00T
NVIDIA juga mengumumkan Robot Humanoid Referensi NVIDIA Isaac GR00T, sebuah desain referensi robot humanoid terbuka yang dibangun di atas NVIDIA Jetson Thor dan platform pengembangan NVIDIA Isaac GR00T. Perusahaan mengatakan hal ini akan membantu mendemokratisasi akses terhadap perangkat keras dan perangkat lunak canggih tanpa memerlukan platform berpemilik yang mahalhumanoid-tujuan umummeningkat.
NVIDIA menggabungkan-tubuh robot berukuran penuh dengan manipulasi, penginderaan, kontrol, dan komputasi AI yang canggih:
Sasis humanoid Unitree H2,berdiri dengan tinggi hampir 6 kaki (1,8 m) dan berat 150 pon (68 kg), dengan kebebasan 31 derajat untuk-pengujian skala manusia.
GandaGelombang Tajamsentuhan lima-jari tangan,memungkinkan manipulasi cekatan dengan 22 derajat kebebasan dan membawa robot ke kebebasan 75 derajat di seluruh tubuh dan tangan.
Penginderaan multi-tampilan,termasuk kamera stereo-yang dipasang di kepala dengan bidang pandang lebar (140 derajat horizontal, 102 derajat vertikal), kamera pergelangan tangan untuk manipulasi jarak dekat-dan unit pengukuran inersia untuk pelacakan gerakan.
Kontrol{0}seluruh tubuh,dengan torsi lengan hingga 120 Newton-meter, torsi kaki hingga 360 Newton-meter, muatan lengan terukur sebesar 7 kg (15,4 lb.) dan muatan puncak 15 kg (33 lb.), sehingga menghasilkan pengangkatan dan jangkauan yang lebih mumpuni.
Komputasi terpasang NVIDIA Jetson AGX Thor T5000,menampilkan GPU NVIDIA Blackwell dengan performa AI 2.070 FP4 teraflops, CPU Arm 14-inti, memori terpadu sebesar 128 GB, dan rentang daya 40 hingga 130 watt yang dapat dikonfigurasi untuk pemrosesan sensor real-time dan inferensi robot.
Konektivitasmelalui Ethernet, Wi-Fi 6, Bluetooth 5.2, USB dan serangkaian mikrofon dan speaker untuk interaksi suara.
Baterai untuk pengoperasian yang lebih lama,dengan kapasitas 15Ah, 0,972kWh dan masa pakai sekitar tiga jam.
Di-perhentian darurat jarak jauhberfungsi untuk melepaskan robot dengan cepat dengan aman.
Platform Isaac GR00T meliputi:
NVIDIA Isaac Teleopuntuk mengambil{0}}data demonstrasi robot berkualitas tinggi untuk pelatihan dan pengembangan kebijakan.
Model pondasi terbuka NVIDIA Isaac GR00Tuntuk mendukung penalaran humanoid, pembelajaran dan perilaku multitask.
NVIDIA Isaac Sim DanLaboratorium Isaacuntuk menyimulasikan, melatih, menguji, dan mengevaluasi kebijakan robot sebelum-penerapan di dunia nyata.
Middleware NVIDIA Isaac ROS yang dipercepatuntuk memindahkan kebijakan terlatih ke robot.
NVIDIA Jetson Thoruntuk menjalankan inferensi dan kontrol-waktu nyata, pada-robot.
Sistem ini dirancang bersifat modular, sehingga tim robotika dapat menggunakan platform penuh atau mengintegrasikan kemampuan yang dipilih ke dalam jalur pengembangan yang ada, membantu mereka meningkatkan pengembangan humanoid tanpa membangun kembali infrastruktur yang sama untuk setiap robot atau tugas.
Lembaga penelitian terkemuka termasuk Ai2, ETH Zurich, Stanford Robotics Center, dan Advanced Robotics and Controls Laboratory UC San Diego berencana menggunakan desain referensi ini untuk memajukan penelitian robotika humanoid.
"Untuk mencapai kemajuan menuju robot-yang dapat digunakan secara umum, para peneliti memerlukan platform yang mampu dan dapat diakses secara luas," kata Deepak Pathak, salah satu-pendiri dan CEO Skild AI. “Desain referensi memungkinkan lebih banyak peneliti berpartisipasi dalam penelitian humanoid terdepan dan berpindah dari ide ke eksperimen dengan lebih cepat. Hal ini membantu mendorong kemajuan ekosistem penelitian robotika secara keseluruhan.”