Bekerja sama dengan OpenAI, NVIDIA telah mengoptimalkan model Open Source GPT-OSS baru dari NVIDIA GPU, memberikan inferensi cepat dan cepat dari cloud ke PC. Ini baru kesimpulan Aktifkan model Agen ai Aplikasi seperti pencarian web, penelitian terperinci.
Dengan peluncuran GPT-OSS-20B dan GPT-OSS-120B, OpenAI telah meluncurkan model mutakhir untuk jutaan pengguna. Penggemar dan pengembang AI dapat menggunakan model yang dioptimalkan pada NVIDIA RTX AI PC dan workstation melalui alat dan kerangka kerja populer seperti Ollama, Llama.cpp, dan Microsoft AI Foundry Local, dan mengharapkan kinerja per 256 token di NVIDIA GeForce RTX 5090 GPU.
“Kami berharap dapat melihat Anda di masa depan,” kata Jensen Huang, pendiri dan CEO Nvidia. “Model GPT-OSS memungkinkan pengembang untuk membangun fondasi open source mutakhir di mana-mana, memperkuat kepemimpinan teknologi AS AI, semua infrastruktur komputasi AI terbesar di dunia.”
Rilis model menyoroti inferensi dari pelatihan NVIDIA, kepemimpinan AI dari cloud ke AI PC.
Buka untuk semuanya
Baik GPT-OSS-20B dan GPT-OSS-120B adalah model inferensi terbuka yang fleksibel dengan kemampuan rantai dan tingkat upaya inferensi yang dapat disesuaikan menggunakan arsitektur campuran yang populer. Model ini dirancang dan dilatih untuk mendukung fungsi seperti mengikuti instruksi dan menggunakan alat NVIDIA H100 GPU.
Model -model ini dapat mendukung panjang konteks terpanjang yang tersedia untuk inferensi lokal. Ini berarti bahwa model dapat menyimpulkan melalui masalah kontekstual. Ini sangat ideal untuk tugas-tugas seperti pencarian web, bantuan pengkodean, pemahaman dokumen, dan penelitian mendalam.
Model OpenAi Open adalah model MXFP4 pertama yang didukung oleh NVIDIA RTX. MXFP4 memungkinkan untuk kualitas model tinggi dan menawarkan kinerja yang lebih cepat dan efisien, membutuhkan lebih sedikit sumber daya dibandingkan dengan jenis presisi lainnya.
Menjalankan model openai menggunakan ollama di nvidia rtx
Pada GPU dengan setidaknya 24GB VRAM, cara termudah untuk menguji model -model ini pada PC RTX AI adalah dengan menggunakan aplikasi Ollama baru. Ollama populer di kalangan penggemar dan pengembang AI untuk kemudahan integrasi, dan antarmuka pengguna baru (UI) termasuk dukungan kotak-out untuk model berat terbuka Openai. Ollama dioptimalkan sepenuhnya untuk RTX dan sangat cocok untuk konsumen yang ingin mengalami kekuatan AI pribadi di PC atau workstation mereka.
Setelah diinstal, Ollama memungkinkan obrolan cepat dan mudah dengan model Anda. Cukup pilih model dari menu tarik-turun dan kirim pesan. Ollama dioptimalkan untuk RTX, jadi tidak ada konfigurasi atau perintah tambahan yang diperlukan untuk memastikan kinerja teratas GPU yang didukung.
Aplikasi baru Ollama mencakup fitur -fitur baru lainnya seperti dukungan PDF sederhana, file teks dalam obrolan, dan dukungan multimoda untuk model yang berlaku, memungkinkan pengguna untuk memasukkan gambar di prompt.
Pengembang juga dapat menggunakan ollama melalui antarmuka baris perintah atau kit pengembangan perangkat lunak aplikasi (SDK) untuk meningkatkan aplikasi dan alur kerja mereka.
Cara lain untuk menggunakan model OpenAI baru di RTX
Penggemar dan pengembang juga dapat mencoba model GPT-OS RTX AI PCs melalui berbagai aplikasi dan kerangka kerja lain dengan semua RTX pada GPU dengan setidaknya 16GB VRAM.
NVIDIA bekerja dengan komunitas open source di Llama.cpp dan GGML Tensor Library untuk mengoptimalkan kinerja RTX GPU. Kontribusi terbaru termasuk implementasi Grafik Cuda Untuk menambahkan algoritma untuk mengurangi overhead dan mengurangi overhead CPU. Silakan periksa Llama.cpp Github Repository Untuk memulai.
Pengembang Windows juga dapat mengakses model baru openai Microsoft Ai Foundry Localsaat ini dalam pratinjau publik. Foundry Local adalah solusi inferensi AI perangkat yang terintegrasi ke dalam alur kerja Anda melalui baris perintah, SDK, atau antarmuka pemrograman aplikasi. Foundry Local menggunakan runtime ONNX yang dioptimalkan melalui CUDA, nvidia tensort untuk rtx Segera hadir. Memulai itu mudah: Instal Foundry Local dan hubungi “Model Foundry Run GPT-OSS-20B” di terminal.
Rilis model open source ini akan meluncurkan gelombang inovasi AI berikutnya dari para penggemar dan pengembang yang ingin menambahkan inferensi pada aplikasi Windows yang dipercepat AI.
Setiap minggu, Garasi RTX AI Seri blog ini menampilkan inovasi dan konten AI yang digerakkan oleh komunitas bagi mereka yang ingin mempelajari lebih lanjut tentang NVIDIA NIM Microservices dan AI Cetak Biru, serta bangunan Agen aialur kerja kreatif, aplikasi produktivitas, dan banyak lagi.
Hubungkan ke NVIDIA AI PC ON Facebook, Instagram, Tiktok Dan X – dan Anda akan diberitahu dengan berlangganan RTX AI PC Newsletter. Bergabunglah dengan Nvidia Server Perselisihan Terhubung dengan pengembang komunitas dan penggemar AI untuk membahas apa yang mampu dilakukan RTX AI.
Ikuti NVIDIA Workstation LinkedIn Dan X.
Lihat Beri tahu saya Mengenai informasi produk perangkat lunak.