WebRTC
Pengangkutan suara pelayar
Gunakan WebRTC apabila mikrofon dan output audio perlu rendah latensi dalam produk web.
Sesuai: pembantu suara web dengan giliran yang responsif.
Bina agen suara masa nyata dengan GPT Realtime 2
Reka pembantu suara rendah latensi, terjemahan langsung, transkripsi streaming dan pengalaman suara beralat untuk pasukan produksi.
Ruang kerja bebas untuk builder yang bekerja dengan GPT Realtime 2, WebRTC, alat dan operasi suara.
Studio Suara
Penjanaan suara untuk narasi, dialog, dan transkripsi
Jana narasi, dialog, atau transkripsi dengan alat suara AI.
Suara
Suara AI
Realtime voice agent planning
GPT Realtime 2 is for teams planning low-latency voice agents with the OpenAI Realtime API
GPT Realtime 2 is an independent workspace for mapping realtime speech-to-speech agents, browser WebRTC sessions, server-side WebSocket audio, streaming transcription, live translation, tool calls, and production usage controls before a team ships a voice workflow.
Last updated:
Key takeaways
- Use WebRTC when a browser or mobile client needs responsive microphone input and audio output.
- Use WebSocket when a backend service owns audio routing, recording, telephony, or policy enforcement.
- Treat tool calls, escalation, monitoring, and cost controls as launch requirements, not afterthoughts.
Architecture fit table
| Workflow signal | Recommended setup | Why it matters |
|---|---|---|
| Browser voice assistant | WebRTC session with short-lived client access | Keeps microphone and playback latency low while avoiding long-lived secrets in the client. |
| Call center or telephony path | Server-controlled realtime audio with explicit handoff rules | Lets the backend manage routing, logs, compliance review, and human escalation. |
| Live translation or transcription | Separate session settings, transcript review, and usage budget | Keeps language handling, quality checks, and cost forecasting visible to operators. |
Primary references
Keupayaan agen suara untuk aliran kerja serius
Fokus pada keperluan pasukan: perbualan responsif, sesi terkawal, transkrip berguna dan tindakan yang bersambung ke sistem sedia ada.
Agen speech-to-speech
Perbualan semula jadi untuk sokongan, coaching, pengambilan maklumat dan operasi berpandu.
Transkripsi streaming
Tukar sesi suara kepada teks untuk semakan, carian, QA dan susulan.
Terjemahan langsung
Jadikan perbualan pelbagai bahasa boleh berjalan ketika itu juga.
Perbualan beralat
Semak rekod, cipta tiket, kemas kini sistem atau aktifkan tindakan yang diluluskan.
Kawalan sesi
Laraskan arahan, tingkah laku suara, konteks dan peraturan serahan.
Keterlihatan penggunaan
Rancang bajet mengikut panjang sesi, model, alat dan konteks.
Aliran kerja
Daripada idea suara kepada agen yang boleh dioperasikan
Model kerja yang kemas supaya sistem suara kelihatan profesional sejak paparan pertama.
1
Takrifkan agen
Tetapkan peranan, sempadan, peraturan eskalasi dan ukuran kejayaan terlebih dahulu.
2
Konfigurasi sesi realtime
Pilih suara, mod input, giliran perbualan dan strategi konteks untuk saluran sasaran.
3
Sambung alat dan data
Sambung hanya sistem yang diperlukan, dengan izin dan laluan kegagalan yang jelas.
4
Semak penggunaan dan lancarkan
Pantau kualiti transkrip, latensi, aktiviti alat dan penggunaan kredit sebelum diskalakan.
Seni bina
Corak pelaksanaan untuk suara realtime
Pilih bentuk pengangkutan dan sesi mengikut saluran: suara pelayar, audio pelayan, akses selamat dan perbualan beralat.
Lihat seni bina
Paip audio
Strim sisi pelayan
Sesuai apabila orkestrasi backend, rakaman, telefoni atau semakan pematuhan lebih penting.
Sesuai: routing panggilan, audit, keadaan pelayan dan integrasi syarikat.
Keselamatan
Akses sementara
Keluarkan rahsia klien jangka pendek dari pelayan supaya kredensial berkuasa tidak terdedah.
Sesuai: klien produksi yang perlukan permulaan sesi selamat dan polisi berpusat.
Alat
Alat dan polisi
Sambungkan function call, aturan bisnes, retrieval dan serahan manusia ke dalam perbualan.
Sesuai: sokongan, jualan, latihan, operasi dan copilot dalaman.
Direka untuk kekangan produksi sebenar
Halaman utama perlu terasa seperti platform agen suara profesional, bukan halaman sementara.
128K tetingkap konteks untuk aliran realtime yang panjang
128K
tetingkap konteks untuk aliran realtime yang panjang
WebRTC interaksi suara rendah latensi dalam pelayar
WebRTC
interaksi suara rendah latensi dalam pelayar
Tools function calling untuk tindakan dan serahan sistem
Tools
function calling untuk tindakan dan serahan sistem
Di mana agen suara realtime sesuai
Letakkan GPT Realtime 2 dalam perbualan bisnes yang jelas, bukan sekadar ciri chat umum.
Agen sokongan pelanggan
Jawab soalan rutin, kumpul konteks dan serah kepada manusia apabila perlu.
Kelayakan jualan
Tangkap keperluan, lalukan lead dan kemas kini alat jualan.
Tutor pembelajaran bahasa
Latihan pertuturan dengan pembetulan, ringkasan dan aliran pelajaran adaptif.
Pembantu terjemahan langsung
Bantu pasukan pelbagai bahasa dalam panggilan, kerja lapangan, perjalanan dan operasi.
Copilot mesyuarat dan lapangan
Tukar kemas kini lisan kepada nota, tugasan dan rekod susulan.
Pembantu operasi dalaman
Bimbing checklist, soalan polisi dan tindakan sistem tanpa tangan.
FAQ GPT Realtime 2
Jawapan ringkas untuk pasukan yang menilai agen suara realtime.