Transkrip YouTube untuk aplikasi RAG pada skala besar: kredit, tambah nilai automatik dan bajet

Jika aplikasi RAG atau AI anda memerlukan transkrip YouTube pada skala besar, persediaan yang praktikal ialah API transkrip bayar mengikut penggunaan dengan kredit prabayar, tambah nilai automatik supaya kerja kemasukan yang panjang tidak pernah terhenti, dan bajet bulanan supaya pepijat tidak menaikkan bil. Panduan ini mengikuti seorang pembangun melalui persediaan itu dengan Transcript API sum.video.

Situasinya

Maya sedang membina pembantu penyelidikan yang menjawab soalan tentang ucapan persidangan. Indeksnya perlu meliputi kira-kira 10,000 video YouTube daripada beberapa ratus saluran, kemudian bertambah dengan kira-kira 300 video baharu sebulan. Dia menjalankan kemasukan daripada pelayan kecil dan tidak mahu menjaganya atau terkejut dengan bil.

Syaratnya jelas: kos yang boleh dijangka, tiada tambah nilai manual di tengah-tengah tugasan, dan pengendalian video tanpa transkrip yang kemas.

Apa yang dia perlukan

• Teks biasa untuk setiap video, sedia untuk dipecahkan dan dibenamkan.
• Cap masa, supaya jawapan boleh memaut ke detik tepat dalam video.
• Kos yang boleh dianggarkan sebelum bermula.
• Siling tegas pada perbelanjaan.

Langkah demi langkah

1. Anggarkan kos dahulu

Satu transkrip berharga 2 kredit, dan permintaan yang tidak mengembalikan transkrip tidak berkos. Untuk 10,000 video itu paling banyak 20,000 kredit. Dengan pek 5,000 kredit pada harga $74.99 ($0.030 setiap transkrip), 10,000 transkrip berharga kira-kira $300 keseluruhannya, sedikit kurang jika sesetengah video tiada sari kata. Pek yang lebih kecil lebih mahal bagi setiap transkrip: $0.090 untuk 100 kredit, $0.056 untuk 500, $0.038 untuk 2,000. Halaman harga mempunyai butiran semasa.

Kredit dibeli sekali dan tidak pernah tamat tempoh, jadi tiada jam langganan yang berjalan semasa dia membina.

2. Uji dengan kredit percuma

Kunci API pertamanya datang dengan 10 kredit percuma, iaitu 5 transkrip. Dia menggunakannya untuk menyemak respons bagi beberapa video dalam format json (segmen dengan offset dan duration dalam saat) dan dalam format text. Untuk butiran permintaan, panduan cara mendapatkan transkrip YouTube dengan API mempunyai contoh curl, Python dan JavaScript yang berfungsi.

3. Sediakan tambah nilai automatik

Di papan pemuka API dia menghidupkan tambah nilai automatik. Peraturannya: apabila baki jatuh di bawah paras yang dipilih, kad yang disimpan dicaj untuk satu lagi pek. Kerja kemasukan terus berjalan sepanjang malam tanpa tambah nilai manual.

4. Tetapkan bajet

Dua had melindunginya:

• Bajet tambah nilai bulanan, yang menghadkan berapa banyak tambah nilai automatik boleh dibelanjakan dalam sebulan.
• Had kredit bulanan. Apabila dicapai, permintaan seterusnya mengembalikan 402 budget_exceeded.

Dia juga menghidupkan amaran e-mel untuk baki rendah, untuk 80% daripada had bulanan dan untuk tambah nilai yang gagal. Amaran memberitahunya tentang masalah ketika masih ada masa untuk bertindak.

5. Hormati had kadar

Setiap kunci membenarkan 60 permintaan seminit. Pada kadar itu, 10,000 permintaan mengambil masa kira-kira 167 minit, kurang daripada tiga jam dengan satu kunci. Dia menjalankan baris gilir ringkas yang menghantar satu permintaan sesaat, jadi kekal di bawah had tanpa lonjakan. Dia boleh mencipta sehingga 5 kunci aktif, contohnya satu untuk kemasukan dan satu untuk carian langsung aplikasi, supaya pengisian data lama tidak pernah menyekat permintaan pengguna.

6. Tangani video tanpa transkrip

API hanya mengembalikan sari kata YouTube sedia ada. Siaran langsung, video peribadi atau dibuang dan video tanpa sari kata mengembalikan 404 no_transcript. Dalam baris gilirnya status itu bermaksud: tandakan sebagai dilangkau dan teruskan, jangan sekali-kali cuba semula. Memandangkan permintaan itu tidak berkos, saluran yang penuh dengan video tanpa sari kata tidak membakar bajetnya.

Gelungnya, dalam pseudokod:

1. Ambil ID video seterusnya daripada baris gilir.
2. Panggil API dengan format=json.
3. Jika berjaya: pecahkan segmen kepada bahagian kira-kira seminit, simpan setiap bahagian dengan ofset permulaannya dan benamkan.
4. Pada 404 no_transcript: simpan penanda "tiada transkrip".
5. Pada 402 budget_exceeded: jeda baris gilir dan maklumkan diri sendiri.
6. Pada ralat pelayan: cuba semula selepas kelewatan.

7. Semak baki dalam kod

Sebelum setiap kelompok besar dia memanggil GET /api/v1/credits. Jika baki lebih rendah daripada keperluan kelompok dan tambah nilai automatik dimatikan, tugasan enggan bermula. Ia perlindungan murah terhadap import yang separuh siap.

Apa yang dia ada pada akhirnya

Selepas malam pertama, indeks memegang transkrip hampir semua 10,000 video, dengan setiap bahagian membawa masa permulaannya. Apabila pengguna bertanya soalan, pembantu memetik satu ucapan dan cap masa, dan pautan membuka video pada detik itu. Kos berterusan kecil: 300 video baharu sebulan ialah paling banyak 600 kredit, kira-kira $18 pada kadar pek 5,000 iaitu $0.030 setiap transkrip.

Jika Maya melanggan Pro, dia juga akan mendapat 100 kredit bonus setiap bulan, yang menampung sebahagian pertumbuhan itu.

Di mana ia kurang

• Tiada sari kata, tiada transkrip. API tidak mentranskripsi audio. Untuk video tanpa sari kata anda memerlukan sumber lain, seperti perkhidmatan ucapan-ke-teks, yang anda bayar secara berasingan. Beberapa API transkrip lain menawarkan sandaran audio, lihat perbandingan API transkrip YouTube.
• Sari kata automatik mempunyai kesilapan. Nama dan jargon biasanya paling terkesan. Respons memberitahu sama ada trek dijana secara automatik, jadi anda boleh memberi pemberat atau menandakan bahagian tersebut.
• Bahasa ialah bahasa trek sari kata. Respons melaporkan bahasa sebenar, jadi jangan menganggap ia sepadan dengan yang anda minta.
• Daya pemprosesan dihadkan bagi setiap kunci. Pengisian data lama yang sangat besar ialah soal jam, bukan saat.
• Ia hanya mengembalikan transkrip. Pemecahan, pembenaman dan pengambilan semula ialah kerja anda. Jika anda hanya memerlukan ringkasan satu video, gunakan peringkas YouTube.

Sumber

• Transcript API sum.video
• Harga sum.video