Mga transcript ng YouTube para sa isang RAG app sa malakihang saklaw: mga credit, awtomatikong top-up at mga budget

Kung kailangan ng iyong RAG o AI app ng mga transcript ng YouTube sa malakihang saklaw, ang praktikal na setup ay isang transcript API na bayad ayon sa paggamit na may prepaid na mga credit, isang awtomatikong top-up para hindi kailanman tumigil ang mahabang ingestion job, at isang buwanang budget para hindi magpalobo ng bill ang isang bug. Sinusundan ng walkthrough na ito ang isang developer sa setup na iyon gamit ang Transcript API ng sum.video.

Ang sitwasyon

Gumagawa si Maya ng research assistant na sumasagot sa mga tanong tungkol sa mga talumpati sa kumperensya. Dapat saklawin ng kanyang index ang humigit-kumulang 10,000 video sa YouTube mula sa ilang daang channel, at pagkatapos ay lumaki nang humigit-kumulang 300 bagong video kada buwan. Pinapatakbo niya ang ingestion mula sa isang maliit na server at ayaw niyang bantayan ito o magulat sa isang bill.

Malinaw ang kanyang mga kondisyon: mahuhulaang gastos, walang manu-manong pag-top-up sa kalagitnaan ng trabaho, at maayos na pag-asikaso sa mga video na walang transcript.

Ang kailangan niya

• Payak na teksto para sa bawat video, handa nang hatiin at i-embed.
• Mga timestamp, para makapag-link ang sagot sa eksaktong sandali sa video.
• Gastos na matatantiya niya bago magsimula.
• Matatag na hangganan sa paggastos.

Hakbang-hakbang

1. Tantiyahin muna ang gastos

Ang isang transcript ay nagkakahalaga ng 2 credit, at walang gastos ang mga request na hindi nagbabalik ng transcript. Para sa 10,000 video, hanggang 20,000 credit iyon. Sa pakete ng 5,000 credit sa halagang $74.99 ($0.030 bawat transcript), ang 10,000 transcript ay nagkakahalaga ng humigit-kumulang $300 kabuuan, medyo mas mababa kung may mga video na walang caption. Mas mahal bawat transcript ang mas maliliit na pakete: $0.090 sa 100 credit, $0.056 sa 500, $0.038 sa 2,000. Nasa pahina ng mga presyo ang kasalukuyang detalye.

Minsan lang binibili ang mga credit at hindi nag-e-expire, kaya walang tumatakbong orasan ng subscription habang siya ay nagtatayo.

2. Subukan gamit ang libreng mga credit

Ang una niyang API key ay may kasamang 10 libreng credit, ibig sabihin 5 transcript. Ginagamit niya ang mga ito para suriin ang sagot para sa ilang video sa format na json (mga segment na may offset at duration sa segundo) at sa format na text. Kung gusto mo ng detalye ng request, ang gabay na paano kumuha ng transcript ng YouTube gamit ang API ay may mga gumaganang halimbawa sa curl, Python at JavaScript.

3. I-set up ang awtomatikong top-up

Sa API dashboard, binubuksan niya ang awtomatikong top-up. Ang patakaran: kapag bumaba ang balanse sa napiling antas, sinisingil ang nakatabing card para sa isa pang pakete. Patuloy na tumatakbo ang ingestion job buong gabi nang walang manu-manong pag-top-up.

4. Itakda ang mga budget

Dalawang limitasyon ang nagpoprotekta sa kanya:

• Isang buwanang budget sa top-up, na naglilimita kung magkano ang magagastos ng awtomatikong top-up sa isang buwan.
• Isang buwanang limitasyon ng credit. Kapag naabot ito, ang mga susunod na request ay nagbabalik ng 402 budget_exceeded.

Binubuksan din niya ang mga alerto sa email para sa mababang balanse, para sa 80% ng buwanang limitasyon, at para sa mga bigong top-up. Ipinapaalam ng mga alerto ang problema habang may oras pa para kumilos.

5. Igalang ang limitasyon sa bilis

Ang bawat key ay pumapayag ng 60 request kada minuto. Sa bilis na iyon, ang 10,000 request ay tumatagal ng humigit-kumulang 167 minuto, wala pang tatlong oras sa iisang key. Nagpapatakbo siya ng simpleng pila na nagpapadala ng isang request kada segundo, kaya nananatili siya sa ilalim ng limitasyon nang walang biglaang pagtaas. Puwede siyang gumawa ng hanggang 5 aktibong key, halimbawa isa para sa ingestion at isa para sa mga live na paghahanap ng app, para hindi kailanman harangin ng pagpuno ng lumang data ang request ng user.

6. Asikasuhin ang mga video na walang transcript

Mga umiiral na caption lang ng YouTube ang ibinabalik ng API. Ang mga live stream, pribado o inalis na video, at mga video na walang caption ay nagbabalik ng 404 no_transcript. Sa kanyang pila, ang ibig sabihin ng status na iyon ay: markahan bilang nilaktawan at magpatuloy, huwag nang subukan ulit. Dahil walang gastos ang mga request na iyon, hindi nasusunog ng isang channel na puno ng mga video na walang caption ang kanyang budget.

Ang kanyang loop, sa pseudocode:

1. Kunin ang susunod na video ID mula sa pila.
2. Tawagin ang API gamit ang format=json.
3. Kapag nagtagumpay: hatiin ang mga segment sa mga piraso na humigit-kumulang isang minuto, itabi ang bawat piraso kasama ang panimulang offset nito at i-embed.
4. Sa 404 no_transcript: mag-imbak ng marka na "walang transcript".
5. Sa 402 budget_exceeded: ihinto ang pila at abisuhan ang sarili.
6. Sa error ng server: subukan ulit pagkatapos ng pagkaantala.

7. Suriin ang balanse sa code

Bago ang bawat malaking batch, tinatawag niya ang GET /api/v1/credits. Kung mas mababa ang balanse kaysa sa kailangan ng batch at naka-off ang awtomatikong top-up, tumatanggi ang job na magsimula. Murang proteksyon ito laban sa import na kalahating natapos.

Ang makukuha niya sa huli

Pagkatapos ng unang gabi, hawak ng index ang mga transcript ng halos lahat ng 10,000 video, bawat piraso ay may dalang panimulang oras. Kapag nagtanong ang isang user, nagsisipi ang assistant ng isang talumpati at timestamp, at binubuksan ng link ang video sa sandaling iyon. Maliit ang patuloy na gastos: ang 300 bagong video kada buwan ay hanggang 600 credit, humigit-kumulang $18 sa singil ng pakete ng 5,000 na $0.030 bawat transcript.

Kung mag-subscribe si Maya sa Pro, makakakuha rin siya ng 100 bonus credit kada buwan, na sumasaklaw sa bahagi ng paglaking iyon.

Kung saan ito kulang

• Walang caption, walang transcript. Hindi nagta-transcribe ng audio ang API. Para sa mga video na walang caption, kailangan mo ng ibang pinagmulan, gaya ng serbisyong speech-to-text, na hiwalay mong babayaran. May ibang mga transcript API na nag-aalok ng audio fallback, tingnan ang paghahambing ng mga transcript API ng YouTube.
• May mga pagkakamali ang awtomatikong caption. Kadalasang apektado ang mga pangalan at jargon. Sinasabi ng sagot kung awtomatikong nabuo ang isang track, kaya maaari mong timbangin o markahan ang mga pirasong iyon.
• Ang wika ay ang wika ng caption track. Iniuulat ng sagot ang totoong wika, kaya huwag ipagpalagay na tugma ito sa hiniling mo.
• Limitado ang throughput kada key. Ang napakalaking pagpuno ng lumang data ay usapin ng mga oras, hindi segundo.
• Mga transcript lang ang ibinabalik nito. Sa iyo ang paghahati, pag-embed at pagkuha. Kung buod lang ng isang video ang kailangan mo, gamitin ang tagabuod ng YouTube.

Mga pinagmulan

• Transcript API ng sum.video
• Mga presyo ng sum.video