Prepisi z YouTuba za aplikacijo RAG v velikem obsegu: krediti, samodejno dopolnjevanje in proračuni

Če tvoja aplikacija RAG ali umetne inteligence potrebuje prepise z YouTuba v velikem obsegu, je praktična rešitev API za prepise s plačilom po uporabi in vnaprej plačanimi krediti, samodejno dopolnjevanje, da se dolg uvoz nikoli ne ustavi, in mesečni proračun, da napaka ne napihne računa. Ta primer spremlja razvijalko pri tej nastavitvi z API-jem za prepise sum.video.

Situacija

Maya gradi raziskovalnega pomočnika, ki odgovarja na vprašanja o konferenčnih govorih. Njen indeks naj bi pokrival približno 10,000 videov z YouTuba z nekaj sto kanalov, nato pa naj bi vsak mesec zrasel za približno 300 novih videov. Uvoz požene z majhnega strežnika in ga noče paziti ali biti presenečena nad računom.

Njeni pogoji so preprosti: predvidljivi stroški, brez ročnega dopolnjevanja sredi opravila in čisto ravnanje z videi brez prepisa.

Kaj potrebuje

• Navadno besedilo vsakega videa, pripravljeno za razdelitev na odseke in vdelavo.
• Časovne oznake, da lahko odgovor poveže na točen trenutek v videu.
• Stroške, ki jih lahko oceni, preden začne.
• Trdo zgornjo mejo porabe.

Korak za korakom

1. Najprej oceni stroške

En prepis stane 2 kredita, zahteve, ki ne vrnejo prepisa, pa ne stanejo nič. Za 10,000 videov je to največ 20,000 kreditov. S paketom 5,000 kreditov za $74.99 ($0.030 na prepis) stane 10,000 prepisov skupaj približno $300, nekoliko manj, če nekateri videi nimajo podnapisov. Manjši paketi stanejo več na prepis: $0.090 za 100 kreditov, $0.056 za 500, $0.038 za 2,000. Stran s cenami ima aktualne podrobnosti.

Krediti se kupijo enkrat in nikoli ne potečejo, zato med gradnjo ne teče nobena ura naročnine.

2. Preizkusi z brezplačnimi krediti

Njen prvi API-ključ pride z 10 brezplačnimi krediti, to je 5 prepisov. Z njimi preveri odgovor za nekaj videov v formatu json (odseki z offset in duration v sekundah) in v formatu text. Če želiš podrobnosti zahteve, ima vodnik kako pridobiti prepis videa na YouTubu z API-jem delujoče primere v curlu, Pythonu in JavaScriptu.

3. Nastavi samodejno dopolnjevanje

Na nadzorni plošči API vklopi samodejno dopolnjevanje. Pravilo: ko stanje pade pod izbrano raven, se z shranjene kartice poračuna še en paket. Uvoz teče čez noč brez ročnega dopolnjevanja.

4. Nastavi proračune

Zaščitita jo dve omejitvi:

• Mesečni proračun za dopolnjevanje, ki omeji, koliko lahko samodejno dopolnjevanje porabi v mesecu.
• Mesečna omejitev kreditov. Ko je dosežena, nadaljnje zahteve vrnejo 402 budget_exceeded.

Vklopi tudi e-poštna obvestila za nizko stanje, za 80 % mesečne omejitve in za neuspela dopolnjevanja. Obvestila ji povedo za težavo, dokler je še čas za ukrepanje.

5. Spoštuj omejitev hitrosti

Vsak ključ dovoljuje 60 zahtev na minuto. S to hitrostjo 10,000 zahtev traja približno 167 minut, manj kot tri ure z enim ključem. Požene preprosto vrsto, ki pošlje eno zahtevo na sekundo, tako da ostane pod omejitvijo brez sunkov. Ustvari lahko do 5 aktivnih ključev, na primer enega za uvoz in enega za sprotna iskanja aplikacije, da zapolnitev zgodovine nikoli ne blokira uporabnikove zahteve.

6. Obravnavaj videe brez prepisa

API vrne samo obstoječe podnapise z YouTuba. Neposredni prenosi, zasebni ali odstranjeni videi in videi brez podnapisov vrnejo 404 no_transcript. V njeni vrsti ta status pomeni označi kot preskočeno in nadaljuj, nikoli ne ponavljaj. Ker te zahteve ne stanejo nič, kanal, poln videov brez podnapisov, ne požre njenega proračuna.

Njena zanka v psevdokodi:

1. Vzemi naslednji ID videa iz vrste.
2. Pokliči API s format=json.
3. Ob uspehu: razdeli odseke na bloke po približno eno minuto, vsak shrani z njegovim začetnim offsetom in ga vdelaj.
4. Ob 404 no_transcript: shrani oznako »brez prepisa«.
5. Ob 402 budget_exceeded: ustavi vrsto in opozori sebe.
6. Ob napaki strežnika: poskusi znova po zamiku.

7. Preveri stanje v kodi

Pred vsakim velikim paketom pokliče GET /api/v1/credits. Če je stanje nižje, kot ga paket potrebuje, in je samodejno dopolnjevanje izklopljeno, se opravilo noče začeti. To je poceni varovalka pred napol končanim uvozom.

Kaj dobi na koncu

Po prvi noči indeks vsebuje prepise skoraj vseh 10,000 videov, vsak blok z začetnim časom. Ko uporabnik zastavi vprašanje, pomočnik navede govor in časovno oznako, povezava pa odpre video v tem trenutku. Tekoči stroški so majhni: 300 novih videov na mesec je največ 600 kreditov, približno $18 po ceni paketa 5,000 kreditov, $0.030 na prepis.

Če bi Maya imela Pro, bi dobila tudi 100 bonus kreditov na mesec, kar pokrije del te rasti.

Kje to odpove

• Brez podnapisov ni prepisa. API zvoka ne prepisuje. Za videe brez podnapisov potrebuješ drug vir, na primer storitev za pretvorbo govora v besedilo, ki jo plačaš posebej. Nekateri drugi API-ji za prepise ponujajo zvočno nadomestilo, glej primerjavo API-jev za prepise z YouTuba.
• Samodejni podnapisi imajo napake. Običajne žrtve so imena in žargon. Odgovor pove, ali je sled samodejna, zato lahko takim blokom daš manjšo težo ali jih označiš.
• Jezik je jezik sledi podnapisov. Odgovor sporoča dejanski jezik, zato ne predpostavljaj, da se ujema z zahtevanim.
• Prepustnost je omejena na ključ. Zelo velika zapolnitev zgodovine traja ure, ne sekunde.
• Vrne samo prepise. Delitev na bloke, vdelava in iskanje so tvoje delo. Če potrebuješ samo povzetek enega videa, uporabi povzemalnik za YouTube.

Viri

• API za prepise sum.video
• Cene sum.video