Transkripti s YouTubea za RAG aplikaciju u velikom opsegu: krediti, automatsko nadopunjavanje i proračuni

Ako tvojoj RAG ili AI aplikaciji trebaju transkripti s YouTubea u velikom opsegu, praktično je rješenje API za transkripte s plaćanjem po uporabi i unaprijed plaćenim kreditima, automatsko nadopunjavanje da dugi zadatak učitavanja nikad ne zastane te mjesečni proračun da greška ne napuhne račun. Ovaj prikaz prati programerku kroz to rješenje s API-jem za transkripte sum.videa.

Situacija

Maya gradi istraživačkog asistenta koji odgovara na pitanja o konferencijskim govorima. Njezin indeks treba pokriti oko 10 000 videa s YouTubea s nekoliko stotina kanala, a zatim rasti za otprilike 300 novih videa mjesečno. Učitavanje pokreće s malog poslužitelja i ne želi ga čuvati niti biti iznenađena računom.

Njezini su uvjeti jednostavni: predvidljiv trošak, bez ručnog nadopunjavanja usred zadatka i uredno rukovanje videima bez transkripta.

Što joj treba

• Običan tekst za svaki video, spreman za podjelu i ugrađivanje.
• Vremenske oznake da odgovor može povezivati na točan trenutak u videu.
• Trošak koji može procijeniti prije početka.
• Čvrsta gornja granica potrošnje.

Korak po korak

1. Prvo procijeni trošak

Jedan transkript košta 2 kredita, a zahtjevi koji ne vrate transkript ne koštaju ništa. Za 10 000 videa to je najviše 20 000 kredita. S paketom od 5 000 kredita po $74.99 ($0.030 po transkriptu), 10 000 transkripata košta ukupno oko $300, malo manje ako neki videi nemaju titlove. Manji paketi koštaju više po transkriptu: $0.090 uz 100 kredita, $0.056 uz 500, $0.038 uz 2 000. Stranica s cijenama ima aktualne pojedinosti.

Krediti se kupuju jednom i nikad ne istječu, pa dok gradi ne otkucava nikakav sat pretplate.

2. Isprobaj s besplatnim kreditima

Njezin prvi API ključ dolazi s 10 besplatnih kredita, to jest 5 transkripata. Njima provjerava odgovor za nekoliko videa u formatu json (segmenti s offset i duration u sekundama) i u formatu text. Za pojedinosti zahtjeva, vodič kako dobiti transkript s YouTubea pomoću API-ja ima radne primjere u curlu, Pythonu i JavaScriptu.

3. Postavi automatsko nadopunjavanje

Na API nadzornoj ploči uključuje automatsko nadopunjavanje. Pravilo: kad saldo padne ispod odabrane razine, spremljena kartica tereti se za još jedan paket. Zadatak učitavanja radi cijelu noć bez ručnog nadopunjavanja.

4. Postavi proračune

Štite je dva ograničenja:

• Mjesečni proračun nadopunjavanja, koji ograničava koliko automatsko nadopunjavanje smije potrošiti u mjesecu.
• Mjesečno ograničenje kredita. Kad se dosegne, daljnji zahtjevi vraćaju 402 budget_exceeded.

Uključuje i obavijesti e-poštom za nizak saldo, za 80 % mjesečnog ograničenja i za neuspjela nadopunjavanja. Obavijesti je upozoravaju na problem dok još ima vremena za djelovanje.

5. Poštuj ograničenje brzine

Svaki ključ dopušta 60 zahtjeva u minuti. Tim tempom 10 000 zahtjeva traje oko 167 minuta, manje od tri sata s jednim ključem. Pokreće jednostavan red koji šalje jedan zahtjev u sekundi, pa ostaje ispod ograničenja bez naglih skokova. Mogla bi izraditi do 5 aktivnih ključeva, na primjer jedan za učitavanje i jedan za pretraživanja aplikacije uživo, da dopunjavanje starih podataka nikad ne blokira korisnikov zahtjev.

6. Rukuj videima bez transkripta

API vraća samo postojeće YouTube titlove. Prijenosi uživo, privatni ili uklonjeni videi te videi bez titlova vraćaju 404 no_transcript. U njezinu redu taj status znači: označi kao preskočeno i nastavi, nikad ne pokušavaj ponovno. Budući da ti zahtjevi ne koštaju ništa, kanal pun videa bez titlova ne spaljuje njezin proračun.

Njezina petlja, u pseudokodu:

1. Uzmi sljedeći ID videa iz reda.
2. Pozovi API s format=json.
3. Ako uspije: podijeli segmente u komade od otprilike minutu, spremi svaki komad s njegovim početnim pomakom i ugradi ga.
4. Kod 404 no_transcript: spremi oznaku "nema transkripta".
5. Kod 402 budget_exceeded: pauziraj red i obavijesti sebe.
6. Kod pogreške poslužitelja: pokušaj ponovno nakon stanke.

7. Provjeri saldo u kodu

Prije svake velike serije poziva GET /api/v1/credits. Ako je saldo manji od onoga što serija treba, a automatsko nadopunjavanje je isključeno, zadatak odbija započeti. To je jeftina zaštita od napola dovršenog uvoza.

S čime završava

Nakon prve noći indeks sadrži transkripte gotovo svih 10 000 videa, a svaki komad nosi svoje vrijeme početka. Kad korisnik postavi pitanje, asistent citira govor i vremensku oznaku, a poveznica otvara video u tom trenutku. Tekući je trošak malen: 300 novih videa mjesečno je najviše 600 kredita, oko $18 po cijeni paketa od 5 000 od $0.030 po transkriptu.

Kad bi Maya imala Pro, dobivala bi i 100 bonus kredita svakog mjeseca, što pokriva dio tog rasta.

Gdje ovo zakaže

• Bez titlova nema transkripta. API ne transkribira zvuk. Za videe bez titlova trebaš drugi izvor, poput usluge pretvorbe govora u tekst, koju plaćaš zasebno. Neki drugi API-ji za transkripte nude zvučnu zamjenu, pogledaj usporedbu API-ja za YouTube transkripte.
• Automatski titlovi imaju pogreške. Imena i žargon obično najviše stradaju. Odgovor kaže je li zapis automatski generiran, pa takve komade možeš vagati ili označiti.
• Jezik je jezik zapisa titlova. Odgovor navodi pravi jezik, pa ne pretpostavljaj da se podudara s traženim.
• Propusnost je ograničena po ključu. Vrlo veliko dopunjavanje starih podataka stvar je sati, a ne sekundi.
• Vraća samo transkripte. Podjela, ugrađivanje i dohvaćanje tvoj su posao. Ako trebaš samo sažetak jednog videa, koristi YouTube sažimač.

Izvori

• API za transkripte sum.videa
• Cijene sum.videa