YouTube-transkripsies vir 'n RAG-toepassing op groot skaal: krediete, outomatiese aanvulling en begrotings

As jou RAG- of KI-toepassing YouTube-transkripsies op groot skaal nodig het, is die praktiese opstelling 'n transkripsie-API met betaling volgens gebruik en vooruitbetaalde krediete, 'n outomatiese aanvulling sodat 'n lang inneemtaak nooit vashaak nie, en 'n maandelikse begroting sodat 'n fout nie 'n rekening opjaag nie. Hierdie deurloop volg 'n ontwikkelaar deur daardie opstelling met die sum.video Transcript API.

Die situasie

Maya bou 'n navorsingsassistent wat vrae oor konferensiegesprekke beantwoord. Haar indeks moet sowat 10 000 YouTube-video's van 'n paar honderd kanale dek en dan met sowat 300 nuwe video's per maand groei. Sy laat die inneem vanaf 'n klein bediener loop en wil nie daarby gaan sit of deur 'n rekening verras word nie.

Haar vereistes is duidelik: voorspelbare koste, geen handmatige aanvulling middel in 'n taak nie, en netjiese hantering van video's sonder transkripsie.

Wat sy nodig het

• Gewone teks vir elke video, gereed om te verdeel en in te bed.
• Tydstempels, sodat 'n antwoord na die presiese oomblik in die video kan skakel.
• 'n Koste wat sy vooraf kan skat.
• 'n Harde bogrens op uitgawes.

Stap vir stap

1. Skat eers die koste

Een transkripsie kos 2 krediete, en versoeke wat geen transkripsie teruggee nie, kos niks. Vir 10 000 video's is dit hoogstens 20 000 krediete. Met die 5 000-krediet-pakket teen $74.99 ($0.030 per transkripsie) kos 10 000 transkripsies altesaam sowat $300, 'n bietjie minder as sommige video's geen onderskrifte het nie. Die kleiner pakkette kos meer per transkripsie: $0.090 vir 100 krediete, $0.056 vir 500, $0.038 vir 2 000. Die pryse-bladsy het die huidige besonderhede.

Krediete word een keer gekoop en verval nooit, so daar tik geen intekeningklok terwyl sy bou nie.

2. Toets met die gratis krediete

Haar eerste API-sleutel kom met 10 gratis krediete, dit is 5 transkripsies. Sy gebruik dit om die antwoord vir 'n paar video's in json-formaat (segmente met offset en duration in sekondes) en in text-formaat na te gaan. Vir die versoekbesonderhede het die gids hoe om 'n YouTube-transkripsie met 'n API te kry werkende voorbeelde in curl, Python en JavaScript.

3. Stel outomatiese aanvulling in

Op die API-paneelbord skakel sy outomatiese aanvulling aan. Die reël: wanneer die saldo onder 'n gekose vlak daal, word die gestoorde kaart vir nog 'n pakket gehef. Die inneemtaak hou die hele nag aan loop sonder handmatige aanvulling.

4. Stel die begrotings

Twee limiete beskerm haar:

• 'n Maandelikse aanvullingsbegroting, wat beperk hoeveel outomatiese aanvulling in 'n maand mag bestee.
• 'n Maandelikse kredietlimiet. Wanneer dit bereik word, gee verdere versoeke 402 budget_exceeded terug.

Sy skakel ook e-poskennisgewings aan vir lae saldo, vir 80% van die maandelikse limiet en vir mislukte aanvullings. Die kennisgewings sê vir haar van 'n probleem terwyl daar nog tyd is om op te tree.

5. Respekteer die tempolimiet

Elke sleutel laat 60 versoeke per minuut toe. Teen daardie pas neem 10 000 versoeke sowat 167 minute, minder as drie uur met een sleutel. Sy laat 'n eenvoudige tou loop wat een versoek per sekonde stuur, sodat sy sonder skerpte onder die limiet bly. Sy kan tot 5 aktiewe sleutels skep, byvoorbeeld een vir inneem en een vir die toepassing se regstreekse opsoeke, sodat 'n agterstandvulling nooit 'n gebruiker se versoek blokkeer nie.

6. Hanteer die video's sonder transkripsie

Die API gee net bestaande YouTube-onderskrifte terug. Regstreekse strome, private of verwyderde video's en video's sonder onderskrifte gee 404 no_transcript terug. In haar tou beteken daardie status: merk as oorgeslaan en gaan voort, moet nooit weer probeer nie. Omdat daardie versoeke niks kos nie, verbrand 'n kanaal vol video's sonder onderskrifte nie haar begroting nie.

Haar lus, in pseudokode:

1. Neem die volgende video-ID uit die tou.
2. Roep die API met format=json.
3. By sukses: verdeel die segmente in stukke van sowat 'n minuut, stoor elke stuk met sy beginverskuiwing en bed dit in.
4. By 404 no_transcript: stoor 'n "geen transkripsie"-merker.
5. By 402 budget_exceeded: onderbreek die tou en lig jouself in.
6. By 'n bedienerfout: probeer weer ná 'n vertraging.

7. Gaan die saldo in kode na

Voor elke groot bondel roep sy GET /api/v1/credits. As die saldo laer is as wat die bondel nodig het en outomatiese aanvulling af is, weier die taak om te begin. Dit is 'n goedkoop beskerming teen 'n halfklaar invoer.

Wat sy aan die einde het

Ná die eerste nag bevat die indeks die transkripsies van byna al 10 000 video's, elke stuk met sy begintyd. Wanneer 'n gebruiker 'n vraag vra, haal die assistent 'n gesprek en 'n tydstempel aan, en die skakel maak die video op daardie oomblik oop. Die deurlopende koste is klein: 300 nuwe video's per maand is hoogstens 600 krediete, sowat $18 teen die 5 000-pakket se tarief van $0.030 per transkripsie.

As Maya op Pro sou inteken, sou sy ook elke maand 100 bonuskrediete kry, wat 'n deel van daardie groei dek.

Waar dit tekortskiet

• Geen onderskrifte, geen transkripsie. Die API transkribeer nie oudio nie. Vir video's sonder onderskrifte het jy 'n ander bron nodig, soos 'n spraak-na-teks-diens, wat jy apart betaal. Sommige ander transkripsie-API's bied 'n oudio-terugval, sien die vergelyking van YouTube-transkripsie-API's.
• Outomatiese onderskrifte het foute. Name en vakjargon ly gewoonlik die meeste. Die antwoord sê of 'n spoor outomaties gegenereer is, so jy kan sulke stukke weeg of merk.
• Die taal is die onderskrifspoor se taal. Die antwoord meld die ware taal, so moenie aanneem dit stem ooreen met wat jy gevra het nie.
• Deurset is per sleutel beperk. 'n Baie groot agterstandvulling is 'n kwessie van ure, nie sekondes nie.
• Dit gee net transkripsies terug. Verdeling, inbedding en herwinning is jou taak. As jy net die opsomming van een video nodig het, gebruik die YouTube-opsommer.

Bronne

• sum.video Transcript API
• sum.video-pryse