YouTube-transkripsjoner for en RAG-app i stor skala: kreditter, automatisk påfyll og budsjetter

Hvis RAG- eller KI-appen din trenger YouTube-transkripsjoner i stor skala, er det praktiske oppsettet et transkripsjons-API med betaling etter bruk og forhåndsbetalte kreditter, et automatisk påfyll slik at en lang innhentingsjobb aldri stopper opp, og et månedlig budsjett slik at en feil ikke blåser opp regningen. Denne gjennomgangen følger en utvikler gjennom det oppsettet med sum.video Transcript API.

Situasjonen

Maya bygger en forskningsassistent som svarer på spørsmål om konferanseforedrag. Indeksen hennes skal dekke omtrent 10 000 YouTube-videoer fra noen hundre kanaler, og deretter vokse med omtrent 300 nye videoer i måneden. Hun kjører innhentingen fra en liten server og vil verken passe på den eller bli overrasket av en regning.

Kravene hennes er enkle: forutsigbar kostnad, ingen manuell påfylling midt i en jobb og ryddig håndtering av videoer uten transkripsjon.

Hva hun trenger

• Ren tekst for hver video, klar til å deles opp og bygges inn.
• Tidsstempler, slik at et svar kan lenke til det nøyaktige øyeblikket i videoen.
• En kostnad hun kan anslå før hun starter.
• Et fast tak på utgiftene.

Trinn for trinn

1. Anslå kostnaden først

Én transkripsjon koster 2 kreditter, og forespørsler som ikke returnerer en transkripsjon, koster ingenting. For 10 000 videoer er det høyst 20 000 kreditter. Med pakken på 5 000 kreditter til $74.99 ($0.030 per transkripsjon) koster 10 000 transkripsjoner omtrent $300 til sammen, litt mindre hvis noen videoer mangler undertekster. De mindre pakkene koster mer per transkripsjon: $0.090 for 100 kreditter, $0.056 for 500, $0.038 for 2 000. Prissiden har de gjeldende detaljene.

Kreditter kjøpes én gang og utløper aldri, så ingen abonnementsklokke tikker mens hun bygger.

2. Test med de gratis kredittene

Den første API-nøkkelen hennes kommer med 10 gratis kreditter, altså 5 transkripsjoner. Hun bruker dem til å sjekke svaret for noen få videoer i formatet json (segmenter med offset og duration i sekunder) og i formatet text. For detaljene i forespørselen har veiledningen slik henter du YouTube-transkripsjon med API fungerende eksempler i curl, Python og JavaScript.

3. Sett opp automatisk påfyll

I API-dashbordet slår hun på automatisk påfyll. Regelen: når saldoen faller under et valgt nivå, belastes det lagrede kortet for en ny pakke. Innhentingsjobben fortsetter å kjøre hele natten uten manuell påfylling.

4. Sett budsjettene

To grenser beskytter henne:

• Et månedlig påfyllsbudsjett, som setter tak for hvor mye automatisk påfyll kan bruke i løpet av en måned.
• En månedlig kredittgrense. Når den er nådd, returnerer ytterligere forespørsler 402 budget_exceeded.

Hun slår også på e-postvarsler for lav saldo, for 80 % av månedsgrensen og for mislykkede påfyll. Varslene forteller henne om et problem mens det fortsatt er tid til å handle.

5. Respekter hastighetsgrensen

Hver nøkkel tillater 60 forespørsler i minuttet. I det tempoet tar 10 000 forespørsler omtrent 167 minutter, under tre timer med én nøkkel. Hun kjører en enkel kø som sender én forespørsel i sekundet, så hun holder seg under grensen uten topper. Hun kunne opprettet opptil 5 aktive nøkler, for eksempel én til innhenting og én til appens sanntidsoppslag, slik at en etterfylling av gamle data aldri blokkerer en brukers forespørsel.

6. Håndter videoer uten transkripsjon

API-et returnerer bare eksisterende YouTube-undertekster. Direktesendinger, private eller fjernede videoer og videoer uten undertekster returnerer 404 no_transcript. I køen hennes betyr den statusen: merk som hoppet over og gå videre, aldri prøv på nytt. Siden disse forespørslene ikke koster noe, brenner ikke en kanal full av videoer uten undertekster opp budsjettet hennes.

Løkken hennes i pseudokode:

1. Ta neste video-ID fra køen.
2. Kall API-et med format=json.
3. Ved suksess: del segmentene i biter på omtrent ett minutt, lagre hver bit med startforskyvningen og bygg den inn.
4. Ved 404 no_transcript: lagre et merke for «ingen transkripsjon».
5. Ved 402 budget_exceeded: sett køen på pause og gi deg selv beskjed.
6. Ved en serverfeil: prøv på nytt etter en pause.

7. Sjekk saldoen i kode

Før hver store batch kaller hun GET /api/v1/credits. Hvis saldoen er lavere enn batchen trenger og automatisk påfyll er slått av, nekter jobben å starte. Det er en billig beskyttelse mot en halvferdig import.

Hva hun sitter igjen med

Etter den første natten inneholder indeksen transkripsjonene til nesten alle de 10 000 videoene, og hver bit bærer sin starttid. Når en bruker stiller et spørsmål, siterer assistenten et foredrag og et tidsstempel, og lenken åpner videoen i det øyeblikket. De løpende kostnadene er små: 300 nye videoer i måneden er høyst 600 kreditter, omtrent $18 med prisen for 5 000-pakken på $0.030 per transkripsjon.

Hvis Maya abonnerte på Pro, ville hun også fått 100 bonuskreditter hver måned, som dekker en del av den veksten.

Hvor dette kommer til kort

• Ingen undertekster, ingen transkripsjon. API-et transkriberer ikke lyd. For videoer uten undertekster trenger du en annen kilde, som en tale-til-tekst-tjeneste, som du betaler for separat. Noen andre transkripsjons-API-er tilbyr en lydbasert reserve, se sammenligningen av YouTube-transkripsjons-API-er.
• Automatiske undertekster har feil. Navn og fagspråk er de vanlige ofrene. Svaret forteller om et spor er automatisk generert, så du kan vekte eller merke de bitene.
• Språket er undertekstsporets språk. Svaret oppgir det faktiske språket, så ikke anta at det samsvarer med det du ba om.
• Gjennomstrømmingen er begrenset per nøkkel. En svært stor etterfylling er et spørsmål om timer, ikke sekunder.
• Det returnerer bare transkripsjoner. Oppdeling, innbygging og gjenfinning er din jobb. Hvis du bare trenger sammendraget av én video, bruk YouTube-oppsummereren.

Kilder

• sum.video Transcript API
• sum.video-priser