YouTube-transskriptioner til en RAG-app i stor skala: kreditter, automatisk optankning og budgetter

Hvis din RAG- eller AI-app har brug for YouTube-transskriptioner i stor skala, er den praktiske opsætning en transskriptions-API med betaling efter forbrug og forudbetalte kreditter, en automatisk optankning, så et langt indlæsningsjob aldrig går i stå, og et månedligt budget, så en fejl ikke kan blæse regningen op. Denne gennemgang følger en udvikler gennem den opsætning med sum.video Transcript API.

Situationen

Maya bygger en researchassistent, der svarer på spørgsmål om konferenceforedrag. Hendes indeks skal dække omkring 10.000 YouTube-videoer fra et par hundrede kanaler og derefter vokse med cirka 300 nye videoer om måneden. Hun kører indlæsningen fra en lille server og vil hverken sidde og passe på den eller blive overrasket af en regning.

Hendes krav er enkle: forudsigelig pris, ingen manuel optankning midt i et job og pæn håndtering af videoer uden transskription.

Hvad hun har brug for

• Almindelig tekst til hver video, klar til at blive opdelt og embeddet.
• Tidsstempler, så et svar kan linke til det præcise øjeblik i videoen.
• En pris, hun kan skønne over, før hun starter.
• Et fast loft over udgifterne.

Trin for trin

1. Skøn prisen først

Én transskription koster 2 kreditter, og forespørgsler, der ikke returnerer en transskription, koster ingenting. For 10.000 videoer er det højst 20.000 kreditter. Med pakken på 5.000 kreditter til $74.99 ($0.030 pr. transskription) koster 10.000 transskriptioner omkring $300 i alt, lidt mindre, hvis nogle videoer ikke har undertekster. De mindre pakker koster mere pr. transskription: $0.090 ved 100 kreditter, $0.056 ved 500, $0.038 ved 2.000. Prissiden har de aktuelle detaljer.

Kreditter købes én gang og udløber aldrig, så der løber ikke noget abonnementsur, mens hun bygger.

2. Test med de gratis kreditter

Hendes første API-nøgle leveres med 10 gratis kreditter, altså 5 transskriptioner. Dem bruger hun til at tjekke svaret for nogle få videoer i formatet json (segmenter med offset og duration i sekunder) og i formatet text. Hvis du vil have detaljerne i forespørgslen, har guiden sådan henter du en YouTube-transskription med en API fungerende eksempler i curl, Python og JavaScript.

3. Sæt automatisk optankning op

I API-dashboardet slår hun automatisk optankning til. Reglen: når saldoen falder under et valgt niveau, trækkes det gemte kort for endnu en pakke. Indlæsningsjobbet kører videre hele natten uden manuel optankning.

4. Sæt budgetterne

To grænser beskytter hende:

• Et månedligt optankningsbudget, der sætter loft over, hvor meget automatisk optankning må bruge på en måned.
• En månedlig kreditgrænse. Når den er nået, returnerer yderligere forespørgsler 402 budget_exceeded.

Hun slår også e-mailadvarsler til ved lav saldo, ved 80 % af den månedlige grænse og ved mislykkede optankninger. Advarslerne fortæller hende om et problem, mens der stadig er tid til at handle.

5. Respektér hastighedsgrænsen

Hver nøgle tillader 60 forespørgsler i minuttet. I det tempo tager 10.000 forespørgsler omkring 167 minutter, under tre timer med én nøgle. Hun kører en enkel kø, der sender én forespørgsel i sekundet, så hun holder sig under grænsen uden spidsbelastninger. Hun kunne oprette op til 5 aktive nøgler, for eksempel én til indlæsning og én til appens live-opslag, så en efterindlæsning aldrig blokerer en brugers forespørgsel.

6. Håndtér videoer uden transskription

API'en returnerer kun eksisterende YouTube-undertekster. Livestreams, private eller fjernede videoer og videoer uden undertekster returnerer 404 no_transcript. I hendes kø betyder den status: markér som sprunget over og gå videre, prøv aldrig igen. Fordi de forespørgsler ikke koster noget, brænder en kanal fuld af videoer uden undertekster ikke hendes budget af.

Hendes løkke i pseudokode:

1. Tag det næste video-ID fra køen.
2. Kald API'en med format=json.
3. Ved succes: del segmenterne i stykker på cirka et minut, gem hvert stykke med dets startforskydning, og embed det.
4. Ved 404 no_transcript: gem et mærke for "ingen transskription".
5. Ved 402 budget_exceeded: sæt køen på pause, og giv dig selv besked.
6. Ved en serverfejl: prøv igen efter en pause.

7. Tjek saldoen i kode

Før hvert stort parti kalder hun GET /api/v1/credits. Hvis saldoen er lavere, end partiet har brug for, og automatisk optankning er slået fra, nægter jobbet at starte. Det er en billig beskyttelse mod en halvfærdig import.

Hvad hun ender med

Efter den første nat indeholder indekset transskriptionerne til næsten alle 10.000 videoer, hvert stykke med sin starttid. Når en bruger stiller et spørgsmål, citerer assistenten et foredrag og et tidsstempel, og linket åbner videoen i det øjeblik. De løbende omkostninger er små: 300 nye videoer om måneden er højst 600 kreditter, cirka $18 til pakken på 5.000's takst på $0.030 pr. transskription.

Hvis Maya abonnerede på Pro, ville hun også få 100 bonuskreditter hver måned, som dækker en del af den vækst.

Hvor det kommer til kort

• Ingen undertekster, ingen transskription. API'en transskriberer ikke lyd. Til videoer uden undertekster skal du bruge en anden kilde, som en tale-til-tekst-tjeneste, som du betaler for særskilt. Nogle andre transskriptions-API'er tilbyder en lydbaseret reserve, se sammenligningen af YouTube-transskriptions-API'er.
• Automatiske undertekster har fejl. Navne og fagsprog er de sædvanlige ofre. Svaret fortæller, om et spor er automatisk genereret, så du kan vægte eller markere de stykker.
• Sproget er undertekstsporets sprog. Svaret oplyser det faktiske sprog, så antag ikke, at det matcher det, du bad om.
• Gennemløbet er begrænset pr. nøgle. En meget stor efterindlæsning er et spørgsmål om timer, ikke sekunder.
• Den returnerer kun transskriptioner. Opdeling, embedding og genfinding er dit arbejde. Hvis du kun har brug for resuméet af én video, så brug YouTube-resumeren.

Kilder

• sum.video Transcript API
• sum.video-priser