Transcrieri YouTube pentru o aplicație RAG la scară mare: credite, reîncărcare automată și bugete

Dacă aplicația ta RAG sau de IA are nevoie de transcrieri YouTube la scară mare, configurarea practică este un API de transcrieri cu plată la utilizare și credite plătite în avans, o reîncărcare automată ca un import lung să nu se oprească niciodată și un buget lunar ca o greșeală să nu umfle factura. Acest exemplu urmărește o dezvoltatoare prin această configurare cu API-ul de transcrieri sum.video.

Situația

Maya construiește un asistent de cercetare care răspunde la întrebări despre prezentări de la conferințe. Indexul ei ar trebui să acopere circa 10,000 de videoclipuri YouTube de pe câteva sute de canale, apoi să crească cu aproximativ 300 de videoclipuri noi pe lună. Rulează importul de pe un server mic și nu vrea să-l supravegheze și nici să fie luată prin surprindere de o factură.

Condițiile ei sunt clare: cost previzibil, fără reîncărcări manuale în mijlocul unei sarcini și tratare curată a videoclipurilor fără transcriere.

Ce are nevoie

• Text simplu pentru fiecare videoclip, gata de împărțit în bucăți și de transformat în embeddings.
• Marcaje de timp, ca un răspuns să poată face link către momentul exact din video.
• Un cost pe care îl poate estima înainte să înceapă.
• Un plafon ferm al cheltuielilor.

Pas cu pas

1. Estimează mai întâi costul

O transcriere costă 2 credite, iar cererile care nu returnează transcriere nu costă nimic. Pentru 10,000 de videoclipuri sunt cel mult 20,000 de credite. Cu pachetul de 5,000 de credite la $74.99 ($0.030 pe transcriere), 10,000 de transcrieri costă în total cam $300, puțin mai puțin dacă unele videoclipuri nu au subtitrări. Pachetele mai mici costă mai mult pe transcriere: $0.090 la 100 de credite, $0.056 la 500, $0.038 la 2,000. Pagina de prețuri are detaliile actuale.

Creditele se cumpără o singură dată și nu expiră niciodată, deci nu curge niciun ceas de abonament cât timp construiește.

2. Testează cu creditele gratuite

Prima ei cheie API vine cu 10 credite gratuite, adică 5 transcrieri. Le folosește ca să verifice răspunsul pentru câteva videoclipuri în format json (segmente cu offset și duration în secunde) și în format text. Dacă vrei detaliile cererii, ghidul cum obții transcrierea unui video YouTube cu un API are exemple funcționale în curl, Python și JavaScript.

3. Setează reîncărcarea automată

În panoul API pornește reîncărcarea automată. Regula: când soldul scade sub un nivel ales, cardul salvat este debitat pentru încă un pachet. Importul continuă peste noapte fără reîncărcare manuală.

4. Setează bugetele

Două limite o protejează:

• Un buget lunar de reîncărcare, care plafonează cât poate cheltui reîncărcarea automată într-o lună.
• O limită lunară de credite. Când este atinsă, cererile următoare returnează 402 budget_exceeded.

Pornește și alertele prin email pentru sold mic, pentru 80% din limita lunară și pentru reîncărcări eșuate. Alertele o anunță de o problemă cât mai e timp să acționeze.

5. Respectă limita de cereri

Fiecare cheie permite 60 de cereri pe minut. În ritmul ăsta, 10,000 de cereri durează circa 167 de minute, sub trei ore cu o singură cheie. Rulează o coadă simplă care trimite o cerere pe secundă, ca să rămână sub limită fără rafale. Poate crea până la 5 chei active, de exemplu una pentru import și una pentru căutările live ale aplicației, ca o încărcare a istoricului să nu blocheze niciodată cererea unui utilizator.

6. Tratează videoclipurile fără transcriere

API-ul returnează doar subtitrările existente de pe YouTube. Transmisiunile live, videoclipurile private sau șterse și cele fără subtitrări returnează 404 no_transcript. În coada ei, acest status înseamnă marchează ca omis și mergi mai departe, nu reîncerca niciodată. Fiindcă acele cereri nu costă nimic, un canal plin de videoclipuri fără subtitrări nu îi consumă bugetul.

Bucla ei, în pseudocod:

1. Ia următorul ID de video din coadă.
2. Apelează API-ul cu format=json.
3. La succes: împarte segmentele în bucăți de aproximativ un minut, salvează fiecare bucată cu offset-ul ei de început și creează embedding-ul.
4. La 404 no_transcript: salvează un marcaj „fără transcriere".
5. La 402 budget_exceeded: pune coada în pauză și anunță-te.
6. La o eroare de server: reîncearcă după o pauză.

7. Verifică soldul în cod

Înainte de fiecare lot mare apelează GET /api/v1/credits. Dacă soldul e mai mic decât are nevoie lotul și reîncărcarea automată e oprită, sarcina refuză să pornească. E o protecție ieftină împotriva unui import neterminat.

Ce obține

După prima noapte, indexul conține transcrierile aproape tuturor celor 10,000 de videoclipuri, fiecare bucată având ora ei de început. Când un utilizator pune o întrebare, asistentul citează o prezentare și un marcaj de timp, iar linkul deschide videoclipul în acel moment. Costul continuu este mic: 300 de videoclipuri noi pe lună înseamnă cel mult 600 de credite, circa $18 la tariful pachetului de 5,000 de $0.030 pe transcriere.

Dacă Maya ar avea Pro, ar primi și 100 de credite bonus pe lună, care acoperă o parte din această creștere.

Unde nu ajunge

• Fără subtitrări, fără transcriere. API-ul nu transcrie audio. Pentru videoclipuri fără subtitrări ai nevoie de altă sursă, cum ar fi un serviciu speech-to-text, plătit separat. Alte API-uri de transcrieri oferă o alternativă audio, vezi comparația API-urilor de transcrieri YouTube.
• Subtitrările automate au greșeli. Numele și jargonul sunt victimele obișnuite. Răspunsul spune dacă o pistă este generată automat, deci poți acorda mai puțină greutate acelor bucăți sau le poți marca.
• Limba este cea a pistei de subtitrări. Răspunsul raportează limba reală, deci nu presupune că se potrivește cu cea cerută.
• Debitul este plafonat pe cheie. O încărcare foarte mare a istoricului înseamnă ore, nu secunde.
• Returnează doar transcrieri. Împărțirea în bucăți, embedding-ul și regăsirea sunt treaba ta. Dacă ai nevoie doar de rezumatul unui video, folosește rezumatorul YouTube.

Surse

• API-ul de transcrieri sum.video
• Prețurile sum.video