Transcripcions de YouTube per a una app RAG a gran escala: crèdits, recàrrega automàtica i pressupostos

Si la teva app RAG o d'IA necessita transcripcions de YouTube a gran escala, la configuració pràctica és una API de transcripcions de pagament per ús amb crèdits prepagats, una recàrrega automàtica perquè una tasca d'ingesta llarga no s'aturi mai, i un pressupost mensual perquè un error no faci pujar la factura. Aquest recorregut segueix una desenvolupadora per aquesta configuració amb l'API de transcripcions de sum.video.

La situació

La Maya construeix un assistent de recerca que respon preguntes sobre xerrades de congressos. El seu índex ha de cobrir uns 10.000 vídeos de YouTube d'unes quantes centenes de canals, i després créixer amb uns 300 vídeos nous al mes. Executa la ingesta des d'un servidor petit, i no vol ni vigilar-la ni endur-se una sorpresa amb la factura.

Les seves condicions són clares: cost previsible, cap recàrrega manual enmig d'una tasca i un tractament net dels vídeos sense transcripció.

Què necessita

• Text pla de cada vídeo, a punt per dividir i generar-ne els embeddings.
• Marques de temps, perquè una resposta pugui enllaçar al moment exacte del vídeo.
• Un cost que pugui estimar abans de començar.
• Un topall ferm de despesa.

Pas a pas

1. Estima primer el cost

Una transcripció costa 2 crèdits, i les peticions que no retornen cap transcripció no costen res. Per a 10.000 vídeos són com a màxim 20.000 crèdits. Amb el paquet de 5.000 crèdits a $74.99 ($0.030 per transcripció), 10.000 transcripcions costen uns $300 en total, una mica menys si alguns vídeos no tenen subtítols. Els paquets més petits costen més per transcripció: $0.090 amb 100 crèdits, $0.056 amb 500, $0.038 amb 2.000. La pàgina de preus té els detalls vigents.

Els crèdits es compren un cop i no caduquen mai, així que no hi ha cap rellotge de subscripció en marxa mentre construeix.

2. Prova-ho amb els crèdits gratuïts

La seva primera clau d'API ve amb 10 crèdits gratuïts, és a dir, 5 transcripcions. Els fa servir per comprovar la resposta d'uns quants vídeos en format json (segments amb offset i duration en segons) i en format text. Per als detalls de la petició, la guia com obtenir la transcripció de YouTube amb una API té exemples en curl, Python i JavaScript que funcionen.

3. Configura la recàrrega automàtica

Al tauler de l'API activa la recàrrega automàtica. La regla: quan el saldo baixa d'un nivell triat, la targeta desada es carrega per un altre paquet. La tasca d'ingesta continua tota la nit sense recàrregues manuals.

4. Fixa els pressupostos

La protegeixen dos límits:

• Un pressupost mensual de recàrrega, que limita quant pot gastar la recàrrega automàtica en un mes.
• Un límit mensual de crèdits. Quan s'assoleix, les peticions següents retornen 402 budget_exceeded.

També activa avisos per correu electrònic per a saldo baix, per al 80% del límit mensual i per a recàrregues fallides. Els avisos li adverteixen d'un problema quan encara hi ha temps d'actuar.

5. Respecta el límit de freqüència

Cada clau permet 60 peticions per minut. A aquest ritme, 10.000 peticions duren uns 167 minuts, menys de tres hores amb una sola clau. Executa una cua senzilla que envia una petició per segon, de manera que es manté per sota del límit sense ràfegues. Podria crear fins a 5 claus actives, per exemple una per a la ingesta i una altra per a les consultes en directe de l'app, perquè una càrrega de dades antigues no bloquegi mai la petició d'un usuari.

6. Gestiona els vídeos sense transcripció

L'API només retorna subtítols existents de YouTube. Les emissions en directe, els vídeos privats o eliminats i els vídeos sense subtítols retornen 404 no_transcript. A la seva cua, aquest estat vol dir: marca'l com a saltat i continua, no reintentis mai. Com que aquestes peticions no costen res, un canal ple de vídeos sense subtítols no li crema el pressupost.

El seu bucle, en pseudocodi:

1. Pren el següent ID de vídeo de la cua.
2. Crida l'API amb format=json.
3. Si va bé: divideix els segments en fragments d'aproximadament un minut, desa cada fragment amb el seu desplaçament inicial i genera'n l'embedding.
4. Amb 404 no_transcript: desa una marca de "sense transcripció".
5. Amb 402 budget_exceeded: posa la cua en pausa i avisa't a tu mateixa.
6. Amb un error del servidor: reintenta després d'una espera.

7. Comprova el saldo al codi

Abans de cada lot gran crida GET /api/v1/credits. Si el saldo és inferior al que necessita el lot i la recàrrega automàtica està desactivada, la tasca es nega a començar. És una protecció barata contra una importació a mitges.

Amb què acaba

Després de la primera nit, l'índex conté les transcripcions de gairebé tots els 10.000 vídeos, cada fragment amb la seva hora d'inici. Quan un usuari fa una pregunta, l'assistent cita una xerrada i una marca de temps, i l'enllaç obre el vídeo en aquest moment. El cost continu és petit: 300 vídeos nous al mes són com a màxim 600 crèdits, uns $18 amb la tarifa del paquet de 5.000 de $0.030 per transcripció.

Si la Maya se subscrivís a Pro, també rebria 100 crèdits de bonificació cada mes, que cobreixen part d'aquest creixement.

On es queda curt

• Sense subtítols no hi ha transcripció. L'API no transcriu àudio. Per als vídeos sense subtítols necessites una altra font, com un servei de veu a text, que pagues a part. Algunes altres API de transcripció ofereixen una alternativa d'àudio, mira la comparativa d'API de transcripció de YouTube.
• Els subtítols automàtics tenen errors. Els noms i l'argot solen sortir pitjor parats. La resposta indica si una pista és automàtica, així que pots ponderar o marcar aquests fragments.
• L'idioma és el de la pista de subtítols. La resposta indica l'idioma real, així que no donis per fet que coincideix amb el que vas demanar.
• El rendiment està limitat per clau. Una càrrega de dades antigues molt gran és qüestió d'hores, no de segons.
• Només retorna transcripcions. Dividir, generar embeddings i recuperar és cosa teva. Si només necessites el resum d'un vídeo, fes servir el resumidor de YouTube.

Fonts

• API de transcripcions de sum.video
• Preus de sum.video