Transcricións de YouTube para unha app RAG a gran escala: créditos, recarga automática e orzamentos

Se a túa app RAG ou de IA necesita transcricións de YouTube a gran escala, a configuración práctica é unha API de transcricións de pagamento por uso con créditos prepagados, unha recarga automática para que unha tarefa de inxesta longa non se pare nunca, e un orzamento mensual para que un erro non faga subir a factura. Este percorrido segue unha desenvolvedora por esa configuración coa API de transcricións de sum.video.

A situación

Maya constrúe un asistente de investigación que responde preguntas sobre charlas de congresos. O seu índice ten que cubrir uns 10.000 vídeos de YouTube dunhas centos de canles, e despois medrar con uns 300 vídeos novos ao mes. Executa a inxesta desde un servidor pequeno, e non quere nin vixiala nin levar unha sorpresa coa factura.

As súas condicións son claras: custo previsible, ningunha recarga manual no medio dunha tarefa e un tratamento limpo dos vídeos sen transcrición.

Que necesita

• Texto plano de cada vídeo, listo para dividir e xerar os seus embeddings.
• Marcas de tempo, para que unha resposta poida ligar ao momento exacto do vídeo.
• Un custo que poida estimar antes de comezar.
• Un teito firme de gasto.

Paso a paso

1. Estima primeiro o custo

Unha transcrición custa 2 créditos, e as peticións que non devolven ningunha transcrición non custan nada. Para 10.000 vídeos son como máximo 20.000 créditos. Co paquete de 5.000 créditos a $74.99 ($0.030 por transcrición), 10.000 transcricións custan uns $300 en total, algo menos se algúns vídeos non teñen subtítulos. Os paquetes máis pequenos custan máis por transcrición: $0.090 con 100 créditos, $0.056 con 500, $0.038 con 2.000. A páxina de prezos ten os detalles vixentes.

Os créditos cómpranse unha vez e non caducan nunca, así que non hai ningún reloxo de subscrición en marcha mentres constrúe.

2. Proba cos créditos gratuítos

A súa primeira clave de API vén con 10 créditos gratuítos, é dicir, 5 transcricións. Úsaos para comprobar a resposta duns poucos vídeos en formato json (segmentos con offset e duration en segundos) e en formato text. Para os detalles da petición, a guía como obter a transcrición de YouTube cunha API ten exemplos en curl, Python e JavaScript que funcionan.

3. Configura a recarga automática

No panel da API activa a recarga automática. A regra: cando o saldo baixa dun nivel escollido, a tarxeta gardada cárgase por outro paquete. A tarefa de inxesta continúa toda a noite sen recargas manuais.

4. Fixa os orzamentos

Protéxena dous límites:

• Un orzamento mensual de recarga, que limita canto pode gastar a recarga automática nun mes.
• Un límite mensual de créditos. Cando se acada, as peticións seguintes devolven 402 budget_exceeded.

Tamén activa avisos por correo electrónico para saldo baixo, para o 80 % do límite mensual e para recargas fallidas. Os avisos adviértenlle dun problema cando aínda hai tempo de actuar.

5. Respecta o límite de frecuencia

Cada clave permite 60 peticións por minuto. A ese ritmo, 10.000 peticións levan uns 167 minutos, menos de tres horas cunha soa clave. Executa unha cola sinxela que envía unha petición por segundo, de xeito que se mantén por baixo do límite sen picos. Podería crear ata 5 claves activas, por exemplo unha para a inxesta e outra para as consultas en directo da app, para que unha carga de datos antigos non bloquee nunca a petición dun usuario.

6. Xestiona os vídeos sen transcrición

A API só devolve subtítulos existentes de YouTube. As emisións en directo, os vídeos privados ou eliminados e os vídeos sen subtítulos devolven 404 no_transcript. Na súa cola, ese estado quere dicir: márcao como saltado e segue, non reintentes nunca. Como esas peticións non custan nada, unha canle chea de vídeos sen subtítulos non lle queima o orzamento.

O seu bucle, en pseudocódigo:

1. Colle o seguinte ID de vídeo da cola.
2. Chama á API con format=json.
3. Se vai ben: divide os segmentos en fragmentos dun minuto aproximadamente, garda cada fragmento co seu desprazamento inicial e xera o seu embedding.
4. Con 404 no_transcript: garda unha marca de "sen transcrición".
5. Con 402 budget_exceeded: pon a cola en pausa e avísate a ti mesma.
6. Cun erro do servidor: reintenta tras unha espera.

7. Comproba o saldo no código

Antes de cada lote grande chama GET /api/v1/credits. Se o saldo é inferior ao que precisa o lote e a recarga automática está desactivada, a tarefa négase a comezar. É unha protección barata contra unha importación a medias.

Con que remata

Despois da primeira noite, o índice contén as transcricións de case todos os 10.000 vídeos, cada fragmento coa súa hora de inicio. Cando un usuario fai unha pregunta, o asistente cita unha charla e unha marca de tempo, e a ligazón abre o vídeo nese momento. O custo continuo é pequeno: 300 vídeos novos ao mes son como máximo 600 créditos, uns $18 coa tarifa do paquete de 5.000 de $0.030 por transcrición.

Se Maya se subscribise a Pro, tamén recibiría 100 créditos de bonificación cada mes, que cobren parte dese crecemento.

Onde se queda curto

• Sen subtítulos non hai transcrición. A API non transcribe audio. Para os vídeos sen subtítulos precisas outra fonte, como un servizo de voz a texto, que pagas á parte. Algunhas outras API de transcrición ofrecen unha alternativa de audio, mira a comparativa de API de transcrición de YouTube.
• Os subtítulos automáticos teñen erros. Os nomes e a xerga adoitan saír peor parados. A resposta indica se unha pista é automática, así que podes ponderar ou marcar eses fragmentos.
• O idioma é o da pista de subtítulos. A resposta indica o idioma real, así que non des por feito que coincide co que pediches.
• O rendemento está limitado por clave. Unha carga de datos antigos moi grande é cuestión de horas, non de segundos.
• Só devolve transcricións. Dividir, xerar embeddings e recuperar é cousa túa. Se só necesitas o resumo dun vídeo, usa o resumidor de YouTube.

Fontes

• API de transcricións de sum.video
• Prezos de sum.video