Prepisy z YouTube pre RAG aplikáciu vo veľkom rozsahu: kredity, automatické dobíjanie a rozpočty

Ak tvoja RAG alebo AI aplikácia potrebuje prepisy z YouTube vo veľkom rozsahu, praktické riešenie je API na prepisy s platbou za použitie a vopred zaplatenými kreditmi, automatické dobíjanie, aby sa dlhé načítavanie nikdy nezastavilo, a mesačný rozpočet, aby chyba nenarobila účet. Tento príklad sleduje vývojárku pri tomto nastavení s API na prepisy sum.video.

Situácia

Maya vyrába výskumného asistenta, ktorý odpovedá na otázky o konferenčných prednáškach. Jej index má pokrývať asi 10,000 videí z YouTube z niekoľkých stoviek kanálov a potom rásť o približne 300 nových videí mesačne. Načítavanie spúšťa z malého servera a nechce ho strážiť ani sa nechať prekvapiť faktúrou.

Jej podmienky sú jasné: predvídateľné náklady, žiadne ručné dobíjanie uprostred úlohy a čisté ošetrenie videí bez prepisu.

Čo potrebuje

• Obyčajný text každého videa, pripravený na rozdelenie na bloky a embedding.
• Časové značky, aby odpoveď mohla odkazovať na presný moment vo videu.
• Náklady, ktoré vie odhadnúť pred začiatkom.
• Pevný strop výdavkov.

Krok za krokom

1. Najprv odhadni náklady

Jeden prepis stojí 2 kredity a požiadavky, ktoré nevrátia prepis, nestoja nič. Pri 10,000 videách je to najviac 20,000 kreditov. S balíkom 5,000 kreditov za $74.99 ($0.030 za prepis) stojí 10,000 prepisov spolu približne $300, o niečo menej, ak niektoré videá nemajú titulky. Menšie balíky stoja za prepis viac: $0.090 pri 100 kreditoch, $0.056 pri 500, $0.038 pri 2,000. Aktuálne podrobnosti má stránka s cenami.

Kredity sa kupujú jednorazovo a nikdy neexpirujú, takže kým vyvíja, netiká žiadne predplatné.

2. Otestuj s kreditmi zadarmo

Jej prvý API kľúč má 10 kreditov zadarmo, teda 5 prepisov. Použije ich na overenie odpovede pre pár videí vo formáte json (segmenty s offset a duration v sekundách) aj text. Ak chceš podrobnosti o požiadavke, návod ako získať prepis videa z YouTube pomocou API má fungujúce príklady v curl, Pythone a JavaScripte.

3. Nastav automatické dobíjanie

V paneli API zapne automatické dobíjanie. Pravidlo: keď zostatok klesne pod zvolenú úroveň, z uloženej karty sa strhne platba za ďalší balík. Načítavanie beží cez noc bez ručného dobíjania.

4. Nastav rozpočty

Chránia ju dva limity:

• Mesačný rozpočet na dobíjanie, ktorý obmedzuje, koľko môže automatické dobíjanie minúť za mesiac.
• Mesačný limit kreditov. Keď sa dosiahne, ďalšie požiadavky vracajú 402 budget_exceeded.

Zapne aj e-mailové upozornenia na nízky zostatok, na 80 % mesačného limitu a na neúspešné dobitia. Upozornenia jej povedia o probléme, kým ešte stihne zasiahnuť.

5. Dodrž limit požiadaviek

Každý kľúč povoľuje 60 požiadaviek za minútu. Touto rýchlosťou trvá 10,000 požiadaviek zhruba 167 minút, teda necelé tri hodiny na jeden kľúč. Spustí jednoduchú frontu, ktorá posiela jednu požiadavku za sekundu, takže zostane pod limitom bez nárazov. Môže vytvoriť až 5 aktívnych kľúčov, napríklad jeden na načítavanie a jeden na živé vyhľadávanie v aplikácii, aby doplňovanie histórie nikdy nezablokovalo požiadavku používateľa.

6. Ošetri videá bez prepisu

API vracia len existujúce titulky z YouTube. Živé vysielania, súkromné či odstránené videá a videá bez titulkov vracajú 404 no_transcript. V jej fronte tento stav znamená označiť ako preskočené a ísť ďalej, nikdy neopakovať. Keďže tieto požiadavky nič nestoja, kanál plný videí bez titulkov jej rozpočet nevyčerpá.

Jej slučka v pseudokóde:

1. Zober z fronty ďalšie ID videa.
2. Zavolaj API s format=json.
3. Pri úspechu: rozdeľ segmenty na bloky dlhé asi minútu, každý ulož s jeho počiatočným offsetom a urob embedding.
4. Pri 404 no_transcript: ulož príznak „bez prepisu".
5. Pri 402 budget_exceeded: pozastav frontu a upozorni sa.
6. Pri chybe servera: skús znova po oneskorení.

7. Skontroluj zostatok v kóde

Pred každou veľkou dávkou volá GET /api/v1/credits. Ak je zostatok nižší, než dávka potrebuje, a automatické dobíjanie je vypnuté, úloha sa odmietne spustiť. Je to lacná poistka proti nedokončenému importu.

S čím skončí

Po prvej noci obsahuje index prepisy takmer všetkých 10,000 videí, každý blok s časom začiatku. Keď používateľ položí otázku, asistent uvedie prednášku a časovú značku a odkaz otvorí video v danom momente. Priebežné náklady sú malé: 300 nových videí mesačne je najviac 600 kreditov, približne $18 pri sadzbe balíka 5,000 kreditov $0.030 za prepis.

Keby mala Maya Pro, dostávala by navyše 100 bonusových kreditov mesačne, čo pokryje časť tohto rastu.

Kde to nestačí

• Bez titulkov nie je prepis. API zvuk neprepisuje. Pre videá bez titulkov potrebuješ iný zdroj, napríklad službu na prevod reči na text, a platíš ju zvlášť. Niektoré iné API na prepisy ponúkajú zvukovú náhradu, pozri porovnanie API na prepisy z YouTube.
• Automatické titulky majú chyby. Obeťami bývajú mená a odborné výrazy. Odpoveď uvádza, či je stopa automatická, takže takým blokom môžeš dať menšiu váhu alebo ich označiť.
• Jazyk je jazyk titulkovej stopy. Odpoveď hlási skutočný jazyk, takže nepredpokladaj, že sa zhoduje s požadovaným.
• Priepustnosť je obmedzená na kľúč. Veľmi veľké doplnenie sú hodiny, nie sekundy.
• Vracia len prepisy. Delenie na bloky, embedding a vyhľadávanie sú tvoja práca. Ak potrebuješ len zhrnutie jedného videa, použi YouTube sumarizátor.

Zdroje

• API na prepisy sum.video
• Ceny sum.video