YouTube-átiratok RAG-alkalmazáshoz nagy léptékben: kreditek, automatikus feltöltés és keretek

Ha a RAG- vagy MI-alkalmazásodnak nagy léptékben kellenek YouTube-átiratok, a gyakorlatias megoldás egy használatalapú átirat-API előre kifizetett kreditekkel, egy automatikus feltöltés, hogy a hosszú betöltés sose álljon le, és egy havi keret, hogy egy hiba ne dobjon fel egy számlát. Ez a bemutató egy fejlesztőt követ végig ezen a beállításon a sum.video Transcript API segítségével.

A helyzet

Maya egy kutatási asszisztenst épít, amely konferenciaelőadásokról válaszol kérdésekre. Az indexének körülbelül 10 000 YouTube-videót kell lefednie néhány száz csatornáról, majd havonta nagyjából 300 új videóval bővülnie. A betöltést egy kis szerverről futtatja, és nem akar felügyelni rá, sem váratlan számlát kapni.

A feltételei egyszerűek: kiszámítható költség, nincs kézi feltöltés a feladat közepén, és rendezett kezelése azoknak a videóknak, amelyeknek nincs átirata.

Mit vár el az eredménytől

• Minden videóhoz sima szöveg, amely készen áll a darabolásra és a beágyazásra.
• Időbélyegek, hogy egy válasz a videó pontos pillanatára linkelhessen.
• Egy költség, amelyet indulás előtt megbecsülhet.
• Egy szigorú felső határ a kiadásra.

Lépésről lépésre

1. Először becsüld meg a költséget

Egy átirat 2 kreditbe kerül, az átirat nélküli kérések pedig semmibe. 10 000 videó így legfeljebb 20 000 kredit. Az 5 000 kredites csomaggal, amely $74.99 ($0.030 átiratonként), 10 000 átirat nagyjából $300, és valamivel kevesebb, ha néhány videónak nincs felirata. A kisebb csomagok átiratonként drágábbak: 100 kreditnél $0.090, 500-nál $0.056, 2 000-nél $0.038. A részleteket az árak oldalon találod.

A krediteket egyszer vásárolja, és nem járnak le, tehát amíg épít, nem ketyeg semmilyen előfizetési óra.

2. Teszteld az ingyenes kreditekkel

Az első API-kulcsához 10 ingyenes kredit jár, ez 5 átirat. Ezekkel ellenőrzi a választ néhány videóra json formátumban (szegmensek offset és duration értékkel másodpercben) és text formátumban. A kérés részleteihez a YouTube-átirat lekérése API-val útmutatóban találsz működő curl, Python és JavaScript példákat.

3. Állítsd be az automatikus feltöltést

Az API-irányítópulton bekapcsolja az automatikus feltöltést. A szabály: ha az egyenleg egy választott szint alá esik, a mentett kártyát megterhelik egy újabb csomagért. A betöltési feladat egész éjjel fut, kézi feltöltés nélkül.

4. Állítsd be a kereteket

Két korlát védi:

• Egy havi feltöltési keret, amely felső határt szab annak, mennyit költhet az automatikus feltöltés egy hónapban.
• Egy havi kreditkorlát. Ha eléri, a további kérések 402 budget_exceeded választ adnak.

E-mail értesítéseket is bekapcsol az alacsony egyenlegről, a havi korlát 80%-áról és a sikertelen feltöltésekről. Az értesítések akkor szólnak a problémáról, amikor még van idő cselekedni.

5. Tartsd be a sebességkorlátot

Kulcsonként percenként 60 kérés engedélyezett. Ezzel a tempóval 10 000 kérés nagyjából 167 percig tart, vagyis egyetlen kulccsal három óránál kevesebb. Egy egyszerű sort futtat, amely másodpercenként egy kérést küld, így lökésszerű terhelés nélkül a korláton belül marad. Legfeljebb 5 aktív kulcsot hozhat létre, például egyet a betöltéshez és egyet az alkalmazás élő lekérdezéseihez, hogy egy utólagos feltöltés sose akassza meg a felhasználói kérést.

6. Kezeld a videókat, amelyeknek nincs átirata

Az API csak meglévő YouTube-feliratokat ad vissza. Az élő közvetítések, a privát vagy eltávolított videók, és a felirat nélküli videók 404 no_transcript választ adnak. A sorában ez az állapot azt jelenti: jelöld kihagyottnak, és lépj tovább, soha ne próbáld újra. Mivel ezek a kérések nem kerülnek semmibe, egy csupa felirat nélküli videóból álló csatorna nem emészti fel a keretét.

A ciklusa pszeudokódban:

1. Vedd a sor következő videóazonosítóját.
2. Hívd az API-t format=json értékkel.
3. Siker esetén: oszd a szegmenseket nagyjából egyperces darabokra, tárold minden darabot a kezdő eltolásával, és ágyazd be.
4. 404 no_transcript esetén: tárolj egy "nincs átirat" jelölőt.
5. 402 budget_exceeded esetén: állítsd meg a sort, és értesítsd magad.
6. Szerverhiba esetén: próbáld újra késleltetéssel.

7. Kódból ellenőrizd az egyenleget

Minden nagy köteg előtt meghívja a GET /api/v1/credits végpontot. Ha az egyenleg kevesebb, mint amennyi a kötegnek kell, és az automatikus feltöltés ki van kapcsolva, a feladat el sem indul. Ez olcsó védelem a félbemaradt import ellen.

Mi lesz a végeredmény

Az első éjszaka után az index mind a 10 000 videó átiratát tartalmazza, kivéve a felirat nélkülieket, és minden darab hordozza a kezdési idejét. Ha egy felhasználó kérdez, az asszisztens egy előadásra és egy időbélyegre hivatkozik, a link pedig a videót abban a pillanatban nyitja meg. A folyamatos költség kicsi: havi 300 új videó legfeljebb 600 kredit, ami az 5 000 kredites csomag átiratonkénti $0.030 árán legfeljebb körülbelül $18.

Ha Maya Pro-ra fizetne elő, havonta 100 bónusz kreditet is kapna, ami a növekedés egy részét fedezi.

Hol marad el ez a megoldás

• Felirat nélkül nincs átirat. Az API nem ír át hangot szöveggé. A felirat nélküli videókhoz más forrás kell, például beszédfelismerő szolgáltatás, és azt külön fizeted. Néhány másik átirat-API kínál hangalapú tartalékot, lásd a YouTube-átirat API-k összehasonlítását.
• Az automatikus feliratokban vannak hibák. A nevek és a szakzsargon a szokásos áldozatok. A válasz megmondja, hogy egy sáv automatikusan generált-e, így súlyozhatod vagy megjelölheted ezeket a darabokat.
• A nyelv a feliratsáv nyelve. A válasz a valódi nyelvet adja meg, ezért ne feltételezd, hogy egyezik azzal, amit kértél.
• Az átviteli sebesség kulcsonként korlátos. Egy nagyon nagy utólagos betöltés órák kérdése, nem másodperceké.
• Csak átiratot ad. A darabolás, a beágyazás és a visszakeresés a te dolgod. Ha csak egyetlen videó összefoglalójára van szükséged, használd a YouTube-összefoglalót.

Források

• sum.video Transcript API
• sum.video árak