YouTube'i transkriptsioonid RAG-rakenduse jaoks suures mahus: krediidid, automaatne täiendamine ja eelarved

Kui sinu RAG- või tehisintellektirakendus vajab YouTube'i transkriptsioone suures mahus, on praktiline lahendus kasutuspõhise tasuga transkriptsiooni API ettemakstud krediitidega, automaatne täiendamine, et pikk sissevõtmistöö kunagi seisma ei jääks, ja igakuine eelarve, et viga ei paisutaks arvet. See ülevaade jälgib arendajat selle seadistuse kaudu, kasutades sum.video transkriptsiooni API-t.

Olukord

Maya ehitab uurimisassistenti, mis vastab küsimustele konverentsiettekannete kohta. Tema indeks peab katma umbes 10 000 YouTube'i videot paarisajast kanalist ja seejärel kasvama umbes 300 uue videoga kuus. Ta käitab sissevõtmist väikesest serverist ega taha seda valvata ega arvest üllatuda.

Tema nõuded on selged: prognoositav hind, ei mingit käsitsi täiendamist töö keskel ja korralik käsitlus videotele, millel pole transkriptsiooni.

Mida ta vajab

• Lihtsat teksti iga video kohta, valmis jaotamiseks ja manustamiseks.
• Ajatempleid, et vastus saaks viidata video täpsele hetkele.
• Hinda, mida ta saab enne alustamist hinnata.
• Kindlat kulupiiri.

Samm-sammult

1. Hinda esmalt kulu

Üks transkriptsioon maksab 2 krediiti ja päringud, mis ei tagasta transkriptsiooni, ei maksa midagi. 10 000 video korral on see kuni 20 000 krediiti. 5 000 krediidi paketiga hinnaga $74.99 ($0.030 transkriptsiooni kohta) maksavad 10 000 transkriptsiooni kokku umbes $300, veidi vähem, kui mõnel videol pole subtiitreid. Väiksemad paketid maksavad transkriptsiooni kohta rohkem: $0.090 100 krediidi korral, $0.056 500 puhul, $0.038 2 000 puhul. Hinnaleheküljel on kehtivad üksikasjad.

Krediite ostetakse üks kord ja need ei aegu kunagi, seega ei tiksu tellimuse kell, kui ta ehitab.

2. Testi tasuta krediitidega

Tema esimese API võtmega tuleb kaasa 10 tasuta krediiti, see on 5 transkriptsiooni. Nendega kontrollib ta paari video vastust vormingus json (segmendid sekundites offset ja duration väärtustega) ja vormingus text. Päringu üksikasjade jaoks on juhendis kuidas saada YouTube'i transkriptsioon API abil töötavad curl-i, Pythoni ja JavaScripti näited.

3. Seadista automaatne täiendamine

API juhtpaneelil lülitab ta automaatse täiendamise sisse. Reegel: kui saldo langeb valitud tasemest allapoole, debiteeritakse salvestatud kaarti veel ühe paketi eest. Sissevõtmistöö jätkab terve öö ilma käsitsi täiendamiseta.

4. Määra eelarved

Teda kaitsevad kaks piirangut:

• Igakuine täiendamise eelarve, mis piirab, kui palju võib automaatne täiendamine kuus kulutada.
• Igakuine krediidilimiit. Kui see on saavutatud, tagastavad edasised päringud 402 budget_exceeded.

Ta lülitab sisse ka e-posti hoiatused madala saldo, 80% igakuisest limiidist ja ebaõnnestunud täiendamiste kohta. Hoiatused annavad probleemist teada siis, kui tegutsemiseks on veel aega.

5. Austa kiiruspiirangut

Iga võti lubab 60 päringut minutis. Selle tempo juures võtab 10 000 päringut umbes 167 minutit, vähem kui kolm tundi ühe võtmega. Ta käitab lihtsat järjekorda, mis saadab ühe päringu sekundis, nii et ta püsib piirangu all ilma hüpeteta. Ta võiks luua kuni 5 aktiivset võtit, näiteks ühe sissevõtmiseks ja teise rakenduse reaalajas otsinguteks, et vanade andmete täitmine ei blokeeriks kunagi kasutaja päringut.

6. Käsitle videoid ilma transkriptsioonita

API tagastab ainult olemasolevad YouTube'i subtiitrid. Otseülekanded, privaatsed või eemaldatud videod ja subtiitriteta videod tagastavad 404 no_transcript. Tema järjekorras tähendab see olek: märgi vahelejäetuks ja liigu edasi, ära kunagi korda. Kuna need päringud ei maksa midagi, ei põle subtiitriteta videotest täis kanal tema eelarvet läbi.

Tema tsükkel pseudokoodis:

1. Võta järjekorrast järgmine video ID.
2. Kutsu API-t format=json abil.
3. Edu korral: jaga segmendid umbes minutipikkusteks tükkideks, salvesta iga tükk algnihkega ja manusta see.
4. Veaga 404 no_transcript: salvesta märge "transkriptsioon puudub".
5. Veaga 402 budget_exceeded: peata järjekord ja teavita iseennast.
6. Serveriveaga: proovi uuesti pärast viivitust.

7. Kontrolli saldot koodis

Enne iga suurt partiid kutsub ta GET /api/v1/credits. Kui saldo on väiksem, kui partii vajab, ja automaatne täiendamine on välja lülitatud, keeldub töö käivitumast. See on odav kaitse pooleli jäänud impordi vastu.

Mida ta lõpuks saab

Pärast esimest ööd sisaldab indeks peaaegu kõigi 10 000 video transkriptsioone, iga tükk oma algusajaga. Kui kasutaja küsib küsimuse, tsiteerib assistent ettekannet ja ajatemplit ning link avab video sellel hetkel. Jooksev kulu on väike: 300 uut videot kuus on kuni 600 krediiti, umbes $18 5 000 paketi määraga $0.030 transkriptsiooni kohta.

Kui Maya telliks Pro, saaks ta ka igas kuus 100 boonuskrediiti, mis katavad osa sellest kasvust.

Kus see jääb lühikeseks

• Ilma subtiitriteta pole transkriptsiooni. API ei transkribeeri heli. Subtiitriteta videote jaoks on vaja muud allikat, näiteks kõnest tekstiks teenust, mille eest maksad eraldi. Mõned teised transkriptsiooni API-d pakuvad heli varuvarianti, vaata YouTube'i transkriptsiooni API-de võrdlust.
• Automaatsetes subtiitrites on vigu. Nimed ja erialasõnad kannatavad tavaliselt kõige rohkem. Vastus ütleb, kas rada on automaatselt loodud, nii et saad selliseid tükke kaaluda või märgistada.
• Keel on subtiitriraja keel. Vastus teatab tegeliku keele, seega ära eelda, et see ühtib küsitud keelega.
• Läbilaskevõime on piiratud võtme kohta. Väga suur vanade andmete täitmine on tundide, mitte sekundite küsimus.
• See tagastab ainult transkriptsioone. Jaotamine, manustamine ja otsimine on sinu töö. Kui vajad ainult ühe video kokkuvõtet, kasuta YouTube'i kokkuvõtjat.

Allikad

• sum.video transkriptsiooni API
• sum.video hinnad