YouTube transkripti RAG lietotnei lielā mērogā: kredīti, automātiskā papildināšana un budžeti

Ja tavai RAG vai mākslīgā intelekta lietotnei lielā mērogā vajadzīgi YouTube transkripti, praktiskais risinājums ir transkriptu API ar maksu par lietošanu un iepriekš apmaksātiem kredītiem, automātiska papildināšana, lai garš ielādes darbs nekad neapstātos, un mēneša budžets, lai kļūda neuzpūstu rēķinu. Šis apskats seko izstrādātājai cauri šādam iestatījumam ar sum.video Transcript API.

Situācija

Maija veido pētniecības asistentu, kas atbild uz jautājumiem par konferenču runām. Viņas indeksam jāaptver aptuveni 10 000 YouTube video no dažiem simtiem kanālu, un pēc tam tam jāaug par aptuveni 300 jauniem video mēnesī. Ielādi viņa palaiž no neliela servera un nevēlas ne to uzraudzīt, ne tikt pārsteigta ar rēķinu.

Viņas prasības ir vienkāršas: prognozējamas izmaksas, nekādas manuālas papildināšanas darba vidū un kārtīga to video apstrāde, kuriem nav transkripta.

Ko viņai vajag

• Vienkāršu tekstu katram video, gatavu sadalīšanai un iegulšanai.
• Laika zīmogus, lai atbilde varētu veidot saiti uz precīzu video brīdi.
• Izmaksas, ko viņa var novērtēt pirms sākšanas.
• Stingru izdevumu augšējo robežu.

Soli pa solim

1. Vispirms novērtē izmaksas

Viens transkripts maksā 2 kredītus, un pieprasījumi, kas neatgriež transkriptu, nemaksā neko. 10 000 video tas ir ne vairāk kā 20 000 kredītu. Ar 5 000 kredītu paku par $74.99 ($0.030 par transkriptu) 10 000 transkriptu kopā maksā ap $300, mazliet mazāk, ja dažiem video nav subtitru. Mazākas pakas maksā vairāk par transkriptu: $0.090 par 100 kredītiem, $0.056 par 500, $0.038 par 2 000. Cenu lapā ir aktuālā informācija.

Kredīti tiek pirkti vienreiz un nekad nebeidzas, tāpēc, kamēr viņa būvē, nekāds abonementa pulkstenis netikšķ.

2. Izmēģini ar bezmaksas kredītiem

Viņas pirmā API atslēga nāk ar 10 bezmaksas kredītiem, tas ir 5 transkripti. Ar tiem viņa pārbauda atbildi dažiem video formātā json (segmenti ar offset un duration sekundēs) un formātā text. Pieprasījuma detaļām pamācībā kā iegūt YouTube transkriptu ar API ir darbojoši curl, Python un JavaScript piemēri.

3. Iestati automātisko papildināšanu

API informācijas panelī viņa ieslēdz automātisko papildināšanu. Noteikums: kad atlikums nokrītas zem izvēlētā līmeņa, saglabātajai kartei tiek ieturēta maksa par vēl vienu paku. Ielādes darbs turpina darboties visu nakti bez manuālas papildināšanas.

4. Iestati budžetus

Viņu aizsargā divi ierobežojumi:

• Mēneša papildināšanas budžets, kas ierobežo, cik daudz automātiskā papildināšana drīkst iztērēt mēnesī.
• Mēneša kredītu limits. Kad tas sasniegts, turpmākie pieprasījumi atgriež 402 budget_exceeded.

Viņa ieslēdz arī e-pasta brīdinājumus par zemu atlikumu, 80 % no mēneša limita un neizdevušām papildināšanām. Brīdinājumi ziņo par problēmu, kamēr vēl ir laiks rīkoties.

5. Ievēro pieprasījumu ierobežojumu

Katra atslēga atļauj 60 pieprasījumus minūtē. Šādā tempā 10 000 pieprasījumu aizņem aptuveni 167 minūtes, mazāk nekā trīs stundas ar vienu atslēgu. Viņa palaiž vienkāršu rindu, kas sūta vienu pieprasījumu sekundē, tāpēc paliek zem limita bez uzliesmojumiem. Viņa varētu izveidot līdz 5 aktīvām atslēgām, piemēram, vienu ielādei un otru lietotnes tiešajiem meklējumiem, lai vecu datu aizpildīšana nekad nebloķētu lietotāja pieprasījumu.

6. Apstrādā video bez transkripta

API atgriež tikai esošos YouTube subtitrus. Tiešraides, privāti vai noņemti video un video bez subtitriem atgriež 404 no_transcript. Viņas rindā šis statuss nozīmē: atzīmē kā izlaistu un ej tālāk, nekad neatkārto. Tā kā šie pieprasījumi nemaksā neko, kanāls, kas pilns ar video bez subtitriem, neizdedzina viņas budžetu.

Viņas cikls pseidokodā:

1. Paņem nākamo video ID no rindas.
2. Izsauc API ar format=json.
3. Ja izdodas: sadali segmentus aptuveni minūtes garos gabalos, saglabā katru gabalu ar tā sākuma nobīdi un iegulsti.
4. Ja 404 no_transcript: saglabā atzīmi „nav transkripta“.
5. Ja 402 budget_exceeded: aptur rindu un paziņo sev.
6. Servera kļūdas gadījumā: mēģini vēlreiz pēc aiztures.

7. Pārbaudi atlikumu kodā

Pirms katras lielas partijas viņa izsauc GET /api/v1/credits. Ja atlikums ir mazāks, nekā partijai vajag, un automātiskā papildināšana ir izslēgta, darbs atsakās sākties. Tā ir lēta aizsardzība pret uz pusēm pabeigtu importu.

Ar ko viņa beidz

Pēc pirmās nakts indekss satur gandrīz visu 10 000 video transkriptus, un katrs gabals nes savu sākuma laiku. Kad lietotājs uzdod jautājumu, asistents citē runu un laika zīmogu, un saite atver video tajā brīdī. Pastāvīgās izmaksas ir nelielas: 300 jauni video mēnesī ir ne vairāk kā 600 kredītu, aptuveni $18 pēc 5 000 pakas likmes $0.030 par transkriptu.

Ja Maija abonētu Pro, viņa ik mēnesi saņemtu arī 100 bonusa kredītus, kas sedz daļu no šī pieauguma.

Kur tas nepietiek

• Nav subtitru, nav transkripta. API netranskribē audio. Video bez subtitriem vajag citu avotu, piemēram, runas pārvēršanas tekstā pakalpojumu, kas jāapmaksā atsevišķi. Daži citi transkriptu API piedāvā audio rezerves variantu, skaties YouTube transkriptu API salīdzinājumu.
• Automātiskos subtitros ir kļūdas. Visvairāk cieš vārdi un žargons. Atbilde norāda, vai ieraksts izveidots automātiski, tāpēc šādus gabalus vari svērt vai atzīmēt.
• Valoda ir subtitru ieraksta valoda. Atbilde ziņo par reālo valodu, tāpēc nepieņem, ka tā sakrīt ar pieprasīto.
• Caurlaidība ir ierobežota uz atslēgu. Ļoti liela veco datu aizpildīšana ir stundu, nevis sekunžu jautājums.
• Tas atgriež tikai transkriptus. Dalīšana, iegulšana un izguve ir tavs darbs. Ja vajag tikai viena video kopsavilkumu, izmanto YouTube kopsavilkuma veidotāju.

Avoti

• sum.video Transcript API
• sum.video cenas