„YouTube“ transkripcijos RAG programai dideliu mastu: kreditai, automatinis papildymas ir biudžetai

Jei tavo RAG ar dirbtinio intelekto programai reikia „YouTube“ transkripcijų dideliu mastu, praktiškas sprendimas yra transkripcijų API su mokėjimu už naudojimą ir iš anksto apmokėtais kreditais, automatinis papildymas, kad ilgas įkėlimo darbas niekada nesustotų, ir mėnesio biudžetas, kad klaida nepūstų sąskaitos. Ši apžvalga seka kūrėją per tokią sąranką naudojant „sum.video“ Transcript API.

Situacija

Maja kuria tyrimų asistentą, atsakantį į klausimus apie konferencijų pranešimus. Jos indeksas turi aprėpti apie 10 000 „YouTube“ vaizdo įrašų iš kelių šimtų kanalų, o paskui augti maždaug 300 naujų vaizdo įrašų per mėnesį. Įkėlimą ji vykdo iš nedidelio serverio ir nenori nei jo stebėti, nei nustebti dėl sąskaitos.

Jos reikalavimai paprasti: nuspėjama kaina, jokio rankinio papildymo darbo viduryje ir tvarkingas vaizdo įrašų be transkripcijos tvarkymas.

Ko jai reikia

• Paprasto teksto kiekvienam vaizdo įrašui, paruošto skaidyti ir įterpti.
• Laiko žymų, kad atsakymas galėtų pateikti nuorodą į tikslų vaizdo įrašo momentą.
• Kainos, kurią ji gali įvertinti prieš pradėdama.
• Griežtos išlaidų viršutinės ribos.

Žingsnis po žingsnio

1. Pirmiausia įvertink kainą

Viena transkripcija kainuoja 2 kreditus, o užklausos, negrąžinančios transkripcijos, nieko nekainuoja. 10 000 vaizdo įrašų tai daugiausia 20 000 kreditų. Su 5 000 kreditų paketu už $74.99 ($0.030 už transkripciją) 10 000 transkripcijų kainuoja iš viso apie $300, šiek tiek mažiau, jei kai kurie vaizdo įrašai neturi subtitrų. Mažesni paketai kainuoja brangiau už transkripciją: $0.090 už 100 kreditų, $0.056 už 500, $0.038 už 2 000. Kainų puslapyje yra dabartinė informacija.

Kreditai perkami vieną kartą ir niekada nebesibaigia, todėl jai kuriant neina jokio prenumeratos laikrodžio.

2. Išbandyk su nemokamais kreditais

Pirmasis jos API raktas ateina su 10 nemokamų kreditų, tai yra 5 transkripcijos. Jais ji patikrina atsakymą keliems vaizdo įrašams formatu json (segmentai su offset ir duration sekundėmis) ir formatu text. Užklausos detalių ieškok vadove kaip gauti „YouTube“ transkripciją naudojant API, kuriame yra veikiantys curl, Python ir JavaScript pavyzdžiai.

3. Nustatyk automatinį papildymą

API skydelyje ji įjungia automatinį papildymą. Taisyklė: kai likutis nukrenta žemiau pasirinkto lygio, išsaugota kortelė apmokestinama už dar vieną paketą. Įkėlimo darbas toliau veikia visą naktį be rankinio papildymo.

4. Nustatyk biudžetus

Ją saugo dvi ribos:

• Mėnesio papildymo biudžetas, apribojantis, kiek automatinis papildymas gali išleisti per mėnesį.
• Mėnesio kreditų limitas. Jį pasiekus, tolesnės užklausos grąžina 402 budget_exceeded.

Ji taip pat įjungia el. pašto įspėjimus apie mažą likutį, 80 % mėnesio limito ir nepavykusius papildymus. Įspėjimai praneša apie problemą, kol dar yra laiko veikti.

5. Gerbk užklausų ribą

Kiekvienas raktas leidžia 60 užklausų per minutę. Tokiu tempu 10 000 užklausų užtrunka apie 167 minutes, mažiau nei tris valandas su vienu raktu. Ji paleidžia paprastą eilę, siunčiančią po vieną užklausą per sekundę, todėl lieka po riba be šuolių. Ji galėtų sukurti iki 5 aktyvių raktų, pavyzdžiui, vieną įkėlimui ir kitą programos tiesioginėms užklausoms, kad senų duomenų užpildymas niekada neužblokuotų naudotojo užklausos.

6. Tvarkyk vaizdo įrašus be transkripcijos

API grąžina tik esamus „YouTube“ subtitrus. Tiesioginės transliacijos, privatūs ar pašalinti vaizdo įrašai ir vaizdo įrašai be subtitrų grąžina 404 no_transcript. Jos eilėje ši būsena reiškia: pažymėk kaip praleistą ir eik toliau, niekada nekartok. Kadangi tos užklausos nieko nekainuoja, kanalas, pilnas vaizdo įrašų be subtitrų, nesudegina jos biudžeto.

Jos ciklas pseudokodu:

1. Paimk kitą vaizdo įrašo ID iš eilės.
2. Iškviesk API su format=json.
3. Pavykus: padalink segmentus į maždaug minutės trukmės gabalus, išsaugok kiekvieną gabalą su jo pradžios poslinkiu ir įterpk.
4. Esant 404 no_transcript: išsaugok žymą „nėra transkripcijos“.
5. Esant 402 budget_exceeded: sustabdyk eilę ir pranešk sau.
6. Esant serverio klaidai: bandyk dar kartą po delsos.

7. Tikrink likutį kode

Prieš kiekvieną didelę partiją ji kviečia GET /api/v1/credits. Jei likutis mažesnis, nei reikia partijai, o automatinis papildymas išjungtas, darbas atsisako pradėti. Tai pigi apsauga nuo pusiau baigto importo.

Ką ji gauna galiausiai

Po pirmos nakties indeksas turi beveik visų 10 000 vaizdo įrašų transkripcijas, o kiekvienas gabalas turi savo pradžios laiką. Kai naudotojas užduoda klausimą, asistentas cituoja pranešimą ir laiko žymą, o nuoroda atidaro vaizdo įrašą tuo momentu. Einamosios išlaidos mažos: 300 naujų vaizdo įrašų per mėnesį yra daugiausia 600 kreditų, maždaug $18 pagal 5 000 paketo kainą $0.030 už transkripciją.

Jei Maja prenumeruotų „Pro“, ji kas mėnesį gautų ir 100 papildomų kreditų, kurie padengia dalį to augimo.

Kur to nepakanka

• Nėra subtitrų, nėra transkripcijos. API netranskribuoja garso. Vaizdo įrašams be subtitrų reikia kito šaltinio, pavyzdžiui, kalbos pavertimo tekstu paslaugos, už kurią moki atskirai. Kai kurie kiti transkripcijų API siūlo garso atsarginį variantą, žr. „YouTube“ transkripcijų API palyginimą.
• Automatiniuose subtitruose yra klaidų. Dažniausiai nukenčia vardai ir žargonas. Atsakyme nurodoma, ar takelis sugeneruotas automatiškai, todėl tokius gabalus gali sverti arba pažymėti.
• Kalba yra subtitrų takelio kalba. Atsakyme nurodoma tikroji kalba, todėl nemanyk, kad ji sutampa su prašyta.
• Pralaidumas ribojamas pagal raktą. Labai didelis senų duomenų užpildymas yra valandų, o ne sekundžių klausimas.
• Jis grąžina tik transkripcijas. Skaidymas, įterpimas ir paieška yra tavo darbas. Jei reikia tik vieno vaizdo įrašo santraukos, naudok „YouTube“ santraukų kūrėją.

Šaltiniai

• „sum.video“ Transcript API
• „sum.video“ kainos