Transkripte YouTube për një aplikacion RAG në shkallë të madhe: kredite, rimbushje automatike dhe buxhete

Nëse aplikacioni yt RAG ose i AI-së ka nevojë për transkripte YouTube në shkallë të madhe, zgjidhja praktike është një API transkriptesh me pagesë sipas përdorimit dhe kredite të paguara paraprakisht, një rimbushje automatike që një import i gjatë të mos ndalet kurrë, dhe një buxhet mujor që një gabim të mos e fryjë faturën. Ky shembull ndjek një zhvilluese gjatë këtij konfigurimi me API-n e transkripteve të sum.video.

Situata

Maya po ndërton një asistent kërkimor që u përgjigjet pyetjeve për ligjërata konferencash. Indeksi i saj duhet të mbulojë rreth 10,000 video YouTube nga disa qindra kanale, pastaj të rritet me rreth 300 video të reja në muaj. Importin e ekzekuton nga një server i vogël dhe nuk do ta mbikëqyrë, as të befasohet nga një faturë.

Kushtet e saj janë të qarta: kosto e parashikueshme, pa rimbushje manuale në mes të një pune dhe trajtim i pastër i videove pa transkript.

Çfarë i duhet

• Tekst i thjeshtë për çdo video, gati për t'u ndarë në pjesë dhe për embedding.
• Vula kohore, që një përgjigje të lidhet me çastin e saktë të videos.
• Një kosto që mund ta vlerësojë para se të fillojë.
• Një tavan i prerë i shpenzimeve.

Hap pas hapi

1. Vlerëso së pari koston

Një transkript kushton 2 kredite, dhe kërkesat që nuk kthejnë transkript nuk kushtojnë asgjë. Për 10,000 video janë më së shumti 20,000 kredite. Me paketën 5,000 kredite për $74.99 ($0.030 për transkript), 10,000 transkripte kushtojnë gjithsej rreth $300, pak më pak nëse disa video nuk kanë titra. Paketat më të vogla kushtojnë më shumë për transkript: $0.090 me 100 kredite, $0.056 me 500, $0.038 me 2,000. Faqja e çmimeve ka detajet aktuale.

Kreditet blihen një herë dhe nuk skadojnë kurrë, ndaj nuk ka asnjë orë abonimi që ecën ndërsa ajo ndërton.

2. Testo me kreditet falas

Çelësi i saj i parë API vjen me 10 kredite falas, pra 5 transkripte. I përdor për të kontrolluar përgjigjen për disa video në formatin json (segmente me offset dhe duration në sekonda) dhe në formatin text. Nëse do detajet e kërkesës, udhëzuesi si ta marrësh transkriptin e një videoje në YouTube me një API ka shembuj që funksionojnë në curl, Python dhe JavaScript.

3. Vendos rimbushjen automatike

Në panelin e API-së ajo e ndez rimbushjen automatike. Rregulli: kur gjendja bie nën një nivel të zgjedhur, karta e ruajtur tarifohet për një paketë tjetër. Importi vazhdon gjatë natës pa rimbushje manuale.

4. Vendos buxhetet

Dy kufij e mbrojnë:

• Një buxhet mujor rimbushjeje, që kufizon sa mund të shpenzojë rimbushja automatike në një muaj.
• Një kufi mujor kreditesh. Kur arrihet, kërkesat e mëtejshme kthejnë 402 budget_exceeded.

Ajo ndez edhe njoftimet me email për gjendje të ulët, për 80% të kufirit mujor dhe për rimbushje të dështuara. Njoftimet e lajmërojnë për një problem ndërsa ka ende kohë për të vepruar.

5. Respekto kufirin e kërkesave

Çdo çelës lejon 60 kërkesa në minutë. Me këtë ritëm, 10,000 kërkesa zgjasin rreth 167 minuta, nën tre orë me një çelës të vetëm. Ajo ekzekuton një radhë të thjeshtë që dërgon një kërkesë në sekondë, ndaj qëndron nën kufi pa rrëmbime. Mund të krijojë deri në 5 çelësa aktivë, për shembull një për importin dhe një për kërkimet live të aplikacionit, që një plotësim i historikut të mos bllokojë kurrë kërkesën e një përdoruesi.

6. Trajto videot pa transkript

API-ja kthen vetëm titrat ekzistues të YouTube. Transmetimet live, videot private ose të hequra dhe videot pa titra kthejnë 404 no_transcript. Në radhën e saj ky status do të thotë shëno si të anashkaluar dhe vazhdo, mos provo kurrë përsëri. Meqë ato kërkesa nuk kushtojnë asgjë, një kanal plot video pa titra nuk e harxhon buxhetin e saj.

Cikli i saj, në pseudokod:

1. Merr ID-në e videos tjetër nga radha.
2. Thirr API-n me format=json.
3. Në sukses: ndaj segmentet në pjesë prej rreth një minute, ruaj çdo pjesë me offset-in e saj të fillimit dhe bëj embedding.
4. Te 404 no_transcript: ruaj një shenjë "pa transkript".
5. Te 402 budget_exceeded: ndale radhën dhe njoftoje veten.
6. Te një gabim serveri: provo sërish pas një vonese.

7. Kontrollo gjendjen në kod

Para çdo grupi të madh ajo thërret GET /api/v1/credits. Nëse gjendja është më e ulët se ç'i duhet grupit dhe rimbushja automatike është e fikur, puna refuzon të nisë. Është një mbrojtje e lirë kundër një importi gjysmë të kryer.

Çfarë arrin

Pas natës së parë, indeksi përmban transkriptet e pothuajse të gjitha 10,000 videove, çdo pjesë me kohën e saj të fillimit. Kur një përdorues bën një pyetje, asistenti citon një ligjëratë dhe një vulë kohore, dhe lidhja e hap videon në atë çast. Kostoja vijuese është e vogël: 300 video të reja në muaj janë më së shumti 600 kredite, rreth $18 me çmimin e paketës 5,000, $0.030 për transkript.

Nëse Maya do të kishte Pro, do të merrte edhe 100 kredite bonus çdo muaj, që mbulojnë një pjesë të kësaj rritjeje.

Ku nuk mjafton

• Pa titra, pa transkript. API-ja nuk e transkripton audion. Për videot pa titra të duhet një burim tjetër, si një shërbim speech-to-text, që e paguan veçmas. Disa API të tjera transkriptesh ofrojnë një alternativë me audio, shih krahasimin e API-ve të transkripteve të YouTube.
• Titrat automatikë kanë gabime. Emrat dhe zhargoni janë viktimat e zakonshme. Përgjigjja tregon nëse një pistë është e gjeneruar automatikisht, ndaj mund t'u japësh më pak peshë atyre pjesëve ose t'i shënosh.
• Gjuha është ajo e pistës së titrave. Përgjigjja raporton gjuhën reale, ndaj mos supozo se përputhet me atë që kërkove.
• Kapaciteti kufizohet për çelës. Një plotësim shumë i madh është çështje orësh, jo sekondash.
• Kthen vetëm transkripte. Ndarja në pjesë, embedding-u dhe gjetja janë punë e jotja. Nëse të duhet vetëm përmbledhja e një videoje, përdor përmbledhësin e YouTube.

Burimet

• API-ja e transkripteve të sum.video
• Çmimet e sum.video