YouTube-textanir fyrir RAG-forrit í stórum stíl: einingar, sjálfvirk áfylling og fjárhagsáætlanir

Ef RAG- eða gervigreindarforritið þitt þarf YouTube-textanir í stórum stíl er hagnýta uppsetningin textunar-API með greiðslu eftir notkun og fyrirframgreiddum einingum, sjálfvirk áfylling svo löng innlestrarvinna stöðvist aldrei og mánaðarleg fjárhagsáætlun svo villa blási ekki upp reikninginn. Þessi yfirferð fylgir þróunaraðila í gegnum þá uppsetningu með Transcript API frá sum.video.

Aðstæður

Maya er að smíða rannsóknaraðstoðarmann sem svarar spurningum um ráðstefnuerindi. Vísitalan hennar á að ná yfir um það bil 10.000 YouTube-myndbönd frá nokkrum hundruðum rása og vaxa síðan um um það bil 300 ný myndbönd á mánuði. Hún keyrir innlesturinn frá litlum netþjóni og vill hvorki sitja yfir honum né láta reikning koma sér á óvart.

Kröfur hennar eru einfaldar: fyrirsjáanlegur kostnaður, engin handvirk áfylling í miðri vinnu og snyrtileg meðhöndlun myndbanda án textunar.

Hvað hún þarf

• Venjulegan texta fyrir hvert myndband, tilbúinn til skiptingar og innfellingar.
• Tímastimpla, svo svar geti vísað á nákvæmt augnablik í myndbandinu.
• Kostnað sem hún getur áætlað áður en hún byrjar.
• Harða efri mörk á útgjöld.

Skref fyrir skref

1. Áætlaðu kostnaðinn fyrst

Ein textun kostar 2 einingar og beiðnir sem skila engri textun kosta ekkert. Fyrir 10.000 myndbönd eru það í mesta lagi 20.000 einingar. Með 5.000 eininga pakkanum á $74.99 ($0.030 á hverja textun) kosta 10.000 textanir alls um $300, aðeins minna ef sum myndbönd hafa engan texta. Minni pakkar kosta meira á hverja textun: $0.090 fyrir 100 einingar, $0.056 fyrir 500, $0.038 fyrir 2.000. Verðsíðan hefur nýjustu upplýsingar.

Einingar eru keyptar einu sinni og renna aldrei út, svo engin áskriftarklukka tifar meðan hún smíðar.

2. Prófaðu með ókeypis einingunum

Fyrsti API-lykillinn hennar kemur með 10 ókeypis einingum, það eru 5 textanir. Hún notar þær til að athuga svarið fyrir nokkur myndbönd á sniðinu json (hlutar með offset og duration í sekúndum) og á sniðinu text. Fyrir smáatriði beiðninnar er leiðarvísirinn hvernig fæst YouTube-textun með API með virkum dæmum í curl, Python og JavaScript.

3. Settu upp sjálfvirka áfyllingu

Á API-stjórnborðinu kveikir hún á sjálfvirkri áfyllingu. Reglan: þegar staðan fer niður fyrir valið stig er vistað kort skuldfært fyrir annan pakka. Innlestrarvinnan heldur áfram alla nóttina án handvirkrar áfyllingar.

4. Settu fjárhagsáætlanir

Tvenn mörk vernda hana:

• Mánaðarleg áfyllingaráætlun, sem takmarkar hversu miklu sjálfvirk áfylling má eyða á mánuði.
• Mánaðarleg einingamörk. Þegar þeim er náð skila frekari beiðnir 402 budget_exceeded.

Hún kveikir einnig á tölvupósttilkynningum um lága stöðu, um 80% af mánaðarmörkunum og um misheppnaðar áfyllingar. Tilkynningarnar segja henni frá vandamáli meðan enn er tími til að bregðast við.

5. Virtu hraðatakmarkið

Hver lykill leyfir 60 beiðnir á mínútu. Á þeim hraða taka 10.000 beiðnir um 167 mínútur, innan við þrjár klukkustundir með einum lykli. Hún keyrir einfalda biðröð sem sendir eina beiðni á sekúndu, svo hún helst undir mörkunum án toppa. Hún gæti búið til allt að 5 virka lykla, til dæmis einn fyrir innlestur og einn fyrir lifandi uppflettingar forritsins, svo útfylling eldri gagna loki aldrei á beiðni notanda.

6. Meðhöndlaðu myndbönd án textunar

API skilar aðeins núverandi YouTube-texta. Beinar útsendingar, einka- eða fjarlægð myndbönd og myndbönd án texta skila 404 no_transcript. Í biðröðinni hennar þýðir sú staða: merktu sem sleppt og haltu áfram, reyndu aldrei aftur. Þar sem þessar beiðnir kosta ekkert brennir rás full af myndböndum án texta ekki fjárhagsáætlun hennar.

Lykkjan hennar, í gervikóða:

1. Taktu næsta myndbandsauðkenni úr biðröðinni.
2. Kallaðu í API með format=json.
3. Ef það tekst: skiptu hlutunum í bita um það bil einnar mínútu, vistaðu hvern bita með upphafsfærslu hans og felldu hann inn.
4. Við 404 no_transcript: vistaðu merkið „engin textun“.
5. Við 402 budget_exceeded: settu biðröðina á bið og láttu sjálfa þig vita.
6. Við netþjónsvillu: reyndu aftur eftir töf.

7. Athugaðu stöðuna í kóða

Fyrir hverja stóra runu kallar hún í GET /api/v1/credits. Ef staðan er lægri en runan þarf og slökkt er á sjálfvirkri áfyllingu neitar vinnan að byrja. Það er ódýr vörn gegn hálfkláruðum innflutningi.

Hvað hún endar með

Eftir fyrstu nóttina inniheldur vísitalan textanir nánast allra 10.000 myndbandanna og hver biti ber upphafstíma sinn. Þegar notandi spyr spurningar vitnar aðstoðarmaðurinn í erindi og tímastimpil og tengillinn opnar myndbandið á því augnabliki. Áframhaldandi kostnaður er lítill: 300 ný myndbönd á mánuði eru í mesta lagi 600 einingar, um $18 á taxta 5.000 eininga pakkans sem er $0.030 á hverja textun.

Ef Maya væri áskrifandi að Pro fengi hún einnig 100 bónuseiningar í hverjum mánuði, sem dekka hluta af þeim vexti.

Hvar þetta fellur stutt

• Enginn texti, engin textun. API umritar ekki hljóð. Fyrir myndbönd án texta þarftu aðra uppsprettu, svo sem tal-í-texta þjónustu, sem þú greiðir sérstaklega fyrir. Sum önnur textunar-API bjóða varaleið fyrir hljóð, sjá samanburð á YouTube-textunar-API.
• Sjálfvirkur texti hefur villur. Nöfn og fagmál verða yfirleitt verst úti. Svarið segir hvort rás var búin til sjálfvirkt, svo þú getur vegið eða merkt slíka bita.
• Tungumálið er tungumál textarásarinnar. Svarið greinir frá raunverulegu tungumáli, svo ekki gera ráð fyrir að það passi við það sem þú baðst um.
• Afköst eru takmörkuð á hvern lykil. Mjög stór útfylling eldri gagna er spurning um klukkustundir, ekki sekúndur.
• Það skilar aðeins textunum. Skipting, innfelling og endurheimt er þitt verk. Ef þú þarft aðeins samantekt eins myndbands, notaðu YouTube-samantektarann.

Heimildir

• Transcript API frá sum.video
• Verð sum.video