YouTube-litteraatiot RAG-sovellukselle suuressa mittakaavassa: krediitit, automaattinen lataus ja budjetit

Jos RAG- tai tekoälysovelluksesi tarvitsee YouTube-litteraatioita suuressa mittakaavassa, käytännöllinen järjestely on käyttöpohjainen litteraatio-API ennakkoon maksetuilla krediiteillä, automaattinen lataus, jotta pitkä tuontityö ei koskaan pysähdy, ja kuukausibudjetti, jotta virhe ei paisuta laskua. Tämä läpikäynti seuraa kehittäjää tässä järjestelyssä sum.videon Transcript API:n avulla.

Tilanne

Maya rakentaa tutkimusavustajaa, joka vastaa kysymyksiin konferenssipuheista. Hänen indeksinsä pitää kattaa noin 10 000 YouTube-videota muutamalta sadalta kanavalta ja kasvaa sitten noin 300 uudella videolla kuukaudessa. Hän ajaa tuonnin pieneltä palvelimelta eikä halua vahtia sitä eikä yllättyä laskusta.

Hänen vaatimuksensa ovat selkeät: ennustettavat kustannukset, ei käsin tehtävää lataamista kesken työn ja siisti käsittely videoille, joilla ei ole litteraatiota.

Mitä hän tarvitsee

• Pelkkää tekstiä jokaisesta videosta, valmiina pilkottavaksi ja upotettavaksi.
• Aikaleimat, jotta vastaus voi linkittää videon tarkkaan hetkeen.
• Kustannus, jonka hän voi arvioida ennen aloittamista.
• Kova yläraja menoille.

Vaihe vaiheelta

1. Arvioi ensin kustannus

Yksi litteraatio maksaa 2 krediittiä, ja pyynnöt, jotka eivät palauta litteraatiota, eivät maksa mitään. 10 000 videolle se on enintään 20 000 krediittiä. 5 000 krediitin paketilla hintaan $74.99 ($0.030 litteraatiota kohti) 10 000 litteraatiota maksaa yhteensä noin $300, hieman vähemmän, jos joillakin videoilla ei ole tekstityksiä. Pienemmät paketit maksavat enemmän litteraatiota kohti: $0.090 100 krediitin paketilla, $0.056 500:n, $0.038 2 000:n. Hintasivulla on ajankohtaiset tiedot.

Krediitit ostetaan kerran eivätkä ne vanhene koskaan, joten tilausaika ei tikitä hänen rakentaessaan.

2. Testaa ilmaisilla krediiteillä

Hänen ensimmäisen API-avaimensa mukana tulee 10 ilmaista krediittiä, eli 5 litteraatiota. Niillä hän tarkistaa vastauksen muutamalle videolle json-muodossa (segmentit, joissa offset ja duration sekunteina) ja text-muodossa. Pyynnön yksityiskohdat löytyvät oppaasta kuinka hakea YouTube-litteraatio API:n avulla, jossa on toimivat curl-, Python- ja JavaScript-esimerkit.

3. Ota automaattinen lataus käyttöön

API-hallintapaneelissa hän kytkee automaattisen latauksen päälle. Sääntö: kun saldo laskee valitun tason alle, tallennetulta kortilta veloitetaan toisen paketin hinta. Tuontityö jatkuu läpi yön ilman käsin tehtävää lataamista.

4. Aseta budjetit

Kaksi rajaa suojaa häntä:

• Kuukausittainen latausbudjetti, joka rajoittaa, kuinka paljon automaattinen lataus saa kuluttaa kuukaudessa.
• Kuukausittainen krediittiraja. Kun se saavutetaan, seuraavat pyynnöt palauttavat 402 budget_exceeded.

Hän ottaa käyttöön myös sähköpostihälytykset matalasta saldosta, 80 %:sta kuukausirajasta ja epäonnistuneista latauksista. Hälytykset kertovat ongelmasta, kun toimintaan on vielä aikaa.

5. Kunnioita pyyntörajaa

Jokainen avain sallii 60 pyyntöä minuutissa. Tällä tahdilla 10 000 pyyntöä vie noin 167 minuuttia, alle kolme tuntia yhdellä avaimella. Hän ajaa yksinkertaista jonoa, joka lähettää yhden pyynnön sekunnissa, joten hän pysyy rajan alla ilman piikkejä. Hän voisi luoda enintään 5 aktiivista avainta, esimerkiksi yhden tuontiin ja toisen sovelluksen reaaliaikaisiin hakuihin, jotta vanhojen tietojen täyttö ei koskaan estä käyttäjän pyyntöä.

6. Käsittele videot ilman litteraatiota

API palauttaa vain olemassa olevat YouTube-tekstitykset. Suorat lähetykset, yksityiset tai poistetut videot ja videot ilman tekstityksiä palauttavat 404 no_transcript. Hänen jonossaan tämä tila tarkoittaa: merkitse ohitetuksi ja jatka, älä koskaan yritä uudelleen. Koska nämä pyynnöt eivät maksa mitään, kanava täynnä videoita ilman tekstityksiä ei polta hänen budjettiaan.

Hänen silmukkansa pseudokoodina:

1. Ota jonosta seuraava videotunniste.
2. Kutsu APIa arvolla format=json.
3. Onnistuessa: jaa segmentit noin minuutin paloihin, tallenna jokainen pala alkusiirtymineen ja upota se.
4. Tilassa 404 no_transcript: tallenna merkintä "ei litteraatiota".
5. Tilassa 402 budget_exceeded: keskeytä jono ja ilmoita itsellesi.
6. Palvelinvirheessä: yritä uudelleen viiveen jälkeen.

7. Tarkista saldo koodissa

Ennen jokaista suurta erää hän kutsuu GET /api/v1/credits. Jos saldo on pienempi kuin erä vaatii ja automaattinen lataus on pois päältä, työ kieltäytyy käynnistymästä. Se on halpa suoja puolivalmista tuontia vastaan.

Mihin hän päätyy

Ensimmäisen yön jälkeen indeksi sisältää lähes kaikkien 10 000 videon litteraatiot, ja jokaisella palalla on alkuaikansa. Kun käyttäjä esittää kysymyksen, avustaja siteeraa puhetta ja aikaleimaa, ja linkki avaa videon kyseisestä hetkestä. Jatkuvat kustannukset ovat pienet: 300 uutta videota kuukaudessa on enintään 600 krediittiä, noin $18 5 000 paketin hinnalla $0.030 litteraatiota kohti.

Jos Maya tilaisi Pron, hän saisi myös 100 bonuskrediittiä joka kuukausi, mikä kattaa osan tästä kasvusta.

Missä tämä jää vajaaksi

• Ei tekstityksiä, ei litteraatiota. API ei litteroi ääntä. Videoille ilman tekstityksiä tarvitset toisen lähteen, kuten puheesta tekstiksi -palvelun, jonka maksat erikseen. Jotkin muut litteraatio-API:t tarjoavat ääniperäisen varavaihtoehdon, katso YouTube-litteraatio-API:en vertailu.
• Automaattisissa tekstityksissä on virheitä. Nimet ja ammattisanasto kärsivät yleensä eniten. Vastaus kertoo, onko raita luotu automaattisesti, joten voit painottaa tai merkitä nuo palat.
• Kieli on tekstitysraidan kieli. Vastaus ilmoittaa todellisen kielen, joten älä oleta sen vastaavan pyytämääsi.
• Läpimeno on rajattu avainta kohti. Hyvin suuri vanhojen tietojen täyttö on tuntien, ei sekuntien asia.
• Se palauttaa vain litteraatioita. Pilkkominen, upottaminen ja haku ovat sinun tehtäväsi. Jos tarvitset vain yhden videon tiivistelmän, käytä YouTube-tiivistäjää.

Lähteet

• sum.videon Transcript API
• sum.videon hinnat