YouTube транскрипти за RAG апликацију у великом обиму: кредити, аутоматско допуњавање и буџети

Ако твојој RAG или AI апликацији требају YouTube транскрипти у великом обиму, практична поставка је API за транскрипте са плаћањем по употреби и унапред купљеним кредитима, аутоматско допуњавање да дугачак увоз никада не стане, и месечни буџет да грешка не надује рачун. Овај пример прати једну програмерку кроз ту поставку са sum.video API-јем за транскрипте.

Ситуација

Маја гради истраживачког асистента који одговара на питања о конференцијским излагањима. Њен индекс треба да покрије око 10,000 YouTube видео-снимака са неколико стотина канала, а затим да расте за отприлике 300 нових снимака месечно. Увоз покреће са малог сервера и не жели да га чува нити да је изненади рачун.

Њени услови су јасни: предвидив трошак, без ручног допуњавања усред посла и чисто руковање снимцима без транскрипта.

Шта јој треба

• Обичан текст сваког снимка, спреман за дељење на делове и embedding.
• Временске ознаке, да одговор може да води до тачног тренутка у снимку.
• Трошак који може да процени пре почетка.
• Чврст плафон потрошње.

Корак по корак

1. Прво процени трошак

Један транскрипт кошта 2 кредита, а захтеви који не врате транскрипт не коштају ништа. За 10,000 снимака то је највише 20,000 кредита. Са пакетом од 5,000 кредита за $74.99 ($0.030 по транскрипту), 10,000 транскрипата кошта укупно око $300, нешто мање ако неки снимци немају титлове. Мањи пакети коштају више по транскрипту: $0.090 за 100 кредита, $0.056 за 500, $0.038 за 2,000. Страница са ценама има актуелне детаље.

Кредити се купују једном и никада не истичу, па не тече никакав сат претплате док она гради.

2. Тестирај са бесплатним кредитима

Њен први API кључ долази са 10 бесплатних кредита, то јест 5 транскрипата. Користи их да провери одговор за неколико снимака у формату json (сегменти са offset и duration у секундама) и у формату text. Ако желиш детаље захтева, водич како добити транскрипт YouTube видеа помоћу API-ја има примере који раде у curl-у, Python-у и JavaScript-у.

3. Подеси аутоматско допуњавање

На API контролној табли она укључује аутоматско допуњавање. Правило: када стање падне испод изабраног нивоа, сачувана картица се терети за још један пакет. Увоз траје преко ноћи без ручног допуњавања.

4. Подеси буџете

Штите је два ограничења:

• Месечни буџет допуњавања, који ограничава колико аутоматско допуњавање може да потроши за месец.
• Месечно ограничење кредита. Када се достигне, даљи захтеви враћају 402 budget_exceeded.

Укључује и имејл обавештења за ниско стање, за 80% месечног ограничења и за неуспела допуњавања. Обавештења јој јављају о проблему док још има времена да делује.

5. Поштуј ограничење брзине

Сваки кључ дозвољава 60 захтева у минути. Том брзином 10,000 захтева траје отприлике 167 минута, мање од три сата са једним кључем. Она користи једноставан ред који шаље један захтев у секунди, па остаје испод ограничења без налета. Може да направи до 5 активних кључева, на пример један за увоз и један за живе упите апликације, да допуна историје никада не блокира захтев корисника.

6. Обради снимке без транскрипта

API враћа само постојеће YouTube титлове. Преноси уживо, приватни или уклоњени снимци и снимци без титлова враћају 404 no_transcript. У њеном реду тај статус значи означи као прескочено и настави, никада не понављај. Пошто ти захтеви не коштају ништа, канал пун снимака без титлова не троши њен буџет.

Њена петља, у псеудокоду:

1. Узми следећи ID снимка из реда.
2. Позови API са format=json.
3. При успеху: подели сегменте на делове од око минут, сваки сачувај са његовим почетним offset-ом и направи embedding.
4. При 404 no_transcript: сачувај ознаку „нема транскрипта".
5. При 402 budget_exceeded: паузирај ред и обавести себе.
6. При грешци сервера: покушај поново после паузе.

7. Провери стање у коду

Пре сваке велике серије она позива GET /api/v1/credits. Ако је стање мање него што серија треба, а аутоматско допуњавање је искључено, посао одбија да почне. То је јефтина заштита од напола завршеног увоза.

Шта на крају добија

После прве ноћи индекс садржи транскрипте скоро свих 10,000 снимака, сваки део са својим почетним временом. Када корисник постави питање, асистент цитира излагање и временску ознаку, а веза отвара снимак у том тренутку. Текући трошак је мали: 300 нових снимака месечно је највише 600 кредита, око $18 по цени пакета од 5,000 кредита од $0.030 по транскрипту.

Да Маја има Pro, добијала би и 100 бонус кредита месечно, што покрива део тог раста.

Где то није довољно

• Нема титлова, нема транскрипта. API не транскрибује звук. За снимке без титлова треба ти други извор, као што је сервис за претварање говора у текст, који плаћаш посебно. Неки други API-ји за транскрипте нуде аудио резерву, погледај поређење API-ја за YouTube транскрипте.
• Аутоматски титлови имају грешке. Имена и жаргон су уобичајене жртве. Одговор говори да ли је трака аутоматска, па таквим деловима можеш дати мању тежину или их означити.
• Језик је језик траке титлова. Одговор пријављује стварни језик, па не претпостављај да се поклапа са траженим.
• Пропусност је ограничена по кључу. Веома велика допуна је питање сати, не секунди.
• Враћа само транскрипте. Дељење на делове, embedding и претрага су твој посао. Ако ти треба само сажетак једног снимка, користи YouTube сажимач.

Извори

• sum.video API за транскрипте
• sum.video цене