Транскрипти од YouTube за RAG апликација во голем обем: кредити, автоматско дополнување и буџети

Ако твојата RAG или AI апликација има потреба од транскрипти од YouTube во голем обем, практичното поставување е API за транскрипти со плаќање според употреба и однапред платени кредити, автоматско дополнување за долга задача за вчитување никогаш да не запре и месечен буџет за грешка да не ја надуе сметката. Овој преглед ја следи програмерката низ тоа поставување со Transcript API на sum.video.

Ситуацијата

Маја гради истражувачки асистент што одговара на прашања за говори од конференции. Нејзиниот индекс треба да опфати околу 10.000 видеа од YouTube од неколку стотини канали, а потоа да расте со околу 300 нови видеа месечно. Вчитувањето го извршува од мал сервер и не сака ниту да го чува, ниту да биде изненадена од сметка.

Нејзините услови се јасни: предвидлив трошок, никакво рачно дополнување среде задача и уредно справување со видеата без транскрипт.

Што ѝ треба

• Обичен текст за секое видео, подготвен за делење и вградување.
• Временски ознаки, за одговорот да може да поврзе со точниот момент во видеото.
• Трошок што може да го процени пред да почне.
• Цврста горна граница на трошењето.

Чекор по чекор

1. Прво процени го трошокот

Еден транскрипт чини 2 кредити, а барањата што не враќаат транскрипт не чинат ништо. За 10.000 видеа тоа е најмногу 20.000 кредити. Со пакетот од 5.000 кредити по $74.99 ($0.030 по транскрипт), 10.000 транскрипти чинат вкупно околу $300, малку помалку ако некои видеа немаат титлови. Помалите пакети чинат повеќе по транскрипт: $0.090 за 100 кредити, $0.056 за 500, $0.038 за 2.000. Страницата со цени ги има тековните детали.

Кредитите се купуваат еднаш и никогаш не истекуваат, па додека гради, не тече часовник на претплата.

2. Тестирај со бесплатните кредити

Нејзиниот прв API клуч доаѓа со 10 бесплатни кредити, односно 5 транскрипти. Со нив го проверува одговорот за неколку видеа во формат json (сегменти со offset и duration во секунди) и во формат text. За деталите на барањето, водичот како да добиеш транскрипт од YouTube со API има работни примери во curl, Python и JavaScript.

3. Постави автоматско дополнување

Во API таблата го вклучува автоматското дополнување. Правилото: кога салдото ќе падне под избраното ниво, зачуваната картичка се наплатува за уште еден пакет. Задачата за вчитување продолжува да работи цела ноќ без рачно дополнување.

4. Постави буџети

Ја штитат две ограничувања:

• Месечен буџет за дополнување, што ограничува колку може да потроши автоматското дополнување во еден месец.
• Месечен лимит на кредити. Кога ќе се достигне, понатамошните барања враќаат 402 budget_exceeded.

Вклучува и е-пошта известувања за ниско салдо, за 80% од месечниот лимит и за неуспешни дополнувања. Известувањата ја предупредуваат за проблем додека сè уште има време да реагира.

5. Почитувај го ограничувањето на брзината

Секој клуч дозволува 60 барања во минута. Со таков темпо, 10.000 барања траат околу 167 минути, помалку од три часа со еден клуч. Извршува едноставна редица што испраќа едно барање во секунда, па останува под лимитот без скокови. Може да создаде до 5 активни клучеви, на пример еден за вчитување и еден за пребарувањата во живо на апликацијата, за дополнувањето на стари податоци никогаш да не блокира барање на корисник.

6. Справи се со видеата без транскрипт

API ги враќа само постоечките титлови од YouTube. Преносите во живо, приватните или отстранетите видеа и видеата без титлови враќаат 404 no_transcript. Во нејзината редица тој статус значи: означи како прескокнато и продолжи, никогаш не повторувај. Бидејќи тие барања не чинат ништо, канал полн со видеа без титлови не го согорува нејзиниот буџет.

Нејзината јамка, во псевдокод:

1. Земи го следниот ID на видео од редицата.
2. Повикај го API со format=json.
3. При успех: подели ги сегментите на парчиња од околу една минута, зачувај го секое парче со неговиот почетен офсет и вгради го.
4. При 404 no_transcript: зачувај ознака „нема транскрипт“.
5. При 402 budget_exceeded: паузирај ја редицата и извести се себеси.
6. При грешка на серверот: обиди се повторно по пауза.

7. Провери го салдото во кодот

Пред секоја голема серија го повикува GET /api/v1/credits. Ако салдото е помало од потребното за серијата, а автоматското дополнување е исклучено, задачата одбива да започне. Тоа е евтина заштита од напола завршен увоз.

Со што завршува

По првата ноќ, индексот ги содржи транскриптите на скоро сите 10.000 видеа, а секое парче го носи своето време на почеток. Кога корисникот поставува прашање, асистентот цитира говор и временска ознака, а врската го отвора видеото во тој момент. Тековниот трошок е мал: 300 нови видеа месечно се најмногу 600 кредити, околу $18 по тарифата на пакетот од 5.000 од $0.030 по транскрипт.

Ако Маја се претплати на Pro, ќе добива и 100 бонус кредити секој месец, што покрива дел од тој раст.

Каде не е доволно

• Без титлови нема транскрипт. API не го транскрибира звукот. За видеа без титлови ти треба друг извор, како услуга за претворање говор во текст, за која плаќаш одделно. Некои други API за транскрипти нудат аудио резерва, види споредбата на API за транскрипти од YouTube.
• Автоматските титлови имаат грешки. Имињата и жаргонот обично најмногу страдаат. Одговорот кажува дали патеката е автоматски создадена, па можеш да им дадеш тежина или да ги означиш тие парчиња.
• Јазикот е јазикот на титл-патеката. Одговорот го кажува вистинскиот јазик, па не претпоставувај дека се совпаѓа со побараниот.
• Пропусната моќ е ограничена по клуч. Многу големо дополнување на стари податоци е прашање на часови, не на секунди.
• Враќа само транскрипти. Делењето, вградувањето и пронаоѓањето се твоја работа. Ако ти треба само резиме на едно видео, користи го резимерот за YouTube.

Извори

• Transcript API на sum.video
• Цени на sum.video