Транскрипти от YouTube за RAG приложение в голям мащаб: кредити, автоматично зареждане и бюджети

Ако твоето RAG или AI приложение има нужда от транскрипти от YouTube в голям мащаб, практичната настройка е API за транскрипти с плащане при употреба и предплатени кредити, автоматично зареждане, за да не спира никога дълга задача за вкарване на данни, и месечен бюджет, за да не надуе сметката някоя грешка. Това ръководство следва една разработчичка през тази настройка с API за транскрипти на sum.video.

Ситуацията

Мая изгражда изследователски асистент, който отговаря на въпроси за конферентни доклади. Индексът ѝ трябва да покрие около 10 000 видеа от YouTube от няколкостотин канала, а след това да расте с около 300 нови видеа на месец. Тя пуска вкарването на данните от малък сървър и не иска нито да го наблюдава, нито да я изненада някоя сметка.

Изискванията ѝ са прости: предвидима цена, никакво ръчно зареждане по средата на задача и чисто третиране на видеата без транскрипт.

От какво има нужда

• Обикновен текст за всяко видео, готов за разделяне и векторизиране.
• Времеви отметки, за да може отговорът да сочи към точния момент във видеото.
• Цена, която може да прецени, преди да започне.
• Твърд таван на разходите.

Стъпка по стъпка

1. Първо оцени цената

Един транскрипт струва 2 кредита, а заявките, които не връщат транскрипт, не струват нищо. За 10 000 видеа това са най-много 20 000 кредита. С пакета от 5 000 кредита за $74.99 ($0.030 на транскрипт) 10 000 транскрипта струват общо около $300, малко по-малко, ако някои видеа нямат субтитри. По-малките пакети струват повече на транскрипт: $0.090 при 100 кредита, $0.056 при 500, $0.038 при 2 000. Страницата с цените има актуалните подробности.

Кредитите се купуват веднъж и никога не изтичат, така че докато изгражда, не тече абонаментен часовник.

2. Тествай с безплатните кредити

Първият ѝ API ключ идва с 10 безплатни кредита, тоест 5 транскрипта. С тях проверява отговора за няколко видеа във формат json (сегменти с offset и duration в секунди) и във формат text. За подробностите около заявката ръководството как да вземеш транскрипт от YouTube през API има работещи примери на curl, Python и JavaScript.

3. Настрой автоматичното зареждане

В таблото за API включва автоматичното зареждане. Правилото: когато балансът падне под избрано ниво, запазената карта се таксува за още един пакет. Задачата за вкарване на данни продължава цяла нощ без ръчно зареждане.

4. Задай бюджетите

Две ограничения я пазят:

• Месечен бюджет за зареждане, който ограничава колко може да изхарчи автоматичното зареждане за месец.
• Месечен лимит на кредитите. Когато бъде достигнат, следващите заявки връщат 402 budget_exceeded.

Тя включва и имейл известия за нисък баланс, за 80% от месечния лимит и за неуспешни зареждания. Известията ѝ казват за проблема, докато още има време да действа.

5. Спазвай ограничението на честотата

Всеки ключ позволява 60 заявки в минута. С това темпо 10 000 заявки отнемат около 167 минути, под три часа с един ключ. Тя пуска проста опашка, която изпраща по една заявка в секунда, така че остава под лимита без пикове. Може да създаде до 5 активни ключа, например един за вкарването и един за живите търсения на приложението, за да не блокира никога допълването на стари данни заявка на потребител.

6. Обработи видеата без транскрипт

API връща само съществуващи субтитри от YouTube. Стриймовете на живо, частните или изтритите видеа и видеата без субтитри връщат 404 no_transcript. В опашката ѝ този статус означава: отбележи като пропуснато и продължи, никога не повтаряй. Тъй като тези заявки не струват нищо, канал, пълен с видеа без субтитри, не изгаря бюджета ѝ.

Цикълът ѝ, в псевдокод:

1. Вземи следващия идентификатор на видео от опашката.
2. Извикай API с format=json.
3. При успех: раздели сегментите на парчета от около една минута, запази всяко парче с началното му отместване и го векторизирай.
4. При 404 no_transcript: запази маркер "няма транскрипт".
5. При 402 budget_exceeded: паузирай опашката и предупреди себе си.
6. При грешка на сървъра: опитай отново след забавяне.

7. Проверявай баланса в кода

Преди всяка голяма партида тя извиква GET /api/v1/credits. Ако балансът е по-малък от нужния на партидата и автоматичното зареждане е изключено, задачата отказва да започне. Това е евтина защита срещу наполовина завършен импорт.

С какво свършва

След първата нощ индексът съдържа транскриптите на почти всички 10 000 видеа, като всяко парче носи началното си време. Когато потребител зададе въпрос, асистентът цитира доклад и времева отметка, а връзката отваря видеото в този момент. Текущата цена е малка: 300 нови видеа на месец са най-много 600 кредита, около $18 при тарифата на пакета от 5 000 от $0.030 на транскрипт.

Ако Мая се абонираше за Pro, тя щеше да получава и 100 бонус кредита всеки месец, което покрива част от този растеж.

Къде е недостатъчно

• Без субтитри няма транскрипт. API не разпознава аудио. За видеа без субтитри ти трябва друг източник, като услуга за превръщане на реч в текст, която плащаш отделно. Някои други API за транскрипти предлагат аудио резервен вариант, виж сравнението на API за транскрипти от YouTube.
• Автоматичните субтитри имат грешки. Имената и жаргонът обикновено страдат най-много. Отговорът казва дали дадена писта е генерирана автоматично, така че можеш да даваш тежест или да маркираш такива парчета.
• Езикът е този на субтитровата писта. Отговорът съобщава реалния език, така че не приемай, че съвпада с поискания.
• Пропускателната способност е ограничена на ключ. Много голямо допълване на стари данни е въпрос на часове, не на секунди.
• Връща само транскрипти. Разделянето, векторизирането и извличането са твоя работа. Ако ти трябва само резюмето на едно видео, използвай обобщителя за YouTube.

Източници

• API за транскрипти на sum.video
• Цени на sum.video