Transkrypcje YouTube dla aplikacji RAG na dużą skalę: kredyty, automatyczne doładowanie i budżety

Jeśli twoja aplikacja RAG lub AI potrzebuje transkrypcji z YouTube na dużą skalę, praktyczne rozwiązanie to API transkrypcji w modelu pay-as-you-go z przedpłaconymi kredytami, automatycznym doładowaniem, żeby długie zadanie nigdy nie stanęło, oraz miesięcznym budżetem, żeby błąd w kodzie nie wygenerował rachunku. Ten opis krok po kroku pokazuje, jak jedna deweloperka przechodzi przez taką konfigurację z sum.video Transcript API.

Sytuacja

Maya buduje asystenta badawczego, który odpowiada na pytania o wystąpienia konferencyjne. Jej indeks ma objąć około 10 000 filmów z YouTube z kilkuset kanałów, a potem rosnąć o około 300 nowych filmów miesięcznie. Pobieranie uruchamia z małego serwera i nie chce ani pilnować go na bieżąco, ani dostać niespodziewanej faktury.

Jej wymagania są proste: przewidywalny koszt, brak ręcznych doładowań w środku zadania i sensowna obsługa filmów bez transkrypcji.

Czego potrzebuje

• Zwykły tekst każdego filmu, gotowy do podziału na fragmenty i osadzenia.
• Znaczniki czasu, żeby odpowiedź mogła linkować do dokładnego momentu w filmie.
• Koszt, który da się oszacować przed startem.
• Twardy limit wydatków.

Krok po kroku

1. Najpierw oszacuj koszt

Jedna transkrypcja kosztuje 2 kredyty, a zapytania, które nie zwracają transkrypcji, nic nie kosztują. Dla 10 000 filmów to najwyżej 20 000 kredytów. Przy pakiecie 5,000 kredytów za $74.99 ($0.030 za transkrypcję) 10 000 transkrypcji kosztuje łącznie około $300, a trochę mniej, jeśli część filmów nie ma napisów. Mniejsze pakiety są droższe za transkrypcję: $0.090 za 100 kredytów, $0.056 za 500, $0.038 za 2,000. Aktualne szczegóły są na stronie z cennikiem.

Kredyty kupuje się jednorazowo i nigdy nie wygasają, więc podczas budowy nie tyka żaden zegar subskrypcji.

2. Przetestuj na darmowych kredytach

Jej pierwszy klucz API dostaje 10 darmowych kredytów, czyli 5 transkrypcji. Używa ich, by sprawdzić odpowiedź dla kilku filmów w formacie json (segmenty z offset i duration w sekundach) oraz text. Szczegóły zapytań znajdziesz w poradniku jak pobrać transkrypcję YouTube przez API, z działającymi przykładami w curl, Pythonie i JavaScripcie.

3. Włącz automatyczne doładowanie

W panelu API włącza automatyczne doładowanie. Zasada: gdy saldo spadnie poniżej wybranego poziomu, zapisana karta jest obciążana za kolejny pakiet. Zadanie pobierania działa przez noc bez ręcznych doładowań.

4. Ustaw budżety

Chronią ją dwa limity:

• Miesięczny budżet doładowań, który ogranicza, ile automatyczne doładowanie może wydać w miesiącu.
• Miesięczny limit kredytów. Po jego osiągnięciu kolejne zapytania zwracają 402 budget_exceeded.

Włącza też alerty e-mail: o niskim saldzie, o 80% miesięcznego limitu i o nieudanych doładowaniach. Alerty informują o problemie, gdy jeszcze jest czas na reakcję.

5. Szanuj limit zapytań

Każdy klucz pozwala na 60 zapytań na minutę. Przy takim tempie 10 000 zapytań zajmuje około 167 minut, czyli poniżej trzech godzin na jednym kluczu. Maya używa prostej kolejki, która wysyła jedno zapytanie na sekundę, więc mieści się w limicie bez skoków. Może utworzyć do 5 aktywnych kluczy, na przykład jeden do pobierania, a drugi do bieżących zapytań aplikacji, żeby masowe pobieranie nigdy nie blokowało zapytania użytkownika.

6. Obsłuż filmy bez transkrypcji

API zwraca wyłącznie istniejące napisy z YouTube. Transmisje na żywo, filmy prywatne lub usunięte oraz filmy bez napisów zwracają 404 no_transcript. W jej kolejce ten status oznacza: oznacz jako pominięty i idź dalej, nigdy nie ponawiaj. Ponieważ takie zapytania nic nie kosztują, kanał pełen filmów bez napisów nie spala jej budżetu.

Jej pętla w pseudokodzie:

1. Weź z kolejki ID następnego filmu.
2. Wywołaj API z format=json.
3. Przy sukcesie: podziel segmenty na fragmenty po około minucie, zapisz każdy fragment z jego początkowym offsetem i osadź go.
4. Przy 404 no_transcript: zapisz flagę „brak transkrypcji".
5. Przy 402 budget_exceeded: wstrzymaj kolejkę i powiadom siebie.
6. Przy błędzie serwera: ponów po przerwie.

7. Sprawdzaj saldo w kodzie

Przed każdą dużą partią wywołuje GET /api/v1/credits. Jeśli saldo jest niższe, niż potrzebuje partia, a automatyczne doładowanie jest wyłączone, zadanie odmawia startu. To tania ochrona przed niedokończonym importem.

Co z tego wychodzi

Po pierwszej nocy indeks zawiera transkrypcje prawie wszystkich 10 000 filmów, a każdy fragment ma czas rozpoczęcia. Gdy użytkownik zadaje pytanie, asystent cytuje wystąpienie i znacznik czasu, a link otwiera film w tym momencie. Bieżący koszt jest niski: 300 nowych filmów miesięcznie to najwyżej 600 kredytów, około $18 przy stawce pakietu 5,000 kredytów, czyli $0.030 za transkrypcję.

Gdyby Maya wykupiła Pro, dostawałaby też 100 kredytów bonusowych miesięcznie, co pokrywa część tego przyrostu.

Gdzie to nie wystarcza

• Brak napisów, brak transkrypcji. API nie transkrybuje dźwięku. Dla filmów bez napisów potrzebujesz innego źródła, na przykład usługi zamiany mowy na tekst, którą opłacasz osobno. Niektóre inne API do transkrypcji oferują zapasowe przetwarzanie dźwięku, zobacz porównanie API do transkrypcji YouTube.
• Napisy generowane automatycznie zawierają błędy. Najczęściej ucierpią imiona i żargon. Odpowiedź mówi, czy ścieżka jest generowana automatycznie, więc możesz takie fragmenty ważyć lub oznaczać.
• Język to język ścieżki napisów. Odpowiedź podaje prawdziwy język, więc nie zakładaj, że zgadza się z tym, o co prosiłeś.
• Przepustowość jest ograniczona na klucz. Bardzo duże pobieranie to kwestia godzin, nie sekund.
• Zwracane są tylko transkrypcje. Dzielenie na fragmenty, osadzanie i wyszukiwanie to twoja działka. Jeśli potrzebujesz tylko streszczenia jednego filmu, użyj YouTube summarizera.

Źródła

• sum.video Transcript API
• Cennik sum.video