Үлкен ауқымдағы RAG қолданбасына арналған YouTube транскрипттері: кредиттер, автоматты толықтыру және бюджеттер

Егер сенің RAG немесе AI қолданбаңа үлкен ауқымда YouTube транскрипттері қажет болса, практикалық баптау мынадай: алдын ала төленген кредиттері бар пайдалануға негізделген транскрипт API, ұзақ жүктеу жұмысы ешқашан тоқтамауы үшін автоматты толықтыру және қате шотты ісініп кетпеуі үшін айлық бюджет. Бұл шолу sum.video Transcript API арқылы осы баптау бойынша әзірлеушіні қадағалайды.

Жағдай

Майя конференция баяндамалары туралы сұрақтарға жауап беретін зерттеу көмекшісін құрып жатыр. Оның индексі бірнеше жүз арнадан шамамен 10 000 YouTube бейнесін қамтуы керек, содан кейін айына шамамен 300 жаңа бейнемен өсуі тиіс. Жүктеуді ол шағын серверден іске қосады және оны бақылап отыруды да, шотқа таңғалуды да қаламайды.

Оның талаптары қарапайым: болжамды құн, жұмыстың ортасында қолмен толықтыру болмауы және транскрипті жоқ бейнелерді таза өңдеу.

Оған не қажет

• Әр бейне үшін бөлуге және ендіруге дайын қарапайым мәтін.
• Жауап бейненің дәл сәтіне сілтеме жасай алуы үшін уақыт белгілері.
• Бастамас бұрын бағалай алатын құн.
• Шығынның қатаң жоғарғы шегі.

Қадам-қадаммен

1. Алдымен құнды бағала

Бір транскрипт 2 кредит тұрады, ал транскрипт қайтармайтын сұраулар ештеңе тұрмайды. 10 000 бейне үшін бұл ең көбі 20 000 кредит. $74.99 ($0.030 бір транскрипт үшін) тұратын 5 000 кредиттік пакетпен 10 000 транскрипт жалпы шамамен $300 тұрады, кейбір бейнелерде субтитр болмаса, сәл аз. Кішірек пакеттер бір транскрипт үшін қымбатырақ: 100 кредитте $0.090, 500-де $0.056, 2 000-де $0.038. Ағымдағы мәліметтер бағалар бетінде.

Кредиттер бір рет сатып алынады және ешқашан мерзімі өтпейді, сондықтан ол құрып жатқанда жазылым сағаты жүрмейді.

2. Тегін кредиттермен сына

Оның бірінші API кілтімен 10 тегін кредит келеді, яғни 5 транскрипт. Оларды ол бірнеше бейненің жауабын json пішімінде (секундпен offset және duration бар сегменттер) және text пішімінде тексеру үшін пайдаланады. Сұрау мәліметтері үшін API арқылы YouTube транскриптін қалай алуға болады нұсқаулығында curl, Python және JavaScript-тегі жұмыс істейтін мысалдар бар.

3. Автоматты толықтыруды бапта

API тақтасында ол автоматты толықтыруды қосады. Ереже: қалдық таңдалған деңгейден төмен түскенде, сақталған картадан тағы бір пакеттің ақысы алынады. Жүктеу жұмысы қолмен толықтырусыз түні бойы жүре береді.

4. Бюджеттерді қой

Оны екі шек қорғайды:

• Автоматты толықтыру бір айда қанша жұмсай алатынын шектейтін айлық толықтыру бюджеті.
• Айлық кредит шегі. Оған жеткенде кейінгі сұраулар 402 budget_exceeded қайтарады.

Ол сондай-ақ төмен қалдық, айлық шектің 80%-ы және сәтсіз толықтырулар туралы электрондық пошта ескертулерін қосады. Ескертулер әрекет етуге әлі уақыт барда мәселе туралы хабарлайды.

5. Жылдамдық шегін сыйла

Әр кілт минутына 60 сұрауға рұқсат етеді. Мұндай қарқынмен 10 000 сұрау шамамен 167 минутқа созылады, яғни бір кілтпен үш сағаттан аз. Ол секундына бір сұрау жіберетін қарапайым кезек іске қосады, сондықтан секірулерсіз шектің астында қалады. Ол 5 белсенді кілтке дейін жасай алады, мысалы біреуі жүктеуге, екіншісі қолданбаның тікелей іздеулеріне, ескі деректерді толтыру пайдаланушы сұрауын ешқашан бөгемеу үшін.

6. Транскрипті жоқ бейнелерді өңде

API тек YouTube-тың бар субтитрлерін қайтарады. Тікелей эфирлер, жеке немесе жойылған бейнелер және субтитрсіз бейнелер 404 no_transcript қайтарады. Оның кезегінде бұл күй: өткізілді деп белгіле де, әрі қарай жүр, ешқашан қайталама дегенді білдіреді. Бұл сұраулар ештеңе тұрмайтындықтан, субтитрсіз бейнелерге толы арна оның бюджетін өртемейді.

Оның циклі, жалған кодта:

1. Кезектен келесі бейне ID-ін ал.
2. API-ді format=json арқылы шақыр.
3. Сәтті болса: сегменттерді шамамен минуттық бөліктерге бөл, әр бөлікті бастапқы ығысуымен сақта және ендір.
4. 404 no_transcript кезінде: «транскрипт жоқ» белгісін сақта.
5. 402 budget_exceeded кезінде: кезекті тоқтата тұр және өзіңе хабарла.
6. Сервер қатесінде: кідірістен кейін қайталап көр.

7. Қалдықты кодта тексер

Әр үлкен партия алдында ол GET /api/v1/credits шақырады. Егер қалдық партияға қажеттіден аз болса және автоматты толықтыру өшірулі болса, жұмыс іске қосылудан бас тартады. Бұл жартылай аяқталған импортқа қарсы арзан қорғаныс.

Нәтижесінде не алады

Бірінші түннен кейін индексте барлық дерлік 10 000 бейненің транскрипттері болады, әр бөлік өзінің бастау уақытын алып жүреді. Пайдаланушы сұрақ қойғанда, көмекші баяндама мен уақыт белгісін келтіреді, ал сілтеме бейнені дәл сол сәтте ашады. Ағымдағы құн аз: айына 300 жаңа бейне ең көбі 600 кредит, 5 000-дық пакеттің бір транскрипт үшін $0.030 тарифімен шамамен $18.

Егер Майя Pro-ға жазылса, ол әр ай сайын 100 бонус кредит те алар еді, бұл осы өсімнің бір бөлігін жабады.

Қай жерде жетіспейді

• Субтитр жоқ болса, транскрипт те жоқ. API дыбысты транскрипциялаймайды. Субтитрсіз бейнелер үшін басқа дереккөз қажет, мысалы сөйлеуді мәтінге айналдыру қызметі, оған бөлек төлейсің. Кейбір басқа транскрипт API-лері аудио резервін ұсынады, YouTube транскрипт API-лерін салыстыруды қара.
• Автоматты субтитрлерде қателер болады. Есімдер мен кәсіби жаргон әдетте көбірек зардап шегеді. Жауап тректің автоматты жасалған-жасалмағанын айтады, сондықтан мұндай бөліктерге салмақ беруге немесе белгілеуге болады.
• Тіл субтитр тректің тілі. Жауап нақты тілді хабарлайды, сондықтан ол сенің сұрағаныңа сәйкес келеді деп ойлама.
• Өткізу қабілеті кілт бойынша шектелген. Өте үлкен ескі деректерді толтыру секундтардың емес, сағаттардың ісі.
• Ол тек транскрипттерді қайтарады. Бөлу, ендіру және іздеп табу сенің ісің. Егер саған тек бір бейненің қысқаша мазмұны керек болса, YouTube қорытындылағышын қолдан.

Дереккөздер

• sum.video Transcript API
• sum.video бағалары