Транскрыпты YouTube для RAG-праграмы ў вялікім маштабе: крэдыты, аўтапапаўненне і бюджэты

Калі твая RAG- або ІІ-праграма мае патрэбу ў транскрыптах YouTube ў вялікім маштабе, практычная схема такая: API транскрыптаў з аплатай па выкарыстанні і перадаплачанымі крэдытамі, аўтапапаўненне, каб доўгая загрузка ніколі не спынялася, і месячны бюджэт, каб памылка не раздзьмула рахунак. Гэты разбор праводзіць распрацоўшчыцу праз такую наладу з API транскрыптаў sum.video.

Сітуацыя

Maya робіць даследчага асістэнта, які адказвае на пытанні пра дакладамі з канферэнцый. Яе індэкс павінен ахапіць каля 10 000 відэа YouTube з некалькіх соцень каналаў, а потым расці прыкладна на 300 новых відэа ў месяц. Загрузку яна запускае на невялікім серверы і не хоча ні сачыць за ёй, ні атрымліваць нечаканы рахунак.

Яе ўмовы простыя: прадказальны кошт, ніякага ручнога папаўнення пасярод задання і акуратная апрацоўка відэа без транскрыпта.

Што ёй патрэбна

• Простая тэкставая расшыфроўка для кожнага відэа, гатовая да падзелу і пабудовы эмбедынгаў.
• Тайміроўкі, каб адказ мог спасылацца на дакладны момант відэа.
• Кошт, які можна ацаніць да пачатку.
• Жорсткая верхняя мяжа выдаткаў.

Крок за крокам

1. Спачатку ацані кошт

Адзін транскрыпт каштуе 2 крэдыты, а запыты, якія не вярнулі транскрыпт, нічога не каштуюць. Для 10 000 відэа гэта максімум 20 000 крэдытаў. З пакетам на 5 000 крэдытаў за $74.99 ($0.030 за транскрыпт) 10 000 транскрыптаў абыдуцца прыкладна ў $300, крыху менш, калі ў некаторых відэа няма субцітраў. Малыя пакеты каштуюць даражэй за транскрыпт: $0.090 за 100 крэдытаў, $0.056 за 500, $0.038 за 2 000. Актуальныя падрабязнасці на старонцы цэн.

Крэдыты купляюцца адзін раз і не згараюць, таму пакуль яна распрацоўвае, ніякі гадзіннік падпіскі не цікае.

2. Праверка на бясплатных крэдытах

Да яе першага ключа API прылагаецца 10 бясплатных крэдытаў, гэта 5 транскрыптаў. Яна выкарыстоўвае іх, каб праверыць адказ для некалькіх відэа ў фармаце json (сегменты з offset і duration у секундах) і ў фармаце text. Падрабязнасці запыту ёсць у дапаможніку як атрымаць транскрыпт YouTube праз API з працоўнымі прыкладамі на curl, Python і JavaScript.

3. Наладзь аўтапапаўненне

На панэлі API яна ўключае аўтапапаўненне. Правіла такое: калі баланс апускаецца ніжэй за абраны ўзровень, з захаванай карты спісваецца аплата за яшчэ адзін пакет. Заданне загрузкі ідзе ўсю ноч без ручнога папаўнення.

4. Задай бюджэты

Яе абараняюць два абмежаванні:

• Месячны бюджэт папаўненняў, які абмяжоўвае, колькі аўтапапаўненне можа патраціць за месяц.
• Месячны ліміт крэдытаў. Калі ён дасягнуты, далейшыя запыты вяртаюць 402 budget_exceeded.

Яна таксама ўключае апавяшчэнні па e-mail пра нізкі баланс, пра 80% месячнага ліміту і пра няўдалыя папаўненні. Апавяшчэнні паведамляюць пра праблему, пакуль яшчэ ёсць час дзейнічаць.

5. Выконвай ліміт запытаў

Кожны ключ дазваляе 60 запытаў у хвіліну. У такім тэмпе 10 000 запытаў займаюць каля 167 хвілін, гэта менш за тры гадзіны на адным ключы. Яна запускае простую чаргу, якая адпраўляе па адным запыце ў секунду, і так застаецца пад лімітам без усплёскаў. Яна магла б стварыць да 5 актыўных ключоў, напрыклад адзін для загрузкі і адзін для жывых запытаў праграмы, каб дагрузка ніколі не блакіравала запыт карыстальніка.

6. Апрацуй відэа без транскрыпта

API вяртае толькі існуючыя субцітры YouTube. Прамыя трансляцыі, прыватныя або выдаленыя відэа і відэа без субцітраў вяртаюць 404 no_transcript. У яе чарзе гэты статус азначае: пазначыць як прапушчанае і ісці далей, ніколі не паўтараць. Бо такія запыты нічога не каштуюць, канал, поўны відэа без субцітраў, не спальвае яе бюджэт.

Яе цыкл у псеўдакодзе:

1. Узяць наступны ідэнтыфікатар відэа з чаргі.
2. Выклікаць API з format=json.
3. Пры поспеху: падзяліць сегменты на кавалкі прыкладна па хвіліне, захаваць кожны кавалак з яго пачатковым зрухам і пабудаваць эмбедынг.
4. Пры 404 no_transcript: захаваць пазнаку «няма транскрыпта».
5. Пры 402 budget_exceeded: паставіць чаргу на паўзу і паведаміць сабе.
6. Пры памылцы сервера: паўтарыць пасля затрымкі.

7. Правярай баланс у кодзе

Перад кожнай вялікай партыяй яна выклікае GET /api/v1/credits. Калі баланс меншы, чым патрэбна партыі, а аўтапапаўненне выключана, заданне адмаўляецца пачынацца. Гэта танная абарона ад напалову завершанага імпарту.

Што ў яе атрымліваецца ў выніку

Пасля першай ночы індэкс змяшчае транскрыпты амаль усіх 10 000 відэа, у кожнага кавалка ёсць час пачатку. Калі карыстальнік задае пытанне, асістэнт спасылаецца на даклад і тайміроўку, а спасылка адкрывае відэа ў гэты момант. Пастаянны кошт невялікі: 300 новых відэа ў месяц гэта не больш за 600 крэдытаў, каля $18 па стаўцы пакета на 5 000, $0.030 за транскрыпт.

Калі б Maya аформіла Pro, яна таксама атрымлівала б 100 бонусных крэдытаў у месяц, што пакрывае частку такога росту.

Дзе гэтага не хапае

• Няма субцітраў, няма транскрыпта. API не расшыфроўвае аўдыё. Для відэа без субцітраў патрэбная іншая крыніца, напрыклад сэрвіс распазнавання маўлення, і плаціш ты за яе асобна. Некаторыя іншыя API транскрыптаў прапануюць аўдыё-запасны варыянт, гл. параўнанне API транскрыптаў YouTube.
• У аўтаматычных субцітрах бываюць памылкі. Звычайна пакутуюць імёны і прафесійны жаргон. У адказе паказана, ці створана дарожка аўтаматычна, таму такія кавалкі можна ўзважваць або пазначаць.
• Мова гэта мова дарожкі субцітраў. У адказе паказана рэальная мова, таму не лічы, што яна супадае з запытанай.
• Прапускная здольнасць абмежавана на ключ. Вельмі вялікая дагрузка гэта пытанне гадзін, а не секунд.
• Вяртаюцца толькі транскрыпты. Падзел, эмбедынгі і пошук застаюцца на табе. Калі патрэбны толькі пераказ аднаго відэа, выкарыстоўвай суммарызатар YouTube.

Крыніцы

• API транскрыптаў sum.video
• Цэны sum.video