Böyük miqyasda RAG tətbiqi üçün YouTube transkriptləri: kreditlər, avtomatik doldurma və büdcələr

RAG və ya süni intellekt tətbiqin böyük miqyasda YouTube transkriptlərinə ehtiyac duyursa, praktik qurğu belədir: əvvəlcədən ödənilmiş kreditlərlə istifadəyə görə ödənişli transkript API-si, uzun yükləmə işinin heç vaxt dayanmaması üçün avtomatik doldurma və xəta hesabı şişirtməsin deyə aylıq büdcə. Bu izah bir tərtibatçını sum.video Transcript API ilə bu qurğu boyunca izləyir.

Vəziyyət

Maya konfrans çıxışları haqqında suallara cavab verən tədqiqat köməkçisi qurur. Onun indeksi bir neçə yüz kanaldan təxminən 10 000 YouTube videosunu əhatə etməli, sonra isə ayda təxminən 300 yeni video ilə böyüməlidir. O, yükləməni kiçik bir serverdən işlədir və nə ona baxmaq, nə də hesabla təəccübləndirilmək istəyir.

Tələbləri sadədir: proqnozlaşdırıla bilən xərc, işin ortasında əl ilə doldurma yoxdur və transkripti olmayan videoların səliqəli idarə edilməsi.

Ondan nə tələb olunur

• Hər video üçün bölməyə və yerləşdirməyə hazır sadə mətn.
• Cavabın videonun dəqiq anına keçid verə bilməsi üçün zaman damğaları.
• Başlamazdan əvvəl qiymətləndirə biləcəyi xərc.
• Xərc üçün sərt yuxarı hədd.

Addım-addım

1. Əvvəlcə xərci qiymətləndir

Bir transkript 2 kredit tutur, transkript qaytarmayan sorğular isə heç nəyə başa gəlmir. 10 000 video üçün bu ən çoxu 20 000 kreditdir. $74.99 olan ($0.030 transkript başına) 5 000 kreditlik paketlə 10 000 transkript cəmi təxminən $300 tutur, bəzi videolarda subtitr yoxdursa bir qədər az. Kiçik paketlər transkript başına daha bahadır: 100 kreditdə $0.090, 500-də $0.056, 2 000-də $0.038. Cari təfərrüatlar qiymətlər səhifəsində var.

Kreditlər bir dəfə alınır və heç vaxt başa çatmır, ona görə o qurarkən abunə saatı işləmir.

2. Pulsuz kreditlərlə sına

Onun ilk API açarı ilə 10 pulsuz kredit gəlir, yəni 5 transkript. Bunlarla bir neçə videonun cavabını json formatında (saniyə ilə offset və duration olan seqmentlər) və text formatında yoxlayır. Sorğunun təfərrüatları üçün API ilə YouTube transkriptini necə əldə etmək olar bələdçisində işləyən curl, Python və JavaScript nümunələri var.

3. Avtomatik doldurmanı qur

API panelində avtomatik doldurmanı açır. Qayda belədir: balans seçilmiş səviyyədən aşağı düşəndə saxlanmış kartdan daha bir paketin pulu çıxılır. Yükləmə işi əl ilə doldurma olmadan bütün gecə işləməyə davam edir.

4. Büdcələri təyin et

Onu iki limit qoruyur:

• Avtomatik doldurmanın ayda nə qədər xərcləyə biləcəyini məhdudlaşdıran aylıq doldurma büdcəsi.
• Aylıq kredit limiti. Ona çatılanda sonrakı sorğular 402 budget_exceeded qaytarır.

O, həm də aşağı balans, aylıq limitin 80%-i və uğursuz doldurmalar üçün e-poçt xəbərdarlıqlarını açır. Xəbərdarlıqlar hələ hərəkət etməyə vaxt olarkən problemi bildirir.

5. Sürət limitinə hörmət et

Hər açar dəqiqədə 60 sorğuya icazə verir. Bu sürətlə 10 000 sorğu təxminən 167 dəqiqə, yəni bir açarla üç saatdan az çəkir. O, saniyədə bir sorğu göndərən sadə növbə işlədir, beləcə partlayışsız limitin altında qalır. O, 5-ə qədər aktiv açar yarada bilər, məsələn biri yükləmə, digəri tətbiqin canlı sorğuları üçün, belə ki, əvvəlki məlumatın doldurulması heç vaxt istifadəçi sorğusunu bloklamasın.

6. Transkripti olmayan videoları idarə et

API yalnız mövcud YouTube subtitrlərini qaytarır. Canlı yayımlar, gizli və ya silinmiş videolar və subtitri olmayan videolar 404 no_transcript qaytarır. Onun növbəsində bu status keçilmiş kimi qeyd et və davam et deməkdir, heç vaxt yenidən cəhd etmə. Bu sorğular heç nəyə başa gəlmədiyindən, subtitrsiz videolarla dolu kanal onun büdcəsini yandırmır.

Onun dövrü, psevdo-kodla:

1. Növbədən növbəti video ID-sini götür.
2. API-ni format=json ilə çağır.
3. Uğurlu olarsa: seqmentləri təxminən bir dəqiqəlik parçalara böl, hər parçanı başlanğıc offset-i ilə saxla və yerləşdir.
4. 404 no_transcript olarsa: "transkript yoxdur" işarəsi saxla.
5. 402 budget_exceeded olarsa: növbəni dayandır və özünə xəbər ver.
6. Server xətasında: gecikmədən sonra yenidən cəhd et.

7. Balansı kodda yoxla

Hər böyük partiyadan əvvəl o, GET /api/v1/credits çağırır. Balans partiyanın ehtiyacından azdırsa və avtomatik doldurma söndürülübsə, iş başlamaqdan imtina edir. Bu, yarımçıq idxala qarşı ucuz qorunmadır.

Sonda onun əlində nə olur

İlk gecədən sonra indeksdə 10 000 videonun demək olar hamısının transkripti olur, hər parça başlanğıc vaxtını daşıyır. İstifadəçi sual verəndə köməkçi bir çıxışı və zaman damğasını göstərir, keçid isə videonu həmin anda açır. Davamlı xərc kiçikdir: ayda 300 yeni video ən çoxu 600 kreditdir, 5 000-lik paketin transkript başına $0.030 tarifi ilə təxminən $18.

Maya Pro-ya abunə olsaydı, hər ay 100 bonus kredit də alardı, bu da həmin artımın bir hissəsini örtür.

Harada çatışmır

• Subtitr yoxdursa, transkript də yoxdur. API səsi mətnə çevirmir. Subtitri olmayan videolar üçün səsdən mətnə xidməti kimi başqa mənbə lazımdır və onun üçün ayrıca ödəyirsən. Bəzi digər transkript API-ləri səs ehtiyatı təklif edir, YouTube transkript API-lərinin müqayisəsinə bax.
• Avtomatik subtitrlərdə səhvlər olur. Adlar və peşə jarqonu adətən daha çox əziyyət çəkir. Cavab trekin avtomatik yaradılıb-yaradılmadığını bildirir, ona görə belə parçalara çəki verə və ya onları işarələyə bilərsən.
• Dil subtitr trekinin dilidir. Cavab real dili bildirir, ona görə onun istədiyinlə eyni olduğunu fərz etmə.
• Ötürmə qabiliyyəti açar başına məhduddur. Çox böyük məlumat doldurma saniyələrin deyil, saatların işidir.
• Yalnız transkriptləri qaytarır. Bölmə, yerləşdirmə və geri çağırma sənin işindir. Yalnız bir videonun xülasəsi lazımdırsa, YouTube xülasəçisindən istifadə et.

Mənbələr

• sum.video Transcript API
• sum.video qiymətləri