Büyük ölçekte RAG uygulaması için YouTube transkriptleri: krediler, otomatik yükleme ve bütçeler

RAG veya yapay zekâ uygulamanın büyük ölçekte YouTube transkriptlerine ihtiyacı varsa, pratik kurulum şudur: önceden ödenen kredilerle kullandıkça öde çalışan bir transkript API'si, uzun bir yükleme işinin asla durmaması için otomatik yükleme ve bir hatanın fatura şişirmemesi için aylık bir bütçe. Bu anlatım, bir geliştiriciyi bu kurulumda sum.video Transcript API ile baştan sona izliyor.

Durum

Maya, konferans konuşmaları hakkındaki soruları yanıtlayan bir araştırma asistanı geliştiriyor. İndeksinin birkaç yüz kanaldan yaklaşık 10.000 YouTube videosunu kapsaması, ardından ayda yaklaşık 300 yeni videoyla büyümesi gerekiyor. Yüklemeyi küçük bir sunucudan çalıştırıyor ve ne başında beklemek ne de sürpriz bir faturayla karşılaşmak istiyor.

Kısıtları net: öngörülebilir maliyet, işin ortasında elle yükleme yapmak yok ve transkripti olmayan videoların temiz bir şekilde ele alınması.

Sonuçtan ne bekliyor

• Her video için parçalamaya ve gömmeye hazır düz metin.
• Bir yanıtın videodaki tam ana bağlanabilmesi için zaman damgaları.
• Başlamadan önce tahmin edebileceği bir maliyet.
• Harcama için kesin bir tavan.

Adım adım

1. Önce maliyeti tahmin et

Bir transkript 2 kredi tutar, transkript döndürmeyen istekler ise hiçbir şey tutmaz. 10.000 video için bu en fazla 20.000 kredi eder. $74.99 olan 5.000 kredilik paketle ($0.030 transkript başına), 10.000 transkript toplamda yaklaşık $300 tutar, bazı videoların altyazısı yoksa biraz daha az. Küçük paketler transkript başına daha pahalıdır: 100 kredi için $0.090, 500 için $0.056, 2.000 için $0.038. Güncel ayrıntılar fiyatlandırma sayfasında.

Krediler bir kez satın alınır ve asla sona ermez, yani o geliştirirken işleyen bir abonelik saati yoktur.

2. Ücretsiz kredilerle test et

İlk API anahtarı 10 ücretsiz kredi ile gelir, yani 5 transkript. Bunları birkaç videonun yanıtını json biçiminde (saniye cinsinden offset ve duration içeren segmentler) ve text biçiminde kontrol etmek için kullanır. İstek ayrıntıları için API ile YouTube transkripti alma rehberinde çalışan curl, Python ve JavaScript örnekleri var.

3. Otomatik yüklemeyi ayarla

API panelinde otomatik yüklemeyi açar. Kural şu: bakiye seçilen düzeyin altına düştüğünde kayıtlı karttan bir paket daha çekilir. Yükleme işi elle müdahale olmadan gece boyunca çalışmaya devam eder.

4. Bütçeleri ayarla

İki sınır onu korur:

• Otomatik yüklemenin bir ayda ne kadar harcayabileceğini sınırlayan aylık yükleme bütçesi.
• Aylık kredi limiti. Limite ulaşıldığında sonraki istekler 402 budget_exceeded döndürür.

Ayrıca düşük bakiye, aylık limitin %80'i ve başarısız yüklemeler için e-posta uyarılarını açar. Uyarılar, hâlâ harekete geçmek için vakit varken sorunu haber verir.

5. Hız sınırına uy

Her anahtar dakikada 60 isteğe izin verir. Bu hızda 10.000 istek yaklaşık 167 dakika sürer, yani tek anahtarla üç saatin altında. Saniyede bir istek gönderen basit bir kuyruk çalıştırır, böylece ani yığılmalar olmadan sınırın altında kalır. En fazla 5 etkin anahtar oluşturabilir, örneğin biri yükleme için, biri uygulamanın canlı sorguları için, böylece geriye dönük bir yükleme hiçbir zaman bir kullanıcı isteğini engellemez.

6. Transkripti olmayan videoları ele al

API yalnızca mevcut YouTube altyazılarını döndürür. Canlı yayınlar, özel veya kaldırılmış videolar ve altyazısı olmayan videolar 404 no_transcript döndürür. Kuyruğunda bu durum şu anlama gelir: atlandı olarak işaretle ve devam et, asla yeniden deneme. Bu istekler hiçbir şey tutmadığı için, altyazısız videolarla dolu bir kanal bütçesini eritmez.

Döngüsü, sahte kodla:

1. Kuyruktaki sonraki video kimliğini al.
2. API'yi format=json ile çağır.
3. Başarılıysa: segmentleri yaklaşık bir dakikalık parçalara böl, her parçayı başlangıç ofsetiyle sakla ve göm.
4. 404 no_transcript ise: bir "transkript yok" işareti sakla.
5. 402 budget_exceeded ise: kuyruğu duraklat ve kendini uyar.
6. Sunucu hatasında: bir gecikmeden sonra yeniden dene.

7. Bakiyeyi kodla kontrol et

Her büyük partiden önce GET /api/v1/credits çağırır. Bakiye partinin ihtiyacından düşükse ve otomatik yükleme kapalıysa, iş başlamayı reddeder. Yarım kalmış bir içe aktarmaya karşı ucuz bir korumadır.

Sonunda eline ne geçiyor

İlk geceden sonra indeks, altyazısı olmayanlar dışında 10.000 videonun neredeyse tamamının transkriptini barındırır ve her parça başlangıç zamanını taşır. Bir kullanıcı soru sorduğunda asistan bir konuşmaya ve bir zaman damgasına atıfta bulunur, bağlantı da videoyu o anda açar. Süregelen maliyet küçüktür: ayda 300 yeni video en fazla 600 kredidir, yani 5.000'lik paket oranıyla transkript başına $0.030'dan en fazla yaklaşık $18.

Maya Pro'ya abone olsaydı, her ay 100 bonus kredi de alırdı, bu da büyümenin bir kısmını karşılardı.

Bu yaklaşımın yetersiz kaldığı yerler

• Altyazı yoksa transkript yok. API sesi metne çevirmez. Altyazısı olmayan videolar için konuşmayı metne çeviren bir servis gibi başka bir kaynağa ihtiyacın var ve onun için ayrıca ödersin. Bazı diğer transkript API'leri ses yedeği sunar, bkz. YouTube transkript API'lerinin karşılaştırması.
• Otomatik oluşturulan altyazılarda hatalar olur. İsimler ve jargon genellikle bundan zarar görür. Yanıt, bir parçanın otomatik oluşturulup oluşturulmadığını söyler, böylece bu parçaları ağırlıklandırabilir veya işaretleyebilirsin.
• Dil, altyazı parçasının dilidir. Yanıt gerçek dili bildirir, bu yüzden istediğinle aynı olduğunu varsayma.
• Verim anahtar başına sınırlıdır. Çok büyük bir geriye dönük yükleme saniyeler değil, saatler meselesidir.
• Yalnızca transkript döndürür. Parçalama, gömme ve geri getirme senin işin. Yalnızca tek bir videonun özetine ihtiyacın varsa YouTube özetleyiciyi kullan.

Kaynaklar

• sum.video Transcript API
• sum.video fiyatlandırma