رونوشت‌های یوتیوب برای یک برنامه RAG در مقیاس بزرگ: اعتبار، شارژ خودکار و بودجه

اگر برنامه RAG یا هوش مصنوعی تو به رونوشت‌های یوتیوب در مقیاس بزرگ نیاز دارد، راه‌اندازی عملی یک API رونوشت با پرداخت بر پایه مصرف و اعتبار پیش‌پرداخت است، به‌علاوه شارژ خودکار تا کار طولانی واردکردن داده هرگز متوقف نشود، و یک بودجه ماهانه تا یک باگ صورتحساب را باد نکند. این مرور یک توسعه‌دهنده را در همین راه‌اندازی با API رونوشت sum.video دنبال می‌کند.

وضعیت

مایا در حال ساخت یک دستیار پژوهشی است که به پرسش‌هایی درباره سخنرانی‌های کنفرانس پاسخ می‌دهد. نمایه او باید حدود 10,000 ویدیوی یوتیوب از چند صد کانال را پوشش دهد و سپس ماهانه حدود 300 ویدیوی جدید به آن اضافه شود. او واردکردن داده را از یک سرور کوچک اجرا می‌کند و نه می‌خواهد کنارش بنشیند و نه می‌خواهد با یک صورتحساب غافلگیر شود.

شرط‌های او ساده است: هزینه قابل پیش‌بینی، شارژ دستی وسط کار نباشد و ویدیوهای بدون رونوشت تمیز مدیریت شوند.

او چه چیزی لازم دارد

• متن ساده برای هر ویدیو، آماده برای تکه‌تکه کردن و تعبیه.
• زمان‌نگاشت‌ها تا پاسخ بتواند به لحظه دقیق ویدیو پیوند بدهد.
• هزینه‌ای که پیش از شروع بتواند برآورد کند.
• یک سقف سخت برای خرج.

گام‌به‌گام

1. اول هزینه را برآورد کن

هر رونوشت 2 اعتبار هزینه دارد و درخواست‌هایی که رونوشت برنمی‌گردانند هزینه‌ای ندارند. برای 10,000 ویدیو این حداکثر 20,000 اعتبار است. با بسته 5,000 اعتباری به قیمت $74.99 ($0.030 برای هر رونوشت)، 10,000 رونوشت روی‌هم حدود $300 می‌شود، و اگر برخی ویدیوها زیرنویس نداشته باشند کمی کمتر. بسته‌های کوچک‌تر برای هر رونوشت گران‌ترند: $0.090 در 100 اعتبار، $0.056 در 500، $0.038 در 2,000. صفحه قیمت‌ها جزئیات روز را دارد.

اعتبارها یک‌بار خریده می‌شوند و هرگز منقضی نمی‌شوند، پس در حالی که او می‌سازد ساعت اشتراکی در حال شمارش نیست.

2. با اعتبار رایگان آزمایش کن

کلید API اول او با 10 اعتبار رایگان می‌آید، یعنی 5 رونوشت. او از آن‌ها برای بررسی پاسخ چند ویدیو در قالب json (بخش‌هایی با offset و duration به ثانیه) و قالب text استفاده می‌کند. برای جزئیات درخواست، راهنمای چگونه با API رونوشت یوتیوب را بگیریم مثال‌های کارآمد با curl، Python و JavaScript دارد.

3. شارژ خودکار را تنظیم کن

در پیشخوان API شارژ خودکار را روشن می‌کند. قاعده: وقتی موجودی زیر سطح انتخابی بیفتد، از کارت ذخیره‌شده برای یک بسته دیگر پول کم می‌شود. کار واردکردن داده تمام شب بدون شارژ دستی ادامه می‌یابد.

4. بودجه‌ها را تعیین کن

دو محدودیت از او محافظت می‌کنند:

• یک بودجه شارژ ماهانه که سقف مبلغی را که شارژ خودکار در یک ماه می‌تواند خرج کند تعیین می‌کند.
• یک سقف اعتبار ماهانه. وقتی به آن برسد، درخواست‌های بعدی 402 budget_exceeded برمی‌گردانند.

او همچنین هشدارهای ایمیلی را برای موجودی کم، 80% سقف ماهانه و شارژهای ناموفق روشن می‌کند. هشدارها زمانی از مشکل خبر می‌دهند که هنوز وقت اقدام هست.

5. به محدودیت نرخ احترام بگذار

هر کلید 60 درخواست در دقیقه مجاز می‌کند. با این سرعت، 10,000 درخواست حدود 167 دقیقه طول می‌کشد، یعنی با یک کلید کمتر از سه ساعت. او یک صف ساده اجرا می‌کند که هر ثانیه یک درخواست می‌فرستد، پس بدون اوج ناگهانی زیر سقف می‌ماند. او می‌تواند تا 5 کلید فعال بسازد، مثلاً یکی برای واردکردن داده و یکی برای جست‌وجوهای زنده برنامه، تا پر کردن داده‌های قدیمی هرگز درخواست یک کاربر را مسدود نکند.

6. ویدیوهای بدون رونوشت را مدیریت کن

API فقط زیرنویس‌های موجود یوتیوب را برمی‌گرداند. پخش‌های زنده، ویدیوهای خصوصی یا حذف‌شده و ویدیوهای بدون زیرنویس 404 no_transcript برمی‌گردانند. در صف او این وضعیت یعنی: به‌عنوان ردشده علامت بزن و برو جلو، هرگز دوباره تلاش نکن. چون این درخواست‌ها هزینه‌ای ندارند، کانالی پر از ویدیوهای بدون زیرنویس بودجه او را نمی‌سوزاند.

حلقه او، به‌صورت شبه‌کد:

1. شناسه ویدیوی بعدی را از صف بردار.
2. API را با format=json صدا بزن.
3. در صورت موفقیت: بخش‌ها را به تکه‌های حدود یک‌دقیقه‌ای تقسیم کن، هر تکه را با آفست آغازینش ذخیره و تعبیه کن.
4. در 404 no_transcript: یک نشانه «بدون رونوشت» ذخیره کن.
5. در 402 budget_exceeded: صف را متوقف کن و به خودت هشدار بده.
6. در خطای سرور: پس از یک وقفه دوباره تلاش کن.

7. موجودی را در کد بررسی کن

پیش از هر دسته بزرگ، او GET /api/v1/credits را صدا می‌زند. اگر موجودی کمتر از نیاز دسته باشد و شارژ خودکار خاموش باشد، کار از شروع شدن امتناع می‌کند. این یک محافظ ارزان در برابر واردسازی نیمه‌تمام است.

در پایان چه چیزی به دست می‌آورد

پس از شب اول، نمایه رونوشت تقریباً همه 10,000 ویدیو را دارد و هر تکه زمان آغازش را با خود دارد. وقتی کاربری پرسشی می‌پرسد، دستیار یک سخنرانی و یک زمان‌نگاشت را ذکر می‌کند و پیوند ویدیو را در همان لحظه باز می‌کند. هزینه جاری اندک است: 300 ویدیوی جدید در ماه حداکثر 600 اعتبار است، یعنی حدود $18 با نرخ بسته 5,000 تایی که $0.030 برای هر رونوشت است.

اگر مایا Pro بگیرد، هر ماه 100 اعتبار جایزه هم می‌گیرد که بخشی از این رشد را پوشش می‌دهد.

کجا کم می‌آورد

• بدون زیرنویس رونوشتی نیست. API صدا را به متن تبدیل نمی‌کند. برای ویدیوهای بدون زیرنویس به منبع دیگری نیاز داری، مثل سرویس تبدیل گفتار به متن، که جداگانه هزینه‌اش را می‌پردازی. برخی API‌های رونوشت دیگر جایگزین صوتی ارائه می‌دهند، مقایسه API‌های رونوشت یوتیوب را ببین.
• زیرنویس‌های خودکار اشتباه دارند. نام‌ها و اصطلاحات تخصصی معمولاً بیشتر آسیب می‌بینند. پاسخ می‌گوید یک مسیر خودکار ساخته شده یا نه، پس می‌توانی این تکه‌ها را وزن‌دهی یا علامت‌گذاری کنی.
• زبان همان زبان مسیر زیرنویس است. پاسخ زبان واقعی را گزارش می‌کند، پس فرض نکن با آنچه خواسته‌ای یکی است.
• توان عملیاتی برای هر کلید محدود است. یک پر کردن بسیار بزرگ داده‌های قدیمی مسئله ساعت‌هاست، نه ثانیه‌ها.
• فقط رونوشت برمی‌گرداند. تکه‌تکه کردن، تعبیه و بازیابی کار توست. اگر فقط خلاصه یک ویدیو را می‌خواهی، از خلاصه‌ساز یوتیوب استفاده کن.

منابع

• API رونوشت sum.video
• قیمت‌های sum.video