תמלולי יוטיוב לאפליקציית RAG בקנה מידה גדול: קרדיטים, טעינה אוטומטית ותקציבים

אם אפליקציית ה-RAG או הבינה המלאכותית שלך צריכה תמלולי יוטיוב בקנה מידה גדול, ההגדרה המעשית היא API של תמלולים עם תשלום לפי שימוש וקרדיטים בתשלום מראש, טעינה אוטומטית כדי שמשימת טעינה ארוכה לא תיתקע לעולם, ותקציב חודשי כדי שבאג לא יתפוח את החשבון. הסקירה הזאת מלווה מפתחת דרך ההגדרה הזו עם ה-API של התמלולים של sum.video.

המצב

מאיה בונה עוזר מחקר שעונה על שאלות על הרצאות בכנסים. האינדקס שלה צריך לכסות כ-10,000 סרטוני יוטיוב ממאות ערוצים, ואז לגדול בכ-300 סרטונים חדשים בחודש. היא מריצה את הטעינה משרת קטן, ולא רוצה לשבת מעליה או להיות מופתעת מחשבון.

התנאים שלה פשוטים: עלות צפויה, בלי טעינה ידנית באמצע משימה, וטיפול נקי בסרטונים בלי תמלול.

מה היא צריכה

• טקסט פשוט לכל סרטון, מוכן לחלוקה ולהטמעה.
• חותמות זמן, כדי שתשובה תוכל לקשר לרגע המדויק בסרטון.
• עלות שהיא יכולה להעריך לפני שהיא מתחילה.
• תקרה קשיחה להוצאה.

צעד אחר צעד

1. הערך קודם את העלות

תמלול אחד עולה 2 קרדיטים, ובקשות שלא מחזירות תמלול לא עולות כלום. עבור 10,000 סרטונים זה לכל היותר 20,000 קרדיטים. עם חבילת 5,000 הקרדיטים ב-$74.99 ($0.030 לתמלול), 10,000 תמלולים עולים בסך הכול כ-$300, מעט פחות אם לחלק מהסרטונים אין כתוביות. החבילות הקטנות יקרות יותר לכל תמלול: $0.090 ב-100 קרדיטים, $0.056 ב-500, $0.038 ב-2,000. בעמוד המחירים יש את הפרטים העדכניים.

קרדיטים נקנים פעם אחת ולעולם לא פוקעים, כך שאין שעון מנוי שמתקתק בזמן שהיא בונה.

2. בדוק עם הקרדיטים החינם

המפתח הראשון שלה מגיע עם 10 קרדיטים חינם, כלומר 5 תמלולים. היא משתמשת בהם כדי לבדוק את התשובה עבור כמה סרטונים בפורמט json (קטעים עם offset ו-duration בשניות) ובפורמט text. לפרטי הבקשה, במדריך איך לקבל תמלול של יוטיוב באמצעות API יש דוגמאות עובדות ב-curl, ב-Python וב-JavaScript.

3. הגדר טעינה אוטומטית

בלוח הבקרה של ה-API היא מפעילה טעינה אוטומטית. הכלל: כשהיתרה יורדת מתחת לרמה שנבחרה, הכרטיס השמור מחויב על חבילה נוספת. משימת הטעינה ממשיכה לרוץ כל הלילה בלי טעינה ידנית.

4. הגדר את התקציבים

שתי מגבלות מגינות עליה:

• תקציב טעינה חודשי, שמגביל כמה הטעינה האוטומטית יכולה להוציא בחודש.
• מגבלת קרדיטים חודשית. כשמגיעים אליה, בקשות נוספות מחזירות 402 budget_exceeded.

היא גם מפעילה התראות במייל על יתרה נמוכה, על 80% מהמגבלה החודשית ועל טעינות שנכשלו. ההתראות מודיעות על בעיה כשעדיין יש זמן לפעול.

5. כבד את מגבלת הקצב

כל מפתח מאפשר 60 בקשות בדקה. בקצב הזה 10,000 בקשות לוקחות כ-167 דקות, פחות משלוש שעות עם מפתח אחד. היא מריצה תור פשוט ששולח בקשה אחת בשנייה, ולכן נשארת מתחת למגבלה בלי פיקים. היא יכולה ליצור עד 5 מפתחות פעילים, למשל אחד לטעינה ואחד לחיפושים החיים של האפליקציה, כך שמילוי נתונים ישנים לא יחסום אף פעם בקשה של משתמש.

6. טפל בסרטונים בלי תמלול

ה-API מחזיר רק כתוביות קיימות של יוטיוב. שידורים חיים, סרטונים פרטיים או שהוסרו וסרטונים בלי כתוביות מחזירים 404 no_transcript. בתור שלה הסטטוס הזה אומר: סמן כמדולג והמשך, אף פעם אל תנסה שוב. מכיוון שהבקשות האלה לא עולות כלום, ערוץ מלא סרטונים בלי כתוביות לא שורף לה את התקציב.

הלולאה שלה, בפסאודו-קוד:

1. קח את מזהה הסרטון הבא מהתור.
2. קרא ל-API עם format=json.
3. בהצלחה: חלק את הקטעים לחתיכות של כדקה, שמור כל חתיכה עם ההיסט ההתחלתי שלה והטמע אותה.
4. ב-404 no_transcript: שמור סימון "אין תמלול".
5. ב-402 budget_exceeded: עצור את התור והתרע לעצמך.
6. בשגיאת שרת: נסה שוב אחרי השהיה.

7. בדוק את היתרה בקוד

לפני כל אצווה גדולה היא קוראת ל-GET /api/v1/credits. אם היתרה קטנה ממה שהאצווה צריכה והטעינה האוטומטית כבויה, המשימה מסרבת להתחיל. זו הגנה זולה מפני ייבוא חצי גמור.

עם מה היא מסיימת

אחרי הלילה הראשון האינדקס מכיל את התמלולים של כמעט כל 10,000 הסרטונים, וכל חתיכה נושאת את זמן ההתחלה שלה. כשמשתמש שואל שאלה, העוזר מצטט הרצאה וחותמת זמן, והקישור פותח את הסרטון באותו רגע. העלות השוטפת קטנה: 300 סרטונים חדשים בחודש הם לכל היותר 600 קרדיטים, כ-$18 לפי תעריף חבילת ה-5,000 של $0.030 לתמלול.

אילו מאיה הייתה מנויה על Pro, היא הייתה מקבלת גם 100 קרדיטי בונוס בכל חודש, שמכסים חלק מהצמיחה הזאת.

איפה זה נופל

• בלי כתוביות אין תמלול. ה-API לא מתמלל אודיו. לסרטונים בלי כתוביות צריך מקור אחר, כמו שירות דיבור לטקסט, שמשלמים עליו בנפרד. כמה API אחרים של תמלולים מציעים גיבוי אודיו, ראה ההשוואה בין ה-API של תמלולי יוטיוב.
• בכתוביות אוטומטיות יש טעויות. שמות וז'רגון הם הקורבנות הרגילים. התשובה מציינת אם רצועה נוצרה אוטומטית, כך שאפשר לתת משקל או לסמן חתיכות כאלה.
• השפה היא שפת רצועת הכתוביות. התשובה מדווחת על השפה האמיתית, אז אל תניח שהיא תואמת למה שביקשת.
• התפוקה מוגבלת לכל מפתח. מילוי גדול מאוד של נתונים ישנים הוא עניין של שעות, לא של שניות.
• הוא מחזיר רק תמלולים. חלוקה, הטמעה ושליפה הן העבודה שלך. אם אתה צריך רק את הסיכום של סרטון אחד, השתמש במסכם היוטיוב.

מקורות

• ה-API של התמלולים של sum.video
• המחירים של sum.video