बड़े पैमाने पर RAG ऐप के लिए YouTube ट्रांसक्रिप्ट: क्रेडिट, ऑटो टॉप-अप और बजट

अगर आपके RAG या AI ऐप को बड़े पैमाने पर YouTube ट्रांसक्रिप्ट चाहिए, तो व्यावहारिक सेटअप है: प्रीपेड क्रेडिट वाली उपयोग-आधारित ट्रांसक्रिप्ट API, ऑटो टॉप-अप ताकि लंबा इंजेशन काम कभी न रुके, और मासिक बजट ताकि कोई बग बिल न बढ़ा दे। यह वॉकथ्रू एक डेवलपर को sum.video Transcript API के साथ इस सेटअप से गुज़रते हुए दिखाता है।

स्थिति

माया एक रिसर्च असिस्टेंट बना रही है जो कॉन्फ़्रेंस की बातचीतों के बारे में सवालों के जवाब देता है। उसके इंडेक्स को कुछ सौ चैनलों के लगभग 10,000 YouTube वीडियो कवर करने हैं, और फिर हर महीने लगभग 300 नए वीडियो के साथ बढ़ना है। वह इंजेशन एक छोटे सर्वर से चलाती है, और न उसे निगरानी में बैठना है, न किसी बिल से चौंकना है।

उसकी शर्तें सीधी हैं: अनुमान के भीतर लागत, काम के बीच में हाथ से रीचार्ज नहीं, और जिन वीडियो का ट्रांसक्रिप्ट नहीं है उनका साफ़-सुथरा निपटारा।

उसे नतीजे से क्या चाहिए

• हर वीडियो के लिए सादा टेक्स्ट, जो बाँटने और एम्बेड करने के लिए तैयार हो।
• टाइमस्टैंप, ताकि कोई जवाब वीडियो के ठीक उसी पल से लिंक कर सके।
• ऐसी लागत जिसका अनुमान वह शुरू करने से पहले लगा सके।
• ख़र्च की एक सख़्त ऊपरी सीमा।

क्रमवार

1. पहले लागत का अनुमान लगाएँ

एक ट्रांसक्रिप्ट की लागत 2 क्रेडिट है, और जो अनुरोध ट्रांसक्रिप्ट नहीं लौटाते उनकी कोई लागत नहीं। 10,000 वीडियो के लिए यह अधिकतम 20,000 क्रेडिट है। $74.99 ($0.030 प्रति ट्रांसक्रिप्ट) वाले 5,000 क्रेडिट के पैक से 10,000 ट्रांसक्रिप्ट की कुल लागत लगभग $300 होती है, और अगर कुछ वीडियो में कैप्शन न हों तो थोड़ी कम। छोटे पैक प्रति ट्रांसक्रिप्ट महँगे हैं: 100 क्रेडिट पर $0.090, 500 पर $0.056, 2,000 पर $0.038। ताज़ा ब्योरा कीमतों के पेज पर है।

क्रेडिट एक बार ख़रीदे जाते हैं और कभी समाप्त नहीं होते, इसलिए जब तक वह बना रही है, कोई सब्सक्रिप्शन की घड़ी नहीं चल रही।

2. मुफ़्त क्रेडिट से जाँचें

उसकी पहली API कुंजी के साथ 10 मुफ़्त क्रेडिट आते हैं, यानी 5 ट्रांसक्रिप्ट। वह इनसे कुछ वीडियो का जवाब json फ़ॉर्मेट (सेकंड में offset और duration वाले सेगमेंट) और text फ़ॉर्मेट में जाँचती है। अनुरोध के ब्योरे के लिए गाइड API से YouTube ट्रांसक्रिप्ट कैसे पाएँ में curl, Python और JavaScript के काम करने वाले उदाहरण हैं।

3. ऑटो टॉप-अप सेट करें

API डैशबोर्ड में वह ऑटो टॉप-अप चालू करती है। नियम: जब बैलेंस चुने हुए स्तर से नीचे गिरता है, तो सहेजे हुए कार्ड से एक और पैक का भुगतान लिया जाता है। इंजेशन का काम बिना हाथ से रीचार्ज किए पूरी रात चलता रहता है।

4. बजट सेट करें

दो सीमाएँ उसकी रक्षा करती हैं:

• एक मासिक टॉप-अप बजट, जो तय करता है कि ऑटो टॉप-अप एक महीने में कितना ख़र्च कर सकता है।
• एक मासिक क्रेडिट सीमा। यह पूरी होते ही आगे के अनुरोध 402 budget_exceeded लौटाते हैं।

वह कम बैलेंस, मासिक सीमा के 80% और विफल टॉप-अप के लिए ईमेल अलर्ट भी चालू करती है। अलर्ट समस्या तब बताते हैं जब कुछ करने का समय बाक़ी हो।

5. दर सीमा का सम्मान करें

हर कुंजी प्रति मिनट 60 अनुरोध की अनुमति देती है। इस रफ़्तार पर 10,000 अनुरोध लगभग 167 मिनट लेते हैं, यानी एक कुंजी से तीन घंटे से कम। वह एक सरल कतार चलाती है जो हर सेकंड एक अनुरोध भेजती है, इसलिए बिना अचानक उछाल के सीमा के नीचे रहती है। वह 5 तक सक्रिय कुंजियाँ बना सकती है, जैसे एक इंजेशन के लिए और एक ऐप की लाइव खोज के लिए, ताकि पुराना डेटा भरने का काम कभी किसी उपयोगकर्ता के अनुरोध को न रोके।

6. बिना ट्रांसक्रिप्ट वाले वीडियो संभालें

API सिर्फ़ मौजूदा YouTube कैप्शन लौटाती है। लाइव स्ट्रीम, निजी या हटाए गए वीडियो, और बिना कैप्शन वाले वीडियो 404 no_transcript लौटाते हैं। उसकी कतार में इस स्थिति का मतलब है: छोड़ा गया चिह्नित करो और आगे बढ़ो, कभी दोबारा कोशिश मत करो। क्योंकि इन अनुरोधों की कोई लागत नहीं, इसलिए बिना कैप्शन वाले वीडियो से भरा चैनल उसका बजट नहीं खाता।

उसका लूप, छद्म कोड में:

1. कतार से अगला वीडियो ID लो।
2. format=json के साथ API को बुलाओ।
3. सफल होने पर: सेगमेंट को लगभग एक-एक मिनट के टुकड़ों में बाँटो, हर टुकड़े को उसके शुरुआती ऑफ़सेट के साथ सहेजो और एम्बेड करो।
4. 404 no_transcript पर: "ट्रांसक्रिप्ट नहीं" का चिह्न सहेजो।
5. 402 budget_exceeded पर: कतार रोक दो और ख़ुद को सूचित करो।
6. सर्वर एरर पर: कुछ देर बाद दोबारा कोशिश करो।

7. कोड से बैलेंस जाँचें

हर बड़े बैच से पहले वह GET /api/v1/credits बुलाती है। अगर बैलेंस बैच की ज़रूरत से कम है और ऑटो टॉप-अप बंद है, तो काम शुरू होने से इनकार कर देता है। यह अधूरे इम्पोर्ट के ख़िलाफ़ सस्ता बचाव है।

आख़िर में उसके पास क्या होता है

पहली रात के बाद इंडेक्स में लगभग सभी 10,000 वीडियो के ट्रांसक्रिप्ट होते हैं, और हर टुकड़े पर उसका शुरुआती समय दर्ज होता है। जब कोई उपयोगकर्ता सवाल पूछता है, तो असिस्टेंट किसी बातचीत और टाइमस्टैंप का हवाला देता है, और लिंक वीडियो को उसी पल पर खोलता है। चालू लागत छोटी है: महीने के 300 नए वीडियो अधिकतम 600 क्रेडिट हैं, यानी 5,000 वाले पैक की $0.030 प्रति ट्रांसक्रिप्ट की दर पर लगभग $18।

अगर माया Pro ले ले, तो उसे हर महीने 100 बोनस क्रेडिट भी मिलेंगे, जो इस बढ़त के कुछ हिस्से को ढक देंगे।

यह कहाँ कमज़ोर पड़ता है

• कैप्शन नहीं, तो ट्रांसक्रिप्ट नहीं। API ऑडियो को टेक्स्ट में नहीं बदलती। बिना कैप्शन वाले वीडियो के लिए आपको कोई और स्रोत चाहिए, जैसे स्पीच-टू-टेक्स्ट सेवा, और उसका भुगतान अलग से होता है। कुछ अन्य ट्रांसक्रिप्ट API ऑडियो का विकल्प देती हैं, देखें YouTube ट्रांसक्रिप्ट API की तुलना।
• अपने आप बने कैप्शन में ग़लतियाँ होती हैं। नाम और विशेष शब्द आम तौर पर सबसे ज़्यादा बिगड़ते हैं। जवाब बताता है कि कोई ट्रैक अपने आप बना है या नहीं, इसलिए आप ऐसे टुकड़ों को कम वज़न दे सकते हैं या चिह्नित कर सकते हैं।
• भाषा वही है जो कैप्शन ट्रैक की है। जवाब असली भाषा बताता है, इसलिए यह मत मानिए कि वह वही है जो आपने माँगी थी।
• थ्रूपुट प्रति कुंजी सीमित है। बहुत बड़ा बैकफ़िल सेकंडों का नहीं, घंटों का मामला है।
• यह सिर्फ़ ट्रांसक्रिप्ट लौटाती है। बाँटना, एम्बेड करना और खोज निकालना आपका काम है। अगर आपको सिर्फ़ एक वीडियो का सारांश चाहिए, तो YouTube सारांशकर्ता इस्तेमाल करें।

स्रोत

• sum.video Transcript API
• sum.video की कीमतें