मोठ्या प्रमाणावर RAG अ‍ॅपसाठी YouTube ट्रान्सक्रिप्ट: क्रेडिट, ऑटो टॉप-अप आणि बजेट

तुमच्या RAG किंवा AI अ‍ॅपला मोठ्या प्रमाणावर YouTube ट्रान्सक्रिप्ट हवी असतील, तर व्यावहारिक रचना अशी: आगाऊ भरलेल्या क्रेडिटसह वापरावर आधारित ट्रान्सक्रिप्ट API, लांब इंजेशन काम कधीही थांबू नये यासाठी ऑटो टॉप-अप, आणि बगमुळे बिल फुगू नये यासाठी मासिक बजेट. हे मार्गदर्शन sum.video Transcript API सह त्या रचनेतून एका डेव्हलपरला पुढे नेते.

परिस्थिती

माया परिषदेतील भाषणांबद्दलच्या प्रश्नांना उत्तर देणारा संशोधन सहाय्यक बनवत आहे. तिच्या इंडेक्सने काही शेकडो चॅनेलमधील सुमारे 10,000 YouTube व्हिडिओ समाविष्ट करायला हवेत, आणि मग दरमहा सुमारे 300 नव्या व्हिडिओंनी वाढायला हवे. ती इंजेशन एका छोट्या सर्व्हरवरून चालवते आणि तिला त्यावर लक्ष ठेवत बसायचे नाही किंवा बिलाने चकित व्हायचे नाही.

तिच्या अटी स्पष्ट आहेत: अंदाजे खर्च, कामाच्या मध्यात हाताने रिचार्ज नाही, आणि ट्रान्सक्रिप्ट नसलेल्या व्हिडिओंची नीटनेटकी हाताळणी.

तिला काय हवे आहे

• प्रत्येक व्हिडिओसाठी साधा मजकूर, विभाजित करून एम्बेड करण्यास तयार.
• उत्तराला व्हिडिओतील नेमक्या क्षणाशी लिंक करता यावी म्हणून टाइमस्टॅम्प.
• सुरू करण्यापूर्वी अंदाज बांधता येईल असा खर्च.
• खर्चावर कठोर वरची मर्यादा.

टप्प्याटप्प्याने

1. आधी खर्चाचा अंदाज घ्या

एका ट्रान्सक्रिप्टला 2 क्रेडिट खर्च येतो, आणि ट्रान्सक्रिप्ट परत न करणाऱ्या विनंत्यांना खर्च येत नाही. 10,000 व्हिडिओंसाठी तो जास्तीत जास्त 20,000 क्रेडिट आहे. $74.99 ($0.030 प्रति ट्रान्सक्रिप्ट) च्या 5,000 क्रेडिटच्या पॅकने, 10,000 ट्रान्सक्रिप्टचा एकूण खर्च सुमारे $300 येतो, काही व्हिडिओंना कॅप्शन नसल्यास थोडा कमी. लहान पॅक प्रति ट्रान्सक्रिप्ट महाग आहेत: 100 क्रेडिटला $0.090, 500 ला $0.056, 2,000 ला $0.038. सध्याचा तपशील किंमत पानावर आहे.

क्रेडिट एकदाच विकत घेतले जातात आणि कधीच कालबाह्य होत नाहीत, त्यामुळे ती बनवत असताना सबस्क्रिप्शनचे घड्याळ चालत नाही.

2. मोफत क्रेडिटने तपासा

तिची पहिली API की 10 मोफत क्रेडिटसह येते, म्हणजे 5 ट्रान्सक्रिप्ट. त्यांचा वापर करून ती काही व्हिडिओंचा प्रतिसाद json फॉरमॅटमध्ये (सेकंदांत offset आणि duration असलेले विभाग) आणि text फॉरमॅटमध्ये तपासते. विनंतीच्या तपशिलासाठी, मार्गदर्शक API द्वारे YouTube ट्रान्सक्रिप्ट कसे मिळवावे मध्ये curl, Python आणि JavaScript मधील चालणारी उदाहरणे आहेत.

3. ऑटो टॉप-अप लावा

API डॅशबोर्डमध्ये ती ऑटो टॉप-अप चालू करते. नियम: शिल्लक निवडलेल्या पातळीखाली गेली की जतन केलेल्या कार्डवर आणखी एका पॅकचे शुल्क आकारले जाते. इंजेशनचे काम हाताने रिचार्ज न करता रात्रभर चालू राहते.

4. बजेट ठरवा

दोन मर्यादा तिचे रक्षण करतात:

• मासिक टॉप-अप बजेट, जे ऑटो टॉप-अप एका महिन्यात किती खर्च करू शकते ते मर्यादित करते.
• मासिक क्रेडिट मर्यादा. ती गाठली की पुढील विनंत्या 402 budget_exceeded परत करतात.

ती कमी शिल्लक, मासिक मर्यादेचे 80% आणि अयशस्वी टॉप-अपसाठी ईमेल सूचनाही चालू करते. कृती करायला अजून वेळ असतानाच सूचना समस्येबद्दल कळवतात.

5. दर मर्यादेचा आदर करा

प्रत्येक की प्रति मिनिट 60 विनंत्यांना परवानगी देते. त्या वेगाने 10,000 विनंत्यांना सुमारे 167 मिनिटे लागतात, म्हणजे एका कीसह तीन तासांपेक्षा कमी. ती दर सेकंदाला एक विनंती पाठवणारी साधी रांग चालवते, त्यामुळे अचानक उसळी न येता मर्यादेखाली राहते. ती 5 पर्यंत सक्रिय की तयार करू शकते, उदाहरणार्थ एक इंजेशनसाठी आणि एक अ‍ॅपच्या थेट शोधांसाठी, जेणेकरून जुना डेटा भरणे कधीही वापरकर्त्याच्या विनंतीला अडवणार नाही.

6. ट्रान्सक्रिप्ट नसलेले व्हिडिओ हाताळा

API फक्त सध्याची YouTube कॅप्शन्स परत करते. लाइव्ह स्ट्रीम, खासगी किंवा काढलेले व्हिडिओ आणि कॅप्शन नसलेले व्हिडिओ 404 no_transcript परत करतात. तिच्या रांगेत त्या स्थितीचा अर्थ: वगळले म्हणून चिन्हांकित करा आणि पुढे जा, कधीही पुन्हा प्रयत्न करू नका. या विनंत्यांना खर्च येत नसल्याने, कॅप्शन नसलेल्या व्हिडिओंनी भरलेले चॅनल तिचे बजेट जाळत नाही.

तिचा लूप, स्यूडोकोडमध्ये:

1. रांगेतून पुढचा व्हिडिओ ID घ्या.
2. format=json सह API कॉल करा.
3. यशस्वी झाल्यास: विभाग सुमारे एका मिनिटाच्या तुकड्यांत विभाजित करा, प्रत्येक तुकडा त्याच्या सुरुवातीच्या ऑफसेटसह जतन करा आणि एम्बेड करा.
4. 404 no_transcript आल्यास: "ट्रान्सक्रिप्ट नाही" ची खूण जतन करा.
5. 402 budget_exceeded आल्यास: रांग थांबवा आणि स्वतःला कळवा.
6. सर्व्हर त्रुटीवर: विलंबानंतर पुन्हा प्रयत्न करा.

7. कोडमध्ये शिल्लक तपासा

प्रत्येक मोठ्या बॅचपूर्वी ती GET /api/v1/credits कॉल करते. शिल्लक बॅचला लागणाऱ्यापेक्षा कमी असल्यास आणि ऑटो टॉप-अप बंद असल्यास, काम सुरू होण्यास नकार देते. अर्धवट राहिलेल्या आयातीविरुद्ध हे स्वस्त संरक्षण आहे.

शेवटी तिच्याकडे काय असते

पहिल्या रात्रीनंतर, इंडेक्समध्ये जवळपास सर्व 10,000 व्हिडिओंची ट्रान्सक्रिप्ट असतात, प्रत्येक तुकडा त्याची सुरुवातीची वेळ घेऊन. वापरकर्त्याने प्रश्न विचारला की सहाय्यक एक भाषण आणि टाइमस्टॅम्प उद्धृत करतो, आणि लिंक त्या क्षणी व्हिडिओ उघडते. चालू खर्च कमी आहे: दरमहा 300 नवे व्हिडिओ म्हणजे जास्तीत जास्त 600 क्रेडिट, 5,000 पॅकच्या $0.030 प्रति ट्रान्सक्रिप्ट दराने सुमारे $18.

माया Pro मध्ये सामील झाली असती तर तिला दर महिन्याला 100 बोनस क्रेडिटही मिळाले असते, जे त्या वाढीचा काही भाग भागवतात.

हे कुठे कमी पडते

• कॅप्शन नाही तर ट्रान्सक्रिप्ट नाही. API ऑडिओचे ट्रान्सक्रिप्शन करत नाही. कॅप्शन नसलेल्या व्हिडिओंसाठी तुम्हाला दुसरा स्रोत लागतो, जसे स्पीच-टू-टेक्स्ट सेवा, ज्याचे पैसे वेगळे द्यावे लागतात. काही इतर ट्रान्सक्रिप्ट API ऑडिओ पर्याय देतात, पहा YouTube ट्रान्सक्रिप्ट API ची तुलना.
• आपोआप तयार झालेल्या कॅप्शनमध्ये चुका असतात. नावे आणि पारिभाषिक शब्द साधारणपणे सर्वाधिक बिघडतात. ट्रॅक आपोआप तयार झाला आहे का ते प्रतिसाद सांगतो, त्यामुळे अशा तुकड्यांना वजन देता येते किंवा चिन्हांकित करता येते.
• भाषा ही कॅप्शन ट्रॅकची भाषा असते. प्रतिसाद खरी भाषा कळवतो, त्यामुळे तुम्ही मागितलेल्याशी ती जुळते असे गृहीत धरू नका.
• थ्रूपुट प्रति की मर्यादित आहे. खूप मोठा जुना डेटा भरणे हे तासांचे काम आहे, सेकंदांचे नाही.
• ते फक्त ट्रान्सक्रिप्ट परत करते. विभाजन, एम्बेडिंग आणि पुनर्प्राप्ती हे तुमचे काम आहे. फक्त एका व्हिडिओचा सारांश हवा असेल, तर YouTube सारांशकर्ता वापरा.

स्रोत

• sum.video Transcript API
• sum.video च्या किंमती