பெரிய அளவில் RAG செயலிக்கான YouTube டிரான்ஸ்கிரிப்ட்கள்: கிரெடிட்கள், தானியங்கி டாப்-அப், பட்ஜெட்கள்

உங்கள் RAG அல்லது AI செயலிக்குப் பெரிய அளவில் YouTube டிரான்ஸ்கிரிப்ட்கள் தேவைப்பட்டால், நடைமுறை அமைப்பு இது: முன்பணம் செலுத்திய கிரெடிட்களுடன் பயன்பாட்டுக்கேற்ப செலுத்தும் டிரான்ஸ்கிரிப்ட் API, நீண்ட உள்ளிழுக்கும் பணி நிற்காமல் இருக்க தானியங்கி டாப்-அப், பிழை பில்லை உயர்த்தாமல் இருக்க மாதாந்திர பட்ஜெட். இந்த எடுத்துக்காட்டு sum.video Transcript API மூலம் ஒரு டெவலப்பரை இந்த அமைப்பின் வழியே பின்தொடர்கிறது.

சூழ்நிலை

மாயா மாநாட்டுப் பேச்சுகள் பற்றிய கேள்விகளுக்குப் பதிலளிக்கும் ஆராய்ச்சி உதவியாளரை உருவாக்குகிறார். அவரது குறியீட்டு (index) சில நூறு சேனல்களின் சுமார் 10,000 YouTube வீடியோக்களை உள்ளடக்க வேண்டும், பிறகு மாதம் சுமார் 300 புதிய வீடியோக்கள் வளர வேண்டும். உள்ளிழுப்பை ஒரு சிறிய சர்வரில் இயக்குகிறார், அதைக் கண்காணித்துக்கொண்டிருக்கவும் விரும்பவில்லை, பில்லால் அதிர்ச்சியடையவும் விரும்பவில்லை.

அவரது நிபந்தனைகள் எளிமையானவை: கணிக்கக்கூடிய செலவு, பணி நடுவே கைமுறை ரீசார்ஜ் இல்லை, டிரான்ஸ்கிரிப்ட் இல்லாத வீடியோக்களைத் தூய்மையாகக் கையாளுதல்.

அவருக்கு என்ன தேவை

• ஒவ்வொரு வீடியோவின் எளிய உரை, துண்டுகளாகப் பிரித்து embed செய்யத் தயாராக.
• நேர முத்திரைகள், பதில் வீடியோவின் சரியான தருணத்துக்கு இணைக்க முடியும்படி.
• தொடங்கும் முன் மதிப்பிடக்கூடிய செலவு.
• செலவுக்கு உறுதியான உச்சவரம்பு.

படிப்படியாக

1. முதலில் செலவை மதிப்பிடுங்கள்

ஒரு டிரான்ஸ்கிரிப்டுக்கு 2 கிரெடிட்கள் ஆகும், டிரான்ஸ்கிரிப்டைத் திருப்பாத கோரிக்கைகளுக்குக் கட்டணம் இல்லை. 10,000 வீடியோக்களுக்கு அதிகபட்சம் 20,000 கிரெடிட்கள். $74.99 இன் 5,000 கிரெடிட் தொகுப்புடன் ($0.030 ஒன்றுக்கு), 10,000 டிரான்ஸ்கிரிப்ட்களுக்கு மொத்தம் சுமார் $300, சில வீடியோக்களில் captions இல்லையென்றால் சற்றுக் குறைவு. சிறிய தொகுப்புகளில் ஒரு டிரான்ஸ்கிரிப்டுக்கு அதிகம்: 100 கிரெடிட்களுக்கு $0.090, 500 க்கு $0.056, 2,000 க்கு $0.038. விலைப் பக்கத்தில் தற்போதைய விவரங்கள் உள்ளன.

கிரெடிட்கள் ஒருமுறை வாங்கப்படுகின்றன, ஒருபோதும் காலாவதியாகாது, அதனால் அவர் உருவாக்கும்போது சந்தா கடிகாரம் ஓடுவதில்லை.

2. இலவச கிரெடிட்களுடன் சோதியுங்கள்

அவரது முதல் API விசை 10 இலவச கிரெடிட்களுடன் வருகிறது, அதாவது 5 டிரான்ஸ்கிரிப்ட்கள். சில வீடியோக்களுக்கு json வடிவத்தில் (வினாடிகளில் offset மற்றும் duration உடன் துண்டுகள்) மற்றும் text வடிவத்தில் பதிலைச் சரிபார்க்க அவற்றைப் பயன்படுத்துகிறார். கோரிக்கை விவரங்கள் வேண்டுமென்றால், API மூலம் YouTube டிரான்ஸ்கிரிப்ட் பெறுவது எப்படி வழிகாட்டியில் curl, Python, JavaScript இல் வேலை செய்யும் எடுத்துக்காட்டுகள் உள்ளன.

3. தானியங்கி டாப்-அப்பை அமையுங்கள்

API dashboard இல் தானியங்கி டாப்-அப்பை இயக்குகிறார். விதி: இருப்பு தேர்ந்தெடுத்த நிலைக்குக் கீழே குறையும்போது, சேமித்த அட்டையில் இன்னொரு தொகுப்புக்கான தொகை வசூலிக்கப்படும். உள்ளிழுக்கும் பணி கைமுறை ரீசார்ஜ் இல்லாமல் இரவு முழுவதும் தொடர்ந்து ஓடுகிறது.

4. பட்ஜெட்களை அமையுங்கள்

இரண்டு வரம்புகள் அவரைப் பாதுகாக்கின்றன:

• மாதாந்திர டாப்-அப் பட்ஜெட், ஒரு மாதத்தில் தானியங்கி டாப்-அப் எவ்வளவு செலவழிக்கலாம் என்பதற்கு உச்சவரம்பு.
• மாதாந்திர கிரெடிட் வரம்பு. இது எட்டப்பட்டால், மேலும் வரும் கோரிக்கைகள் 402 budget_exceeded ஐத் தரும்.

குறைந்த இருப்பு, மாத வரம்பின் 80%, தோல்வியடைந்த டாப்-அப்கள் ஆகியவற்றுக்கு மின்னஞ்சல் எச்சரிக்கைகளையும் இயக்குகிறார். நடவடிக்கை எடுக்க இன்னும் நேரம் இருக்கும்போதே எச்சரிக்கைகள் பிரச்சினையைச் சொல்லும்.

5. வேக வரம்பை மதியுங்கள்

ஒவ்வொரு விசையும் நிமிடத்துக்கு 60 கோரிக்கைகளை அனுமதிக்கும். அந்த வேகத்தில் 10,000 கோரிக்கைகள் சுமார் 167 நிமிடங்கள் ஆகும், ஒரே விசையில் மூன்று மணி நேரத்துக்குள். அவர் வினாடிக்கு ஒரு கோரிக்கை அனுப்பும் எளிய வரிசையை இயக்குகிறார், அதனால் திடீர்ப் பெருக்கம் இல்லாமல் வரம்புக்குள் இருக்கிறார். 5 செயலில் உள்ள விசைகள் வரை உருவாக்கலாம், எடுத்துக்காட்டாக ஒன்று உள்ளிழுப்புக்கும் ஒன்று செயலியின் நேரடித் தேடல்களுக்கும், அப்போது பழைய தரவை நிரப்பும் பணி பயனரின் கோரிக்கையைத் தடுக்காது.

6. டிரான்ஸ்கிரிப்ட் இல்லாத வீடியோக்களைக் கையாளுங்கள்

API ஏற்கனவே உள்ள YouTube captions ஐ மட்டுமே தருகிறது. நேரலைகள், தனிப்பட்ட அல்லது நீக்கப்பட்ட வீடியோக்கள், captions இல்லாத வீடியோக்கள் 404 no_transcript ஐத் தரும். அவரது வரிசையில் அந்த நிலை என்றால் தவிர்க்கப்பட்டது என்று குறித்து முன்னேறுங்கள், ஒருபோதும் மீண்டும் முயலாதீர்கள். அந்தக் கோரிக்கைகளுக்குக் கட்டணம் இல்லாததால், captions இல்லாத வீடியோக்கள் நிறைந்த சேனல் அவரது பட்ஜெட்டை எரிக்காது.

அவரது loop, pseudocode இல்:

1. வரிசையிலிருந்து அடுத்த வீடியோ ID ஐ எடுங்கள்.
2. format=json உடன் API ஐ அழையுங்கள்.
3. வெற்றி பெற்றால்: துண்டுகளை சுமார் ஒரு நிமிட பகுதிகளாகப் பிரித்து, ஒவ்வொன்றையும் அதன் தொடக்க offset உடன் சேமித்து embed செய்யுங்கள்.
4. 404 no_transcript என்றால்: "டிரான்ஸ்கிரிப்ட் இல்லை" என்ற குறியைச் சேமியுங்கள்.
5. 402 budget_exceeded என்றால்: வரிசையை இடைநிறுத்தி உங்களுக்கே எச்சரியுங்கள்.
6. சர்வர் பிழை என்றால்: சிறிது தாமதத்துக்குப் பின் மீண்டும் முயலுங்கள்.

7. குறியீட்டில் இருப்பைச் சரிபாருங்கள்

ஒவ்வொரு பெரிய தொகுதிக்கும் முன் அவர் GET /api/v1/credits ஐ அழைக்கிறார். இருப்பு தொகுதிக்குத் தேவையானதை விடக் குறைவாக இருந்து, தானியங்கி டாப்-அப் அணைக்கப்பட்டிருந்தால், பணி தொடங்க மறுக்கும். பாதியில் நின்ற இறக்குமதிக்கு எதிரான மலிவான பாதுகாப்பு இது.

அவருக்கு என்ன கிடைக்கிறது

முதல் இரவுக்குப் பிறகு, குறியீட்டில் கிட்டத்தட்ட அனைத்து 10,000 வீடியோக்களின் டிரான்ஸ்கிரிப்ட்களும் இருக்கும், ஒவ்வொரு துண்டிலும் அதன் தொடக்க நேரத்துடன். பயனர் கேள்வி கேட்கும்போது, உதவியாளர் ஒரு பேச்சையும் நேர முத்திரையையும் மேற்கோள் காட்டும், இணைப்பு அந்தத் தருணத்தில் வீடியோவைத் திறக்கும். தொடர் செலவு சிறியது: மாதம் 300 புதிய வீடியோக்கள் அதிகபட்சம் 600 கிரெடிட்கள், டிரான்ஸ்கிரிப்டுக்கு $0.030 என்ற 5,000 தொகுப்பு விகிதத்தில் சுமார் $18.

மாயா Pro ஐ எடுத்தால், மாதந்தோறும் 100 போனஸ் கிரெடிட்களும் கிடைக்கும், அந்த வளர்ச்சியில் ஒரு பகுதியை அது ஈடுசெய்யும்.

இது எங்கே குறைகிறது

• captions இல்லையென்றால் டிரான்ஸ்கிரிப்ட் இல்லை. API ஒலியை டிரான்ஸ்கிரைப் செய்யாது. captions இல்லாத வீடியோக்களுக்கு speech-to-text சேவை போன்ற வேறு ஆதாரம் தேவை, அதற்குத் தனியாகக் கட்டணம். வேறு சில டிரான்ஸ்கிரிப்ட் API கள் ஒலி மாற்றை வழங்குகின்றன, YouTube டிரான்ஸ்கிரிப்ட் API ஒப்பீட்டைப் பாருங்கள்.
• தானியங்கி captions இல் பிழைகள் உண்டு. பெயர்களும் தொழில்நுட்பச் சொற்களும் வழக்கமான பாதிப்புகள். ஒரு track தானியங்கியா என்பதைப் பதில் சொல்லும், அதனால் அந்தத் துண்டுகளுக்கு எடையைக் குறைக்கலாம் அல்லது குறிக்கலாம்.
• மொழி caption track இன் மொழி. பதில் உண்மையான மொழியைக் கூறும், அதனால் நீங்கள் கேட்டதுடன் பொருந்தும் என்று நினைக்காதீர்கள்.
• செயல்திறன் ஒரு விசைக்கு வரம்புக்குட்பட்டது. மிகப்பெரிய நிரப்புதல் மணிநேரங்களின் விஷயம், வினாடிகளின் அல்ல.
• இது டிரான்ஸ்கிரிப்ட்களை மட்டுமே தருகிறது. துண்டுகளாகப் பிரித்தல், embedding, மீட்டெடுப்பு உங்கள் வேலை. ஒரு வீடியோவின் சுருக்கம் மட்டும் தேவையென்றால் YouTube சுருக்கியைப் பயன்படுத்துங்கள்.

ஆதாரங்கள்

• sum.video Transcript API
• sum.video விலைகள்