বড় পরিসরে RAG অ্যাপের জন্য YouTube ট্রান্সক্রিপ্ট: ক্রেডিট, অটো টপ-আপ ও বাজেট

আপনার RAG বা AI অ্যাপে যদি বড় পরিসরে YouTube ট্রান্সক্রিপ্ট দরকার হয়, তবে কাজের সেটআপ হলো আগাম পরিশোধ করা ক্রেডিটসহ ব্যবহারভিত্তিক ট্রান্সক্রিপ্ট API, যাতে দীর্ঘ ইনজেশনের কাজ কখনো না থামে সেজন্য অটো টপ-আপ, আর কোনো বাগ যেন বিল না বাড়ায় সেজন্য মাসিক বাজেট। এই ধাপে ধাপে বর্ণনায় sum.video Transcript API ব্যবহার করে একজন ডেভেলপারকে এই সেটআপের মধ্য দিয়ে অনুসরণ করা হয়েছে।

পরিস্থিতি

মায়া একটি গবেষণা সহকারী বানাচ্ছেন, যা সম্মেলনের বক্তৃতা নিয়ে প্রশ্নের উত্তর দেয়। তাঁর ইনডেক্সে কয়েকশ চ্যানেলের প্রায় 10,000 YouTube ভিডিও থাকতে হবে, তারপর মাসে প্রায় 300টি নতুন ভিডিও যোগ হবে। তিনি ইনজেশন একটি ছোট সার্ভার থেকে চালান, আর তিনি না চান পাহারা দিতে, না চান হঠাৎ কোনো বিলে চমকে যেতে।

তাঁর শর্ত সরল: অনুমানযোগ্য খরচ, কাজের মাঝখানে হাতে রিচার্জ নয়, আর যেসব ভিডিওর ট্রান্সক্রিপ্ট নেই সেগুলোর পরিচ্ছন্ন নিষ্পত্তি।

তিনি ফলাফল থেকে কী চান

• প্রতিটি ভিডিওর জন্য সাধারণ টেক্সট, ভাগ করে এমবেড করার জন্য প্রস্তুত।
• টাইমস্ট্যাম্প, যাতে কোনো উত্তর ভিডিওর ঠিক সেই মুহূর্তে লিংক করতে পারে।
• শুরুর আগে অনুমান করা যায় এমন খরচ।
• খরচের একটি কঠোর ঊর্ধ্বসীমা।

ধাপে ধাপে

1. আগে খরচ অনুমান করুন

একটি ট্রান্সক্রিপ্টে 2 ক্রেডিট লাগে, আর ট্রান্সক্রিপ্ট ফেরত না দেওয়া অনুরোধে কিছুই লাগে না। 10,000 ভিডিওর জন্য এটি সর্বোচ্চ 20,000 ক্রেডিট। $74.99 ($0.030 প্রতি ট্রান্সক্রিপ্ট) মূল্যের 5,000 ক্রেডিটের প্যাকে 10,000 ট্রান্সক্রিপ্টের মোট খরচ প্রায় $300, কিছু ভিডিওর ক্যাপশন না থাকলে একটু কম। ছোট প্যাকে প্রতি ট্রান্সক্রিপ্টে খরচ বেশি: 100 ক্রেডিটে $0.090, 500-এ $0.056, 2,000-এ $0.038। হালনাগাদ বিবরণ মূল্য পাতায় আছে।

ক্রেডিট একবার কেনা হয় এবং কখনো মেয়াদোত্তীর্ণ হয় না, তাই তিনি যখন বানাচ্ছেন তখন সাবস্ক্রিপশনের ঘড়ি চলে না।

2. বিনামূল্যের ক্রেডিট দিয়ে পরীক্ষা করুন

তাঁর প্রথম API কী-এর সঙ্গে 10টি বিনামূল্যের ক্রেডিট আসে, অর্থাৎ 5টি ট্রান্সক্রিপ্ট। এগুলো দিয়ে তিনি কয়েকটি ভিডিওর রেসপন্স json ফরম্যাটে (সেকেন্ডে offset ও duration সহ সেগমেন্ট) এবং text ফরম্যাটে যাচাই করেন। অনুরোধের বিবরণ চাইলে গাইড API দিয়ে YouTube ট্রান্সক্রিপ্ট কীভাবে পাবেন-এ কাজ করা curl, Python ও JavaScript উদাহরণ আছে।

3. অটো টপ-আপ চালু করুন

API ড্যাশবোর্ডে তিনি অটো টপ-আপ চালু করেন। নিয়ম: ব্যালেন্স বেছে নেওয়া স্তরের নিচে নামলে সংরক্ষিত কার্ড থেকে আরেকটি প্যাকের টাকা কাটা হয়। ইনজেশনের কাজ হাতে রিচার্জ ছাড়াই সারারাত চলতে থাকে।

4. বাজেট ঠিক করুন

দুটি সীমা তাঁকে রক্ষা করে:

• একটি মাসিক টপ-আপ বাজেট, যা অটো টপ-আপ এক মাসে কত খরচ করতে পারবে তা সীমিত করে।
• একটি মাসিক ক্রেডিট সীমা। সেটি ছুঁলে পরের অনুরোধগুলো 402 budget_exceeded ফেরত দেয়।

তিনি কম ব্যালেন্স, মাসিক সীমার 80% এবং ব্যর্থ টপ-আপের জন্য ইমেইল সতর্কতাও চালু করেন। সতর্কতাগুলো পদক্ষেপ নেওয়ার সময় থাকতেই সমস্যার কথা জানিয়ে দেয়।

5. রেট সীমা মেনে চলুন

প্রতিটি কী মিনিটে 60টি অনুরোধের অনুমতি দেয়। সেই গতিতে 10,000 অনুরোধ নিতে প্রায় 167 মিনিট লাগে, অর্থাৎ একটি কী-তে তিন ঘণ্টার কম। তিনি প্রতি সেকেন্ডে একটি অনুরোধ পাঠায় এমন একটি সরল সারি চালান, ফলে হঠাৎ ঝোঁক ছাড়াই সীমার নিচে থাকেন। তিনি 5টি পর্যন্ত সক্রিয় কী বানাতে পারতেন, যেমন একটি ইনজেশনের জন্য আর একটি অ্যাপের লাইভ অনুসন্ধানের জন্য, যাতে পুরোনো ডেটা ভরার কাজ কখনো ব্যবহারকারীর অনুরোধ আটকে না দেয়।

6. ট্রান্সক্রিপ্টহীন ভিডিও সামলান

API শুধু বিদ্যমান YouTube ক্যাপশন ফেরত দেয়। লাইভ স্ট্রিম, প্রাইভেট বা মুছে ফেলা ভিডিও এবং ক্যাপশনহীন ভিডিও 404 no_transcript ফেরত দেয়। তাঁর সারিতে সেই অবস্থার মানে: বাদ দেওয়া হিসেবে চিহ্নিত করে এগিয়ে যাও, কখনো আবার চেষ্টা কোরো না। যেহেতু এই অনুরোধগুলোর কোনো খরচ নেই, ক্যাপশনহীন ভিডিওতে ভরা একটি চ্যানেল তাঁর বাজেট পোড়ায় না।

তাঁর লুপ, ছদ্মকোডে:

1. সারি থেকে পরের ভিডিও ID নাও।
2. format=json দিয়ে API কল করো।
3. সফল হলে: সেগমেন্টগুলো প্রায় এক মিনিটের টুকরোয় ভাগ করো, প্রতিটি টুকরো তার শুরুর অফসেটসহ সংরক্ষণ করো এবং এমবেড করো।
4. 404 no_transcript হলে: একটি "ট্রান্সক্রিপ্ট নেই" চিহ্ন সংরক্ষণ করো।
5. 402 budget_exceeded হলে: সারি থামাও এবং নিজেকে জানাও।
6. সার্ভার এররে: বিরতির পর আবার চেষ্টা করো।

7. কোডে ব্যালেন্স পরীক্ষা করুন

প্রতিটি বড় ব্যাচের আগে তিনি GET /api/v1/credits কল করেন। ব্যালেন্স ব্যাচের প্রয়োজনের চেয়ে কম হলে এবং অটো টপ-আপ বন্ধ থাকলে কাজ শুরু করতে অস্বীকার করে। অর্ধেক হয়ে থাকা ইমপোর্টের বিরুদ্ধে এটি সস্তা সুরক্ষা।

শেষে তিনি কী পান

প্রথম রাতের পর ইনডেক্সে প্রায় সব 10,000 ভিডিওর ট্রান্সক্রিপ্ট থাকে, প্রতিটি টুকরোয় তার শুরুর সময় লেখা। ব্যবহারকারী প্রশ্ন করলে সহকারী একটি বক্তৃতা ও একটি টাইমস্ট্যাম্পের উল্লেখ করে, আর লিংকটি ভিডিও সেই মুহূর্তে খোলে। চলমান খরচ কম: মাসে 300টি নতুন ভিডিও মানে সর্বোচ্চ 600 ক্রেডিট, 5,000-এর প্যাকের হার প্রতি ট্রান্সক্রিপ্ট $0.030 ধরলে প্রায় $18।

মায়া যদি Pro-তে সাবস্ক্রাইব করতেন, তবে প্রতি মাসে 100 বোনাস ক্রেডিটও পেতেন, যা সেই বৃদ্ধির একাংশ পূরণ করে।

যেখানে এটি অপর্যাপ্ত

• ক্যাপশন নেই মানে ট্রান্সক্রিপ্ট নেই। API অডিও ট্রান্সক্রাইব করে না। ক্যাপশনহীন ভিডিওর জন্য অন্য উৎস লাগবে, যেমন স্পিচ-টু-টেক্সট সেবা, আর তার টাকা আলাদা দিতে হয়। কিছু অন্য ট্রান্সক্রিপ্ট API অডিওর বিকল্প দেয়, দেখুন YouTube ট্রান্সক্রিপ্ট API-র তুলনা।
• স্বয়ংক্রিয় ক্যাপশনে ভুল থাকে। নাম আর পরিভাষা সাধারণত সবচেয়ে ক্ষতিগ্রস্ত হয়। রেসপন্স জানায় কোনো ট্র্যাক স্বয়ংক্রিয় কি না, তাই এমন টুকরোগুলোকে আপনি ওজন দিতে বা চিহ্নিত করতে পারেন।
• ভাষা হলো ক্যাপশন ট্র্যাকের ভাষা। রেসপন্স প্রকৃত ভাষা জানায়, তাই আপনি যা চেয়েছেন তার সঙ্গে মিলবে বলে ধরে নেবেন না।
• থ্রুপুট প্রতি কী-তে সীমিত। খুব বড় ডেটা ভরার কাজ সেকেন্ডের নয়, ঘণ্টার ব্যাপার।
• এটি শুধু ট্রান্সক্রিপ্ট ফেরত দেয়। ভাগ করা, এমবেড করা ও ফিরিয়ে আনা আপনার কাজ। শুধু একটি ভিডিওর সারসংক্ষেপ দরকার হলে YouTube সামারাইজার ব্যবহার করুন।

সূত্র

• sum.video Transcript API
• sum.video মূল্য