મોટા પાયે RAG એપ માટે YouTube ટ્રાન્સક્રિપ્ટ: ક્રેડિટ, ઓટો ટોપ-અપ અને બજેટ

જો તમારી RAG કે AI એપને મોટા પાયે YouTube ટ્રાન્સક્રિપ્ટ જોઈતા હોય, તો વ્યવહારુ ગોઠવણ આ છે: પ્રીપેઇડ ક્રેડિટ સાથે વપરાશ આધારિત ટ્રાન્સક્રિપ્ટ API, લાંબું ઇન્જેશન કામ ક્યારેય અટકે નહીં તે માટે ઓટો ટોપ-અપ, અને બગ બિલ ફુલાવી ન દે તે માટે માસિક બજેટ. આ વૉકથ્રુ sum.video Transcript API સાથે આ ગોઠવણમાંથી પસાર થતી એક ડેવલપરને અનુસરે છે.

પરિસ્થિતિ

માયા એક રિસર્ચ આસિસ્ટન્ટ બનાવી રહી છે જે પરિષદના પ્રવચનો વિશેના પ્રશ્નોના જવાબ આપે છે. તેના ઇન્ડેક્સમાં કેટલાક સો ચેનલોના લગભગ 10,000 YouTube વીડિયો હોવા જોઈએ, અને પછી દર મહિને લગભગ 300 નવા વીડિયો સાથે વધવું જોઈએ. તે ઇન્જેશન એક નાના સર્વરથી ચલાવે છે, અને ન તો તેની રખેવાળી કરવા માંગે છે, ન બિલથી ચોંકી જવા માંગે છે.

તેની શરતો સીધી છે: અનુમાનિત ખર્ચ, કામની વચ્ચે હાથે રિચાર્જ નહીં, અને જે વીડિયોનું ટ્રાન્સક્રિપ્ટ નથી તેનું સ્વચ્છ સંચાલન.

તેને પરિણામમાંથી શું જોઈએ છે

• દરેક વીડિયો માટે સાદું ટેક્સ્ટ, વિભાજન અને એમ્બેડિંગ માટે તૈયાર.
• ટાઇમસ્ટેમ્પ, જેથી જવાબ વીડિયોની ચોક્કસ ક્ષણ સાથે લિંક કરી શકે.
• શરૂ કરતા પહેલા અંદાજી શકાય તેવો ખર્ચ.
• ખર્ચ પર કડક ટોચમર્યાદા.

પગલાં પ્રમાણે

1. પહેલા ખર્ચનો અંદાજ કાઢો

એક ટ્રાન્સક્રિપ્ટનો ખર્ચ 2 ક્રેડિટ છે, અને જે વિનંતીઓ ટ્રાન્સક્રિપ્ટ પાછી નથી આપતી તેનો કોઈ ખર્ચ નથી. 10,000 વીડિયો માટે તે વધુમાં વધુ 20,000 ક્રેડિટ છે. $74.99 ($0.030 પ્રતિ ટ્રાન્સક્રિપ્ટ) ના 5,000 ક્રેડિટના પેક સાથે, 10,000 ટ્રાન્સક્રિપ્ટનો કુલ ખર્ચ લગભગ $300 થાય, અને કેટલાક વીડિયોમાં કેપ્શન ન હોય તો થોડો ઓછો. નાના પેક પ્રતિ ટ્રાન્સક્રિપ્ટ વધુ મોંઘા છે: 100 ક્રેડિટે $0.090, 500 પર $0.056, 2,000 પર $0.038. વર્તમાન વિગતો કિંમતોના પાના પર છે.

ક્રેડિટ એક વાર ખરીદાય છે અને ક્યારેય એક્સપાયર થતા નથી, તેથી તે બનાવી રહી હોય ત્યારે કોઈ સબ્સ્ક્રિપ્શનની ઘડિયાળ ચાલતી નથી.

2. મફત ક્રેડિટથી ચકાસો

તેની પહેલી API કી સાથે 10 મફત ક્રેડિટ આવે છે, એટલે કે 5 ટ્રાન્સક્રિપ્ટ. તે તેમનો ઉપયોગ થોડા વીડિયોના જવાબ json ફોર્મેટ (સેકન્ડમાં offset અને duration વાળા સેગમેન્ટ) અને text ફોર્મેટમાં ચકાસવા માટે કરે છે. વિનંતીની વિગતો માટે, માર્ગદર્શિકા API વડે YouTube ટ્રાન્સક્રિપ્ટ કેવી રીતે મેળવવી માં curl, Python અને JavaScript ના કામ કરતા ઉદાહરણો છે.

3. ઓટો ટોપ-અપ ગોઠવો

API ડેશબોર્ડમાં તે ઓટો ટોપ-અપ ચાલુ કરે છે. નિયમ: જ્યારે બેલેન્સ પસંદ કરેલા સ્તરથી નીચે જાય, ત્યારે સાચવેલા કાર્ડ પર બીજા પેકનો ચાર્જ લગાવાય છે. ઇન્જેશનનું કામ હાથે રિચાર્જ વગર આખી રાત ચાલતું રહે છે.

4. બજેટ નક્કી કરો

બે મર્યાદાઓ તેનું રક્ષણ કરે છે:

• એક માસિક ટોપ-અપ બજેટ, જે ઓટો ટોપ-અપ એક મહિનામાં કેટલું ખર્ચી શકે તે મર્યાદિત કરે છે.
• એક માસિક ક્રેડિટ મર્યાદા. તે પહોંચી જાય ત્યારે આગળની વિનંતીઓ 402 budget_exceeded પાછું આપે છે.

તે ઓછા બેલેન્સ, માસિક મર્યાદાના 80% અને નિષ્ફળ ટોપ-અપ માટે ઇમેઇલ ચેતવણીઓ પણ ચાલુ કરે છે. ચેતવણીઓ સમસ્યા વિશે ત્યારે જણાવે છે જ્યારે પગલું ભરવાનો સમય હજી હોય.

5. રેટ મર્યાદાનું પાલન કરો

દરેક કી મિનિટે 60 વિનંતીઓની મંજૂરી આપે છે. તે ઝડપે, 10,000 વિનંતીઓમાં લગભગ 167 મિનિટ લાગે, એટલે કે એક કી સાથે ત્રણ કલાકથી ઓછા. તે એક સરળ કતાર ચલાવે છે જે દર સેકન્ડે એક વિનંતી મોકલે છે, તેથી અચાનક ઉછાળા વગર મર્યાદાની નીચે રહે છે. તે 5 સુધી સક્રિય કી બનાવી શકે, જેમ કે એક ઇન્જેશન માટે અને એક એપની લાઇવ શોધ માટે, જેથી જૂનો ડેટા ભરવાનું કામ ક્યારેય યુઝરની વિનંતીને રોકે નહીં.

6. ટ્રાન્સક્રિપ્ટ વગરના વીડિયો સંભાળો

API ફક્ત હાલના YouTube કેપ્શન પાછા આપે છે. લાઇવ સ્ટ્રીમ, ખાનગી કે દૂર કરેલા વીડિયો, અને કેપ્શન વગરના વીડિયો 404 no_transcript પાછું આપે છે. તેની કતારમાં તે સ્થિતિનો અર્થ છે: છોડી દીધું તરીકે ચિહ્નિત કરો અને આગળ વધો, ક્યારેય ફરી પ્રયાસ ન કરો. આ વિનંતીઓનો કોઈ ખર્ચ ન હોવાથી, કેપ્શન વગરના વીડિયોથી ભરેલી ચેનલ તેનું બજેટ બાળતી નથી.

તેનો લૂપ, સ્યુડોકોડમાં:

1. કતારમાંથી આગલો વીડિયો ID લો.
2. format=json સાથે API ને કૉલ કરો.
3. સફળ થાય તો: સેગમેન્ટને લગભગ એક-એક મિનિટના ટુકડામાં વહેંચો, દરેક ટુકડાને તેના શરૂઆતના ઓફસેટ સાથે સાચવો અને એમ્બેડ કરો.
4. 404 no_transcript પર: "ટ્રાન્સક્રિપ્ટ નથી" નું ચિહ્ન સાચવો.
5. 402 budget_exceeded પર: કતારને થોભાવો અને પોતાને જાણ કરો.
6. સર્વર એરર પર: વિલંબ પછી ફરી પ્રયાસ કરો.

7. કોડમાં બેલેન્સ તપાસો

દરેક મોટા બેચ પહેલાં તે GET /api/v1/credits કૉલ કરે છે. જો બેલેન્સ બેચની જરૂરિયાત કરતાં ઓછું હોય અને ઓટો ટોપ-અપ બંધ હોય, તો કામ શરૂ થવાનો ઇનકાર કરે છે. અધૂરા ઇમ્પોર્ટ સામે આ સસ્તું રક્ષણ છે.

અંતે તેની પાસે શું હોય છે

પહેલી રાત પછી, ઇન્ડેક્સમાં લગભગ બધા 10,000 વીડિયોના ટ્રાન્સક્રિપ્ટ હોય છે, દરેક ટુકડા પર તેનો શરૂઆતનો સમય હોય છે. યુઝર પ્રશ્ન પૂછે ત્યારે આસિસ્ટન્ટ કોઈ પ્રવચન અને ટાઇમસ્ટેમ્પ ટાંકે છે, અને લિંક વીડિયો તે ક્ષણે ખોલે છે. ચાલુ ખર્ચ નાનો છે: દર મહિને 300 નવા વીડિયો વધુમાં વધુ 600 ક્રેડિટ છે, 5,000 ના પેકના $0.030 પ્રતિ ટ્રાન્સક્રિપ્ટના દરે લગભગ $18.

જો માયા Pro લે, તો તેને દર મહિને 100 બોનસ ક્રેડિટ પણ મળે, જે આ વૃદ્ધિના એક ભાગને આવરી લે.

જ્યાં આ ઓછું પડે છે

• કેપ્શન નહીં, તો ટ્રાન્સક્રિપ્ટ નહીં. API ઓડિયો ટ્રાન્સક્રાઇબ કરતું નથી. કેપ્શન વગરના વીડિયો માટે તમને બીજો સ્ત્રોત જોઈએ, જેમ કે સ્પીચ-ટુ-ટેક્સ્ટ સેવા, જેના પૈસા અલગથી ચૂકવવા પડે. કેટલાક અન્ય ટ્રાન્સક્રિપ્ટ API ઓડિયો વિકલ્પ આપે છે, જુઓ YouTube ટ્રાન્સક્રિપ્ટ API ની સરખામણી.
• આપમેળે બનેલા કેપ્શનમાં ભૂલો હોય છે. નામો અને પરિભાષા સામાન્ય રીતે સૌથી વધુ બગડે છે. જવાબ જણાવે છે કે ટ્રેક આપમેળે બન્યો છે કે નહીં, તેથી તમે તેવા ટુકડાઓને વજન આપી શકો અથવા ચિહ્નિત કરી શકો.
• ભાષા કેપ્શન ટ્રેકની ભાષા છે. જવાબ વાસ્તવિક ભાષા જણાવે છે, તેથી તમે માંગેલી ભાષા સાથે મેળ ખાય છે એમ ન માનો.
• થ્રુપુટ પ્રતિ કી મર્યાદિત છે. ખૂબ મોટું જૂનો ડેટા ભરવાનું કામ સેકન્ડોનો નહીં, કલાકોનો મામલો છે.
• તે ફક્ત ટ્રાન્સક્રિપ્ટ પાછા આપે છે. વિભાજન, એમ્બેડિંગ અને પુનઃપ્રાપ્તિ તમારું કામ છે. જો તમને ફક્ત એક વીડિયોનો સારાંશ જોઈએ, તો YouTube સારાંશકર્તા વાપરો.

સ્ત્રોતો

• sum.video Transcript API
• sum.video ની કિંમતો