YouTube-ի սղագրություններ RAG հավելվածի համար մեծ մասշտաբով՝ կրեդիտներ, ավտոմատ համալրում և բյուջեներ

Եթե քո RAG կամ AI հավելվածին մեծ մասշտաբով YouTube-ի սղագրություններ են պետք, գործնական կարգավորումը հետևյալն է՝ օգտագործման վրա հիմնված սղագրությունների API՝ նախապես վճարված կրեդիտներով, ավտոմատ համալրում, որպեսզի երկար բեռնման աշխատանքը երբեք չկանգնի, և ամսական բյուջե, որպեսզի սխալը հաշիվը չուռճացնի։ Այս վերլուծությունը հետևում է մի մշակողուհու այդ կարգավորման ճանապարհին՝ sum.video-ի Transcript API-ի հետ։

Իրավիճակը

Մայան կառուցում է հետազոտական օգնական, որը պատասխանում է կոնֆերանսների ելույթների մասին հարցերին։ Նրա ինդեքսը պետք է ընդգրկի մի քանի հարյուր ալիքների շուրջ 10 000 YouTube տեսանյութ, ապա ամեն ամիս աճի մոտ 300 նոր տեսանյութով։ Նա բեռնումն աշխատեցնում է փոքր սերվերից և չի ուզում ո՛չ հսկել այն, ո՛չ էլ անակնկալի գալ հաշվից։

Նրա պայմանները պարզ են՝ կանխատեսելի ծախս, աշխատանքի մեջտեղում ձեռքով համալրում չլինի և սղագրություն չունեցող տեսանյութերի մաքուր մշակում։

Ինչ է նրան պետք

• Յուրաքանչյուր տեսանյութի պարզ տեքստ՝ պատրաստ բաժանման և ներդրման։
• Ժամանակային նշաններ, որպեսզի պատասխանը կարողանա հղում անել տեսանյութի ճշգրիտ պահին։
• Ծախս, որը կարող է գնահատել մինչև սկսելը։
• Ծախսի խիստ վերին սահման։

Քայլ առ քայլ

1. Նախ գնահատիր ծախսը

Մեկ սղագրությունն արժե 2 կրեդիտ, իսկ սղագրություն չվերադարձնող հարցումները ոչինչ չեն արժենում։ 10 000 տեսանյութի համար դա առավելագույնը 20 000 կրեդիտ է։ $74.99 արժողությամբ 5 000 կրեդիտանոց փաթեթով ($0.030 մեկ սղագրության համար) 10 000 սղագրությունը ընդհանուր արժե մոտ $300, մի փոքր պակաս, եթե որոշ տեսանյութեր ենթագրեր չունեն։ Փոքր փաթեթները մեկ սղագրության համար ավելի թանկ են՝ $0.090 100 կրեդիտի դեպքում, $0.056 500-ի, $0.038 2 000-ի դեպքում։ Ընթացիկ մանրամասները գների էջում են։

Կրեդիտները գնվում են մեկ անգամ և երբեք չեն սպառվում, ուստի մինչ նա կառուցում է, բաժանորդագրության ժամացույցը չի աշխատում։

2. Փորձիր անվճար կրեդիտներով

Նրա առաջին API բանալու հետ գալիս է 10 անվճար կրեդիտ, այսինքն՝ 5 սղագրություն։ Դրանցով նա ստուգում է մի քանի տեսանյութի պատասխանը json ձևաչափով (հատվածներ՝ offset և duration վայրկյաններով) և text ձևաչափով։ Հարցման մանրամասների համար Ինչպես ստանալ YouTube-ի սղագրությունը API-ի միջոցով ուղեցույցն ունի աշխատող օրինակներ curl-ով, Python-ով և JavaScript-ով։

3. Կարգավորիր ավտոմատ համալրումը

API վահանակում նա միացնում է ավտոմատ համալրումը։ Կանոնը՝ երբ մնացորդը իջնում է ընտրված մակարդակից ցածր, պահված քարտից գանձվում է ևս մեկ փաթեթի գումար։ Բեռնման աշխատանքը շարունակվում է ամբողջ գիշեր՝ առանց ձեռքով համալրման։

4. Սահմանիր բյուջեները

Նրան պաշտպանում են երկու սահմանաչափ.

• Ամսական համալրման բյուջե, որը սահմանափակում է, թե որքան կարող է ավտոմատ համալրումը ծախսել մեկ ամսում։
• Ամսական կրեդիտի սահմանաչափ։ Երբ այն հասնում են, հաջորդ հարցումները վերադարձնում են 402 budget_exceeded։

Նա միացնում է նաև էլ. փոստի ծանուցումներ ցածր մնացորդի, ամսական սահմանաչափի 80%-ի և ձախողված համալրումների մասին։ Ծանուցումները խնդրի մասին հայտնում են, երբ դեռ ժամանակ կա գործելու։

5. Հարգիր արագության սահմանաչափը

Յուրաքանչյուր բանալի թույլ է տալիս 60 հարցում րոպեում։ Այդ արագությամբ 10 000 հարցումը տևում է մոտ 167 րոպե, այսինքն՝ մեկ բանալիով երեք ժամից քիչ։ Նա աշխատեցնում է պարզ հերթ, որը վայրկյանում մեկ հարցում է ուղարկում, ուստի մնում է սահմանաչափից ցածր՝ առանց թռիչքների։ Նա կարող է ստեղծել մինչև 5 ակտիվ բանալի, օրինակ՝ մեկը բեռնման, մյուսը հավելվածի կենդանի որոնումների համար, որպեսզի հին տվյալների լրացումը երբեք չարգելափակի օգտատիրոջ հարցումը։

6. Մշակիր առանց սղագրության տեսանյութերը

API-ն վերադարձնում է միայն YouTube-ի առկա ենթագրերը։ Ուղիղ եթերները, մասնավոր կամ հեռացված տեսանյութերը և ենթագրեր չունեցող տեսանյութերը վերադարձնում են 404 no_transcript։ Նրա հերթում այդ կարգավիճակը նշանակում է՝ նշիր որպես բաց թողնված և առաջ գնա, երբեք մի կրկնիր։ Քանի որ այդ հարցումները ոչինչ չեն արժենում, ենթագրեր չունեցող տեսանյութերով լի ալիքը նրա բյուջեն չի այրում։

Նրա ցիկլը՝ կեղծ կոդով.

1. Վերցրու հերթի հաջորդ տեսանյութի ID-ն։
2. Կանչիր API-ն format=json-ով։
3. Հաջողության դեպքում՝ բաժանիր հատվածները մոտ մեկ րոպեանոց կտորների, պահիր յուրաքանչյուր կտոր իր սկզբնական շեղումով և ներդիր։
4. 404 no_transcript-ի դեպքում՝ պահիր «սղագրություն չկա» նշանը։
5. 402 budget_exceeded-ի դեպքում՝ դադարեցրու հերթը և տեղեկացրու ինքդ քեզ։
6. Սերվերի սխալի դեպքում՝ կրկին փորձիր դադարից հետո։

7. Ստուգիր մնացորդը կոդով

Յուրաքանչյուր մեծ խմբաքանակից առաջ նա կանչում է GET /api/v1/credits։ Եթե մնացորդը պակաս է խմբաքանակի կարիքից, իսկ ավտոմատ համալրումն անջատված է, աշխատանքը հրաժարվում է սկսել։ Սա էժան պաշտպանություն է կիսատ ներմուծման դեմ։

Ինչով է ավարտվում

Առաջին գիշերից հետո ինդեքսն ունի գրեթե բոլոր 10 000 տեսանյութի սղագրությունները, և յուրաքանչյուր կտոր կրում է իր սկսման ժամանակը։ Երբ օգտատերը հարց է տալիս, օգնականը մեջբերում է ելույթ և ժամանակային նշան, իսկ հղումը բացում է տեսանյութը այդ պահին։ Ընթացիկ ծախսը փոքր է՝ ամսական 300 նոր տեսանյութը առավելագույնը 600 կրեդիտ է, մոտ $18՝ 5 000-անոց փաթեթի $0.030 մեկ սղագրության դրույքով։

Եթե Մայան բաժանորդագրվեր Pro-ին, նա ամեն ամիս կստանար նաև 100 բոնուսային կրեդիտ, որը ծածկում է այդ աճի մի մասը։

Որտեղ է սա թերանում

• Ենթագրեր չկան՝ սղագրություն էլ չկա։ API-ն չի սղագրում ձայնը։ Ենթագրեր չունեցող տեսանյութերի համար քեզ այլ աղբյուր է պետք, օրինակ՝ խոսքը տեքստի վերածող ծառայություն, որի համար առանձին ես վճարում։ Որոշ այլ սղագրության API-ներ առաջարկում են ձայնային պահուստ, տես YouTube-ի սղագրության API-ների համեմատությունը։
• Ավտոմատ ենթագրերում սխալներ կան։ Անունները և մասնագիտական ժարգոնը սովորաբար ամենաշատն են տուժում։ Պատասխանը ասում է, արդյոք հետքը ավտոմատ է ստեղծվել, ուստի կարող ես այդ կտորներին կշիռ տալ կամ նշել դրանք։
• Լեզուն ենթագրերի հետքի լեզուն է։ Պատասխանը հայտնում է իրական լեզուն, ուստի մի ենթադրիր, թե այն համընկնում է քո խնդրածի հետ։
• Թողունակությունը սահմանափակ է մեկ բանալու համար։ Շատ մեծ հին տվյալների լրացումը ժամերի հարց է, ոչ թե վայրկյանների։
• Վերադարձնում է միայն սղագրություններ։ Բաժանումը, ներդրումը և որոնումը քո գործն են։ Եթե քեզ պետք է միայն մեկ տեսանյութի ամփոփումը, օգտագործիր YouTube-ի ամփոփիչը։

Աղբյուրներ

• sum.video-ի Transcript API
• sum.video-ի գները