Μεταγραφές YouTube για μια εφαρμογή RAG σε μεγάλη κλίμακα: πιστώσεις, αυτόματη ανανέωση και προϋπολογισμοί

Αν η εφαρμογή RAG ή τεχνητής νοημοσύνης σου χρειάζεται μεταγραφές YouTube σε μεγάλη κλίμακα, η πρακτική ρύθμιση είναι ένα API μεταγραφών με πληρωμή κατά τη χρήση και προπληρωμένες πιστώσεις, μια αυτόματη ανανέωση ώστε μια μακρά εργασία εισαγωγής να μη σταματά ποτέ, και ένας μηνιαίος προϋπολογισμός ώστε ένα σφάλμα να μην φουσκώσει τον λογαριασμό. Αυτή η αναλυτική παρουσίαση ακολουθεί μια προγραμματίστρια σε αυτή τη ρύθμιση με το Transcript API του sum.video.

Η κατάσταση

Η Maya χτίζει έναν βοηθό έρευνας που απαντά σε ερωτήσεις για ομιλίες συνεδρίων. Το ευρετήριό της πρέπει να καλύπτει περίπου 10.000 βίντεο του YouTube από μερικές εκατοντάδες κανάλια και μετά να μεγαλώνει κατά περίπου 300 νέα βίντεο τον μήνα. Τρέχει την εισαγωγή από έναν μικρό διακομιστή και δεν θέλει ούτε να την επιτηρεί ούτε να την εκπλήξει ένας λογαριασμός.

Οι περιορισμοί της είναι απλοί: προβλέψιμο κόστος, καμία χειροκίνητη ανανέωση στη μέση μιας εργασίας και καθαρός χειρισμός των βίντεο που δεν έχουν μεταγραφή.

Τι χρειάζεται

• Απλό κείμενο για κάθε βίντεο, έτοιμο για τεμαχισμό και ενσωμάτωση.
• Χρονοσφραγίδες, ώστε μια απάντηση να συνδέεται με την ακριβή στιγμή του βίντεο.
• Ένα κόστος που μπορεί να εκτιμήσει πριν ξεκινήσει.
• Ένα σταθερό ανώτατο όριο δαπανών.

Βήμα προς βήμα

1. Εκτίμησε πρώτα το κόστος

Μία μεταγραφή κοστίζει 2 πιστώσεις και τα αιτήματα που δεν επιστρέφουν μεταγραφή δεν κοστίζουν τίποτα. Για 10.000 βίντεο είναι το πολύ 20.000 πιστώσεις. Με το πακέτο των 5.000 πιστώσεων προς $74.99 ($0.030 ανά μεταγραφή), οι 10.000 μεταγραφές κοστίζουν περίπου $300 συνολικά, λίγο λιγότερο αν κάποια βίντεο δεν έχουν υπότιτλους. Τα μικρότερα πακέτα κοστίζουν περισσότερο ανά μεταγραφή: $0.090 για 100 πιστώσεις, $0.056 για 500, $0.038 για 2.000. Η σελίδα τιμών έχει τα τρέχοντα στοιχεία.

Οι πιστώσεις αγοράζονται μία φορά και δεν λήγουν ποτέ, άρα δεν τρέχει ρολόι συνδρομής όσο χτίζει.

2. Δοκίμασε με τις δωρεάν πιστώσεις

Το πρώτο κλειδί API της έρχεται με 10 δωρεάν πιστώσεις, δηλαδή 5 μεταγραφές. Τις χρησιμοποιεί για να ελέγξει την απάντηση για λίγα βίντεο σε μορφή json (τμήματα με offset και duration σε δευτερόλεπτα) και σε μορφή text. Για τις λεπτομέρειες του αιτήματος, ο οδηγός πώς να πάρεις τη μεταγραφή του YouTube με ένα API έχει λειτουργικά παραδείγματα σε curl, Python και JavaScript.

3. Ρύθμισε την αυτόματη ανανέωση

Στον πίνακα ελέγχου του API ενεργοποιεί την αυτόματη ανανέωση. Ο κανόνας: όταν το υπόλοιπο πέσει κάτω από ένα επιλεγμένο επίπεδο, η αποθηκευμένη κάρτα χρεώνεται για ένα ακόμα πακέτο. Η εργασία εισαγωγής συνεχίζει να τρέχει όλη τη νύχτα χωρίς χειροκίνητη ανανέωση.

4. Όρισε τους προϋπολογισμούς

Δύο όρια την προστατεύουν:

• Ένας μηνιαίος προϋπολογισμός ανανέωσης, που περιορίζει πόσα μπορεί να ξοδέψει η αυτόματη ανανέωση σε έναν μήνα.
• Ένα μηνιαίο όριο πιστώσεων. Όταν το φτάσει, τα επόμενα αιτήματα επιστρέφουν 402 budget_exceeded.

Ενεργοποιεί επίσης ειδοποιήσεις μέσω email για χαμηλό υπόλοιπο, για το 80% του μηνιαίου ορίου και για αποτυχημένες ανανεώσεις. Οι ειδοποιήσεις την ενημερώνουν για ένα πρόβλημα όταν υπάρχει ακόμα χρόνος να δράσει.

5. Σεβάσου το όριο ρυθμού

Κάθε κλειδί επιτρέπει 60 αιτήματα ανά λεπτό. Με αυτόν τον ρυθμό, 10.000 αιτήματα χρειάζονται περίπου 167 λεπτά, λιγότερο από τρεις ώρες με ένα μόνο κλειδί. Τρέχει μια απλή ουρά που στέλνει ένα αίτημα ανά δευτερόλεπτο, ώστε να μένει κάτω από το όριο χωρίς αιχμές. Θα μπορούσε να δημιουργήσει έως 5 ενεργά κλειδιά, για παράδειγμα ένα για την εισαγωγή και ένα για τις ζωντανές αναζητήσεις της εφαρμογής, ώστε μια συμπλήρωση παλαιότερων δεδομένων να μη μπλοκάρει ποτέ το αίτημα ενός χρήστη.

6. Χειρίσου τα βίντεο χωρίς μεταγραφή

Το API επιστρέφει μόνο υπάρχοντες υπότιτλους YouTube. Οι ζωντανές μεταδόσεις, τα ιδιωτικά ή αφαιρεμένα βίντεο και τα βίντεο χωρίς υπότιτλους επιστρέφουν 404 no_transcript. Στην ουρά της αυτή η κατάσταση σημαίνει: σημείωσε ως παραλειφθέν και προχώρα, μην ξαναδοκιμάσεις ποτέ. Επειδή αυτά τα αιτήματα δεν κοστίζουν τίποτα, ένα κανάλι γεμάτο βίντεο χωρίς υπότιτλους δεν καίει τον προϋπολογισμό της.

Ο βρόχος της, σε ψευδοκώδικα:

1. Πάρε το επόμενο ID βίντεο από την ουρά.
2. Κάλεσε το API με format=json.
3. Αν πετύχει: χώρισε τα τμήματα σε κομμάτια περίπου ενός λεπτού, αποθήκευσε κάθε κομμάτι με την αρχική μετατόπισή του και ενσωμάτωσέ το.
4. Σε 404 no_transcript: αποθήκευσε μια ένδειξη «χωρίς μεταγραφή».
5. Σε 402 budget_exceeded: παύσε την ουρά και ειδοποίησε τον εαυτό σου.
6. Σε σφάλμα διακομιστή: ξαναδοκίμασε μετά από καθυστέρηση.

7. Έλεγξε το υπόλοιπο στον κώδικα

Πριν από κάθε μεγάλη παρτίδα καλεί το GET /api/v1/credits. Αν το υπόλοιπο είναι μικρότερο από όσο χρειάζεται η παρτίδα και η αυτόματη ανανέωση είναι απενεργοποιημένη, η εργασία αρνείται να ξεκινήσει. Είναι μια φθηνή προστασία από μια μισοτελειωμένη εισαγωγή.

Με τι καταλήγει

Μετά την πρώτη νύχτα, το ευρετήριο περιέχει τις μεταγραφές σχεδόν και των 10.000 βίντεο, με κάθε κομμάτι να φέρει την ώρα έναρξής του. Όταν ένας χρήστης κάνει μια ερώτηση, ο βοηθός παραθέτει μια ομιλία και μια χρονοσφραγίδα και ο σύνδεσμος ανοίγει το βίντεο εκείνη τη στιγμή. Το τρέχον κόστος είναι μικρό: 300 νέα βίντεο τον μήνα είναι το πολύ 600 πιστώσεις, περίπου $18 με τον ρυθμό του πακέτου των 5.000 που είναι $0.030 ανά μεταγραφή.

Αν η Maya έπαιρνε Pro, θα έπαιρνε επίσης 100 πιστώσεις μπόνους κάθε μήνα, που καλύπτουν μέρος αυτής της ανάπτυξης.

Όπου υστερεί

• Χωρίς υπότιτλους δεν υπάρχει μεταγραφή. Το API δεν μεταγράφει ήχο. Για βίντεο χωρίς υπότιτλους χρειάζεσαι άλλη πηγή, όπως μια υπηρεσία μετατροπής ομιλίας σε κείμενο, που την πληρώνεις ξεχωριστά. Ορισμένα άλλα API μεταγραφής προσφέρουν εναλλακτική λύση ήχου, δες τη σύγκριση των API μεταγραφής YouTube.
• Οι αυτόματοι υπότιτλοι έχουν λάθη. Τα ονόματα και η εξειδικευμένη ορολογία είναι τα συνηθισμένα θύματα. Η απάντηση λέει αν ένα κομμάτι παράχθηκε αυτόματα, οπότε μπορείς να δώσεις βάρος ή να επισημάνεις αυτά τα κομμάτια.
• Η γλώσσα είναι η γλώσσα του κομματιού υποτίτλων. Η απάντηση αναφέρει την πραγματική γλώσσα, γι' αυτό μην υποθέτεις ότι ταιριάζει με αυτήν που ζήτησες.
• Η απόδοση περιορίζεται ανά κλειδί. Μια πολύ μεγάλη συμπλήρωση παλαιότερων δεδομένων είναι θέμα ωρών, όχι δευτερολέπτων.
• Επιστρέφει μόνο μεταγραφές. Ο τεμαχισμός, η ενσωμάτωση και η ανάκτηση είναι δική σου δουλειά. Αν χρειάζεσαι μόνο την περίληψη ενός βίντεο, χρησιμοποίησε τον συνοψιστή του YouTube.

Πηγές

• Transcript API του sum.video
• Τιμές sum.video