Transcript YouTube cho ứng dụng RAG quy mô lớn: tín dụng, nạp tự động và ngân sách

Nếu ứng dụng RAG hoặc AI của bạn cần transcript YouTube ở quy mô lớn, cách thiết lập thực tế là một API transcript trả tiền theo mức dùng với tín dụng mua trước, một cơ chế nạp tự động để tác vụ nhập dài không bao giờ bị dừng, và một ngân sách hằng tháng để lỗi không đẩy hóa đơn lên cao. Bài này theo chân một lập trình viên qua cách thiết lập đó với API transcript của sum.video.

Tình huống

Maya đang xây một trợ lý nghiên cứu trả lời các câu hỏi về bài nói tại hội nghị. Chỉ mục của cô phải bao phủ khoảng 10,000 video YouTube từ vài trăm kênh, rồi tăng thêm khoảng 300 video mới mỗi tháng. Cô chạy tác vụ nhập từ một máy chủ nhỏ, và không muốn phải canh chừng nó hay bất ngờ vì hóa đơn.

Điều kiện của cô rất đơn giản: chi phí dự đoán được, không phải nạp tiền thủ công giữa chừng và xử lý gọn các video không có transcript.

Cô cần gì

• Văn bản thuần của từng video, sẵn sàng để chia đoạn và tạo embedding.
• Dấu thời gian, để câu trả lời có thể liên kết tới đúng thời điểm trong video.
• Một chi phí có thể ước tính trước khi bắt đầu.
• Một mức trần chi tiêu cứng.

Từng bước

1. Ước tính chi phí trước

Một transcript tốn 2 tín dụng, và các yêu cầu không trả về transcript không tốn gì. Với 10,000 video, tối đa là 20,000 tín dụng. Với gói 5,000 tín dụng giá $74.99 ($0.030 mỗi transcript), 10,000 transcript tốn khoảng $300 tổng cộng, hơi thấp hơn nếu một số video không có phụ đề. Các gói nhỏ hơn đắt hơn trên mỗi transcript: $0.090 cho 100 tín dụng, $0.056 cho 500, $0.038 cho 2,000. Trang giá có chi tiết hiện hành.

Tín dụng được mua một lần và không bao giờ hết hạn, nên không có đồng hồ đăng ký nào chạy trong lúc cô xây dựng.

2. Thử với tín dụng miễn phí

Khóa API đầu tiên của cô đi kèm 10 tín dụng miễn phí, tức 5 transcript. Cô dùng chúng để kiểm tra phản hồi cho vài video ở định dạng json (các đoạn có offset và duration tính bằng giây) và định dạng text. Nếu cần chi tiết về yêu cầu, hướng dẫn cách lấy transcript YouTube bằng API có ví dụ chạy được bằng curl, Python và JavaScript.

3. Bật nạp tự động

Trong bảng điều khiển API, cô bật nạp tự động. Quy tắc: khi số dư xuống dưới mức đã chọn, thẻ đã lưu bị trừ tiền cho một gói nữa. Tác vụ nhập tiếp tục chạy suốt đêm mà không cần nạp tay.

4. Đặt ngân sách

Hai giới hạn bảo vệ cô:

• Một ngân sách nạp hằng tháng, giới hạn số tiền nạp tự động có thể tiêu trong một tháng.
• Một giới hạn tín dụng hằng tháng. Khi chạm tới, các yêu cầu tiếp theo trả về 402 budget_exceeded.

Cô cũng bật cảnh báo qua email khi số dư thấp, khi đạt 80% giới hạn hằng tháng và khi nạp tiền thất bại. Các cảnh báo báo cho cô biết sự cố khi vẫn còn thời gian xử lý.

5. Tôn trọng giới hạn tốc độ

Mỗi khóa cho phép 60 yêu cầu mỗi phút. Với tốc độ đó, 10,000 yêu cầu mất khoảng 167 phút, dưới ba giờ trên một khóa. Cô chạy một hàng đợi đơn giản gửi một yêu cầu mỗi giây, nên nằm dưới giới hạn mà không bị dồn đột ngột. Cô có thể tạo tới 5 khóa đang hoạt động, ví dụ một khóa cho tác vụ nhập và một khóa cho các tra cứu trực tiếp của ứng dụng, để việc lấp đầy dữ liệu cũ không bao giờ chặn yêu cầu của người dùng.

6. Xử lý video không có transcript

API chỉ trả về phụ đề YouTube hiện có. Video phát trực tiếp, video riêng tư hoặc đã gỡ, và video không có phụ đề trả về 404 no_transcript. Trong hàng đợi của cô, trạng thái đó nghĩa là đánh dấu đã bỏ qua và đi tiếp, đừng bao giờ thử lại. Vì các yêu cầu đó không tốn phí, một kênh đầy video không có phụ đề không đốt ngân sách của cô.

Vòng lặp của cô, bằng pseudocode:

1. Lấy ID video kế tiếp từ hàng đợi.
2. Gọi API với format=json.
3. Khi thành công: chia các đoạn thành khối khoảng một phút, lưu mỗi khối cùng offset bắt đầu và tạo embedding.
4. Khi 404 no_transcript: lưu cờ "không có transcript".
5. Khi 402 budget_exceeded: tạm dừng hàng đợi và tự báo cho mình.
6. Khi máy chủ lỗi: thử lại sau một khoảng trễ.

7. Kiểm tra số dư trong code

Trước mỗi lô lớn, cô gọi GET /api/v1/credits. Nếu số dư thấp hơn mức lô cần và nạp tự động đang tắt, tác vụ từ chối khởi động. Đó là lớp bảo vệ rẻ tiền trước một lần nhập dở dang.

Cô nhận được gì

Sau đêm đầu tiên, chỉ mục chứa transcript của gần như cả 10,000 video, mỗi khối kèm thời điểm bắt đầu. Khi người dùng đặt câu hỏi, trợ lý trích dẫn một bài nói và một dấu thời gian, và liên kết mở video đúng thời điểm đó. Chi phí duy trì nhỏ: 300 video mới mỗi tháng tối đa là 600 tín dụng, khoảng $18 theo giá gói 5,000 là $0.030 mỗi transcript.

Nếu Maya dùng Pro, cô còn nhận thêm 100 tín dụng thưởng mỗi tháng, bù được một phần mức tăng đó.

Những chỗ còn thiếu

• Không có phụ đề thì không có transcript. API không chuyển giọng nói thành văn bản. Với video không có phụ đề, bạn cần nguồn khác, chẳng hạn dịch vụ chuyển giọng nói thành văn bản, và trả tiền riêng. Một số API transcript khác có phương án dự phòng bằng âm thanh, xem so sánh các API transcript YouTube.
• Phụ đề tự động có lỗi. Tên riêng và biệt ngữ thường là nạn nhân. Phản hồi cho biết bản phụ đề có tự động hay không, nên bạn có thể giảm trọng số hoặc đánh dấu các khối đó.
• Ngôn ngữ là ngôn ngữ của bản phụ đề. Phản hồi báo ngôn ngữ thật, nên đừng giả định nó khớp với điều bạn yêu cầu.
• Thông lượng bị giới hạn theo khóa. Một lần lấp đầy rất lớn là chuyện của hàng giờ, không phải vài giây.
• Nó chỉ trả về transcript. Chia khối, embedding và truy xuất là việc của bạn. Nếu chỉ cần bản tóm tắt của một video, hãy dùng công cụ tóm tắt YouTube.

Nguồn

• API transcript của sum.video
• Giá sum.video