Meta Sử Dụng Hơn 100.000 GPU AI Nvidia H100 Để Đào Tạo Llama 4

Mark Zuckerberg đã nói trong cuộc gọi thu nhập của Meta vào đầu tuần này rằng công ty đang đào tạo các mô hình Llama 4 "trên một cụm lớn hơn 100.000 GPU AI H100 hoặc lớn hơn bất kỳ thứ gì tôi từng thấy được báo cáo về những gì những người khác đang làm." Trong khi nhà sáng lập Facebook không đưa ra bất kỳ chi tiết nào về những gì Llama 4 có thể làm, Wired đã trích dẫn Zuckerberg nói rằng Llama 4 có "phương thức mới", "lý luận mạnh mẽ hơn" và "nhanh hơn nhiều". Đây là một bước phát triển quan trọng khi Meta cạnh tranh với các gã khổng lồ công nghệ khác như Microsoft, Google và xAI của Musk để phát triển thế hệ LLM AI tiếp theo.

Meta không phải là công ty đầu tiên có cụm đào tạo AI với 100.000 GPU Nvidia H100. Elon Musk đã khởi động một cụm có kích thước tương tự vào cuối tháng 7, gọi đó là 'Gigafactory of Compute' với kế hoạch tăng gấp đôi quy mô lên 200.000 GPU AI. Tuy nhiên, Meta đã tuyên bố vào đầu năm nay rằng họ dự kiến ​​sẽ có hơn nửa triệu GPU AI tương đương H100 vào cuối năm 2024, vì vậy có khả năng họ đã có một số lượng lớn GPU AI đang chạy để đào tạo Llama 4.

Llama 4 của Meta đang áp dụng một cách tiếp cận độc đáo để phát triển AI, khi họ phát hành các mô hình Llama hoàn toàn miễn phí, cho phép các nhà nghiên cứu, công ty và tổ chức khác xây dựng dựa trên mô hình này. Điều này khác với các mô hình khác như GPT-4o của OpenAI và Gemini của Google, vốn chỉ có thể truy cập thông qua API. Tuy nhiên, công ty vẫn đặt ra những hạn chế đối với giấy phép của Llama, như hạn chế việc sử dụng thương mại và không cung cấp bất kỳ thông tin nào về cách thức đào tạo mô hình này. Tuy nhiên, bản chất "nguồn mở" của mô hình này có thể giúp mô hình này thống trị tương lai của AI