Dấu hiệu cảnh báo cho OpenAI và Google nếu mô hình AI mới không thông minh như mong đợi
Mô hình ngôn ngữ lớn tiếp theo của OpenAI có thể không mạnh mẽ như nhiều người hy vọng
Được mệnh danh là Orion, mô hình trí tuệ nhân tạo (AI) này đang hoạt động tốt ở hậu trường, cho thấy ít tiến bộ so với tiến bộ của GPT-4 so với GPT-3, Bloomberg đưa tin.
Theo Bloomberg, không chỉ OpenAI gặp khó khăn với các mô hình AI mới mà nó còn không hoạt động tốt như mong đợi.
Những vấn đề này của ngành có thể là dấu hiệu cho thấy cách cải tiến mô hình AI hiện nay đang đi theo hướng “chạy xuyên suốt”.
“Bong bóng AGI đang vỡ một chút”, Margaret Mitchell, nhà khoa học hành vi trưởng của công ty khởi nghiệp Hugging Face, nói với Bloomberg, đồng thời nói thêm rằng “các phương pháp đào tạo khác nhau” đòi hỏi mức độ thông minh và linh hoạt giống như con người để khắc phục mọi vấn đề.
Phương châm mang lại thành công cho Generative AI cho đến nay ngày càng tăng: làm cho một mô hình Generative AI trở nên mạnh mẽ hơn, cách chính là làm cho nó lớn hơn.
Nhưng khi các mô hình AI này ngày càng lớn hơn và mạnh mẽ hơn, chúng cũng trở nên “khát” quyền lực hơn.
Các công ty công nghệ đang sử dụng trí tuệ nhân tạo do máy tính tạo ra để tìm ra những “bộ não” mới cho AI.
New Enterprise Associates (NEA) là một trong những công ty đầu tư mạo hiểm lớn nhất và lâu đời nhất ở Mỹ.
Theo Dario Amodei, Giám đốc điều hành của Anthropic, hiện chi phí để xây dựng một mô hình AI tiên tiến là 100 triệu USD và ước tính sẽ tốn hơn 10 tỷ USD vào năm 2027.
Thời hoàng kim đã qua?
Năm nay, Anthropologie đã cập nhật các mẫu Claude, nhưng đặc biệt là không có Opus, đề cập đến ngày phát hành gần đây của mẫu này, thông tin này đã bị xóa khỏi trang web của công ty.
Giống như OpenAI, các nhà nhân chủng học cũng chỉ thấy những cải tiến khiêm tốn ở Opus, bất chấp quy mô lớn cũng như chi phí xây dựng và vận hành của nó, theo nguồn tin của Bloomberg.
Theo báo cáo của Bloomberg, Gemini của Google đang không đạt được mục tiêu đề ra.
Rõ ràng, đây không phải là những thách thức không thể vượt qua.
Noah Giasirakos, trợ lý giáo sư toán học tại Đại học Bentley ở Massachusetts (Mỹ), cho biết: “Chúng tôi đã đạt được sự tăng trưởng nhanh chóng trong một thời gian ngắn”.
OpenAI và nhiều công ty đang tìm kiếm những cách mới để giúp AI thông minh hơn khi các phương pháp hiện tại còn hạn chế
OpenAI và các công ty AI khác luôn tìm cách khắc phục những chậm trễ và thách thức không mong muốn trong việc tạo ra các mô hình ngôn ngữ lớn bằng cách phát triển các kỹ thuật đào tạo để các thuật toán có thể “đoán” chúng.
Hàng chục nhà khoa học, nhà nghiên cứu và nhà đầu tư AI nói với Reuters rằng họ tin rằng những kỹ thuật này, làm nền tảng cho mô hình ngôn ngữ lớn o1 do OpenAI phát hành gần đây, có thể định hình lại cuộc đua AI và ảnh hưởng đến các loại tài nguyên mà một số công ty yêu cầu, từ sức mạnh đến chip.
Kể từ khi OpenAI Chat ra mắt chatbot GPT cách đây hai năm, các công ty công nghệ (được hưởng lợi rất nhiều từ cơn sốt AI) đã nói rằng dữ liệu và sức mạnh tính toán ngày càng tăng sẽ dẫn đến các mô hình AI ngày càng được cải tiến.
Ilya Sutskever, đồng sáng lập OpenAI và Safe Superintelligence, gần đây đã nói với Reuters rằng việc mở rộng quy mô đào tạo trước (một mô hình AI sử dụng lượng lớn dữ liệu chưa được gắn nhãn để hiểu các mẫu và cấu trúc ngôn ngữ) đã đạt đến giới hạn.
Ilia Sutskever, cựu giám đốc khoa học của OpenAI, là người sớm ủng hộ việc đạt được những tiến bộ lớn trong lĩnh vực AI tổng hợp bằng cách tận dụng lượng lớn dữ liệu và sức mạnh tính toán ở giai đoạn trước đào tạo, cuối cùng dẫn đến ChatGPT.
Ông nhấn mạnh: "2010 là thời đại của đo lường, giờ đây chúng ta đang quay trở lại thời đại của những điều kỳ diệu và khám phá. Nhiều người đang tìm kiếm những điều mới mẻ tiếp theo. Việc điều chỉnh đúng hướng là quan trọng hơn bao giờ hết".
Ilya Sutskever từ chối cung cấp thêm thông tin chi tiết về cách nhóm giải quyết vấn đề, ngoài việc nói rằng SSI đang nghiên cứu một phương pháp thay thế để mở rộng quy mô trước đào tạo của mình.
Đằng sau hậu trường, các nhà nghiên cứu trong các phòng thí nghiệm AI lớn đã phải đối mặt với sự chậm trễ và kết quả đáng thất vọng trong cuộc đua phát hành mô hình ngôn ngữ lớn hơn OpenAI ngoài GPT-4 (hai năm trước).
Việc “huấn luyện” những mô hình lớn tốn hàng chục triệu USD vì phải sử dụng hàng trăm chip AI cùng lúc.
Một vấn đề khác là các mô hình ngôn ngữ lớn tiêu thụ lượng dữ liệu lớn và gần như cạn kiệt dữ liệu hiện có trên thế giới.
Để vượt qua những thách thức đó, các nhà nghiên cứu đang khám phá tính toán thời gian thử nghiệm, một kỹ thuật cải thiện các mô hình AI hiện có trong giai đoạn gọi là "suy luận" hoặc khi mô hình được sử dụng.
Cách tiếp cận này cho phép các mô hình AI dành nhiều sức mạnh xử lý hơn cho các nhiệm vụ như các bài toán, lập trình hoặc các nhiệm vụ đòi hỏi khả năng suy luận và ra quyết định giống con người.
Phát biểu tại TED AI, nhà nghiên cứu OpenAI Noam Brown cho biết: “Chỉ cần để bot suy nghĩ trong 20 giây sẽ mang lại hiệu suất tương đương với việc hiệu chỉnh mô hình trò chơi poker 100.000 lần và huấn luyện nó lâu hơn 100.000 lần”.
OpenAI đã triển khai phương pháp này trong mô hình ngôn ngữ lớn o1.
Mô hình o1 có thể “suy nghĩ” về vấn đề ở nhiều cấp độ, tương tự như suy nghĩ của con người.
Theo OpenAI, o1 vượt trội hơn các mô hình ngôn ngữ chính khác cho các nhiệm vụ đòi hỏi nhiều suy luận trong khoa học, lập trình và toán học.
Theo 5 người quen thuộc với nỗ lực này, các nhà nghiên cứu tại các phòng thí nghiệm AI hàng đầu khác từ Anthropic, xAI và Google DeepMind đã làm việc để phát triển các phiên bản công nghệ của riêng họ.
Ông nói tại hội nghị công nghệ khai mạc vào tháng 10: “Chúng tôi thấy rằng có nhiều điều đơn giản để nhanh chóng cải thiện các mô hình AI. Trong khi mọi người đang bắt kịp, chúng tôi cố gắng tiến về phía trước theo ba bước”.
Google và xAI đã không trả lời các câu hỏi của Reuters và Anthroponic cũng không bình luận ngay lập tức.
Những hiệu ứng này có thể thay đổi bối cảnh cạnh tranh trên thị trường phần cứng AI, vốn có nhu cầu cao về chip AI của Nvidia.
Các nhà đầu tư mạo hiểm nổi tiếng từ Sequoia đến Andreessen Horowitz đã rót hàng tỷ đô la để tài trợ cho việc phát triển các mô hình AI đắt tiền tại một số phòng thí nghiệm, bao gồm OpenAI và xAI.
Sonya Huang, đối tác của công ty đầu tư mạo hiểm nổi tiếng Sequoia Capital, cho biết: "Sự thay đổi này sẽ đưa chúng ta từ các cụm được đào tạo trước khổng lồ sang các đám mây tham chiếu, nơi các máy chủ dựa trên đám mây trở nên có ý nghĩa.
Nhu cầu về chip AI của Nvidia, một công nghệ tiên tiến, đã đẩy họ vượt qua Apple để trở thành công ty có giá trị nhất thế giới.
Khi được hỏi về tác động tiềm ẩn đối với nhu cầu đối với sản phẩm của mình, Navidi đã chỉ ra những phương pháp tiếp cận gần đây đối với kỹ thuật đằng sau mô hình o1.
Jenson Huang cho biết tại một hội nghị ở Ấn Độ vào tháng 10: “Chúng tôi đã tìm ra quy luật chia tỷ lệ thứ hai và đó là quy luật chia tỷ lệ trong thử nghiệm… Tất cả những yếu tố này đã dẫn đến nhu cầu cực kỳ cao đối với Blackwell”.
0 Comments