Theo báo cáo được thực hiện bởi các nhà nghiên cứu tại Đại học Stanford và UC Berkeley, 'trí tuệ' của ChatGPT thực sự đã suy giảm đáng kể so với thời điểm chatbot AI này ra mắt.
Vào thời điểm tháng 11/2022, ChatGPT - chatbot AI có khả năng trả lời mọi câu hỏi nhanh chóng tạo ra cơn sốt trên mạng, trở thành ứng dụng web phát triển nhanh nhất trong lịch sử internet, thu hút 100 triệu người dùng hoạt động hàng tháng vào tháng 1/2023.
Nhờ sự ‘đa tài’ của mình, cư dân mạng đổ xô đến website của ChatGPT, thử nghiệm chatbot này và yêu cầu nó tạo ra tất cả các loại văn bản như email, bài luận hoặc thậm chí lập trình. Tuy nhiên, mọi chuyện dường như đã đổi khác vào thời điểm tháng 6/2023, tức gần 7 tháng sau khi ChatGPT ra mắt, khi chatbot này đang nhận rất nhiều lời phàn nàn từ người dùng. Một trong số đó đến từ việc mô hình AI mới nhất đằng sau ChatGPT là GPT-4 đang dần trở nên “ngu ngốc” hơn, theo phản hồi từ nhiều người dùng.
Trên thực tế, đây cũng là kết luận của một báo cáo vừa được thực hiện mới đây bởi các nhà nghiên cứu tại 2 trường đại học nổi tiếng là Stanford và UC Berkeley. Theo đó, hiệu suất của các mô hình AI GPT-3.5 (được dùng vào thời điểm ChatGPT mới ra mắt) và GPT-4 (cho người dùng trả phí) "rất khác nhau".
Biểu đồ so sánh về hiệu suất của GPT-3.5 và GPT-4 - phiên bản mới nhất của mô hình ngôn ngữ lớn từ OpenAI
Mặc dù được OpenAI ‘quảng cáo’ là mạnh mẽ hơn, tiên tiến hơn GPT-3.5 khi có thể hiểu được hình ảnh cũng như văn bản, phiên bản mới nhất của mô hình ngôn ngữ lớn này lại hoạt động kém dần đi theo thời gian trong các tác vụ mà nó được thử nghiệm.
Mặc dù các tác vụ này đủ đa dạng để đảm bảo GPT-4 thực sự được đánh giá công tâm về khả năng, bao gồm việc giải toán, trả lời các câu hỏi nhạy cảm, lập trình và lý luận trực quan, mô hình ngôn ngữ lớn này có màn thể hiện không như mong đợi.
Vào thời điểm tháng 3, ChatGPT (với GPT-4) có độ chính xác 97,6% trong việc xác định các số nguyên tố. Nhưng chỉ sau 3 tháng, độ chính xác của ChatGPT giảm sốc tới 2,4%. Tương tự, khả năng lập trình của ChatGPT vào tháng 6 cũng trở nên kém cỏi hơn nhiều, khi các dòng code được viết ra tồn tại nhiều lỗi hơn so với thời điểm đầu năm nay. Cuối cùng, ChatGPT cũng "ít sẵn sàng trả lời các câu hỏi nhạy cảm hơn".
Không ai có thể hiểu tại sao GPT-4 lại thay đổi
Câu hỏi tại sao GPT-4 lại trở nên kém cỏi như vậy là điều mà nhóm nghiên cứu vẫn chưa thể xác định, theo Business Insider.
"Báo cáo không thể giải thích được vì sao sự suy giảm khả năng của GPT-4 lại xảy ra. Chúng tôi thậm chí không biết liệu OpenAI có biết điều này đang xảy ra hay không”, ông Ethan Mollick, giáo sư tại trường Kinh doanh Wharton của ĐH Pennsylvania cho biết.
Cũng phải nói thêm rằng, vấn đề về hiệu suất của ChatGPT đã được người dùng ghi nhận từ nhiều tháng trở lại đây. Trưởng nhóm sản phẩm Roblox, Peter Yang, đã lưu ý vào tháng 5 rằng các câu trả lời của GPT-4 được tạo ra nhanh hơn so với trước đây, "nhưng chất lượng có vẻ kém hơn."
"Có lẽ OpenAI đang cố gắng tiết kiệm chi phí," chuyên gia này viết trên Twitter.
Trong khi đó, trên diễn đàn dành cho nhà phát triển của OpenAI, một cuộc tranh luận về trình trạng ChatGPT đi xuống về chất lượng phản hồi đã nổ ra. Nhiều người dùng trong cộng đồng AI cho rằng, đây có thể coi là một thách thức với OpenAI, trong bối cảnh GPT-4 chủ yếu được cung cấp cho các người dùng trả phí truy cập.
Một số khác cho rằng, nếu đây là mô hình ngôn ngữ lớn tiên tiến nhất của OpenAI, nó nên có màn thể hiện tốt hơn nhằm tạo ra lợi thế trong cuộc cạnh tranh ngày càng khốc liệt với các đối thủ trên thị trường. Đặc biệt, cộng đồng AI đang coi chất lượng ngày càng giảm của GPT-4 có nguyên nhân đến từ việc "thiết kế lại triệt để" mô hình. Tuy nhiên, OpenAI đã phản bác ý kiến này.
"Không, chúng tôi không tạo ra GPT-4 ngu ngốc hơn. Hoàn toàn ngược lại: chúng tôi làm cho mỗi phiên bản mới thông minh hơn phiên bản trước", Peter Welinder, Phó chủ tịch sản phẩm tại OpenAI, cho biết. Tuy nhiên, tuyên bố này của đại diện OpenAI được đưa ra trước khi báo cáo của các nhà nghiên cứu tại Đại học Stanford được công bố.
Biểu đồ cho thấy sự trăng trưởng và sự giảm về lượt truy cập của các dịch vụ chatbot AI phổ biến trên thế giới như ChatGPT, Bing.com (tích hợp GPT-4), character.ai và chatbot Bard của Google. Ảnh: Internet
Trước đó, theo dữ liệu từ công ty phân tích SimilarWeb, lưu lượng truy cập toàn cầu vào trang web ChatGPT của OpenAI ước tính giảm khoảng 10% trong khoảng thời gian từ tháng 5 đến tháng 6. Đây là con số đánh dấu lần đầu tiên số lượng truy cập vào mô hình ngôn ngữ lớn này suy giảm kể từ khi ChatGPT được ra mắt vào tháng 11 năm ngoái.
Theo đó, vào tháng 6/2023, lưu lượng truy cập trên toàn thế giới từ PC và thiết bị di động đến trang web của ChatGPt đã giảm 9,7% so với tháng trước. Tại Mỹ, lượng truy cập giảm 10,3%. Tương tự, số lượng người dùng truy cập trên toàn cầu giảm 5,7%. Người dùng cũng dành ít thời gian hơn để tương tác với ChatGPT, với mức độ tương tác trong tháng 5 giảm 8,5% so với tháng trước.
"ChatGPT không còn duy trì được độ nóng để nó có thể trở thành trang web có nhiều lượt truy cập nhất trên thế giới", theo Similarweb. "Nói cách khác, Google không có nguy cơ bị lu mờ bởi trang web trình diễn công nghệ của OpenAI, vốn đã trở thành một hiện tượng văn hóa."
Vào thời điểm tháng 11/2022, ChatGPT - chatbot AI có khả năng trả lời mọi câu hỏi nhanh chóng tạo ra cơn sốt trên mạng, trở thành ứng dụng web phát triển nhanh nhất trong lịch sử internet, thu hút 100 triệu người dùng hoạt động hàng tháng vào tháng 1/2023.
Nhờ sự ‘đa tài’ của mình, cư dân mạng đổ xô đến website của ChatGPT, thử nghiệm chatbot này và yêu cầu nó tạo ra tất cả các loại văn bản như email, bài luận hoặc thậm chí lập trình. Tuy nhiên, mọi chuyện dường như đã đổi khác vào thời điểm tháng 6/2023, tức gần 7 tháng sau khi ChatGPT ra mắt, khi chatbot này đang nhận rất nhiều lời phàn nàn từ người dùng. Một trong số đó đến từ việc mô hình AI mới nhất đằng sau ChatGPT là GPT-4 đang dần trở nên “ngu ngốc” hơn, theo phản hồi từ nhiều người dùng.
Trên thực tế, đây cũng là kết luận của một báo cáo vừa được thực hiện mới đây bởi các nhà nghiên cứu tại 2 trường đại học nổi tiếng là Stanford và UC Berkeley. Theo đó, hiệu suất của các mô hình AI GPT-3.5 (được dùng vào thời điểm ChatGPT mới ra mắt) và GPT-4 (cho người dùng trả phí) "rất khác nhau".
Biểu đồ so sánh về hiệu suất của GPT-3.5 và GPT-4 - phiên bản mới nhất của mô hình ngôn ngữ lớn từ OpenAI
Mặc dù được OpenAI ‘quảng cáo’ là mạnh mẽ hơn, tiên tiến hơn GPT-3.5 khi có thể hiểu được hình ảnh cũng như văn bản, phiên bản mới nhất của mô hình ngôn ngữ lớn này lại hoạt động kém dần đi theo thời gian trong các tác vụ mà nó được thử nghiệm.
Mặc dù các tác vụ này đủ đa dạng để đảm bảo GPT-4 thực sự được đánh giá công tâm về khả năng, bao gồm việc giải toán, trả lời các câu hỏi nhạy cảm, lập trình và lý luận trực quan, mô hình ngôn ngữ lớn này có màn thể hiện không như mong đợi.
Vào thời điểm tháng 3, ChatGPT (với GPT-4) có độ chính xác 97,6% trong việc xác định các số nguyên tố. Nhưng chỉ sau 3 tháng, độ chính xác của ChatGPT giảm sốc tới 2,4%. Tương tự, khả năng lập trình của ChatGPT vào tháng 6 cũng trở nên kém cỏi hơn nhiều, khi các dòng code được viết ra tồn tại nhiều lỗi hơn so với thời điểm đầu năm nay. Cuối cùng, ChatGPT cũng "ít sẵn sàng trả lời các câu hỏi nhạy cảm hơn".
Không ai có thể hiểu tại sao GPT-4 lại thay đổi
Câu hỏi tại sao GPT-4 lại trở nên kém cỏi như vậy là điều mà nhóm nghiên cứu vẫn chưa thể xác định, theo Business Insider.
"Báo cáo không thể giải thích được vì sao sự suy giảm khả năng của GPT-4 lại xảy ra. Chúng tôi thậm chí không biết liệu OpenAI có biết điều này đang xảy ra hay không”, ông Ethan Mollick, giáo sư tại trường Kinh doanh Wharton của ĐH Pennsylvania cho biết.
Cũng phải nói thêm rằng, vấn đề về hiệu suất của ChatGPT đã được người dùng ghi nhận từ nhiều tháng trở lại đây. Trưởng nhóm sản phẩm Roblox, Peter Yang, đã lưu ý vào tháng 5 rằng các câu trả lời của GPT-4 được tạo ra nhanh hơn so với trước đây, "nhưng chất lượng có vẻ kém hơn."
"Có lẽ OpenAI đang cố gắng tiết kiệm chi phí," chuyên gia này viết trên Twitter.
Trong khi đó, trên diễn đàn dành cho nhà phát triển của OpenAI, một cuộc tranh luận về trình trạng ChatGPT đi xuống về chất lượng phản hồi đã nổ ra. Nhiều người dùng trong cộng đồng AI cho rằng, đây có thể coi là một thách thức với OpenAI, trong bối cảnh GPT-4 chủ yếu được cung cấp cho các người dùng trả phí truy cập.
Một số khác cho rằng, nếu đây là mô hình ngôn ngữ lớn tiên tiến nhất của OpenAI, nó nên có màn thể hiện tốt hơn nhằm tạo ra lợi thế trong cuộc cạnh tranh ngày càng khốc liệt với các đối thủ trên thị trường. Đặc biệt, cộng đồng AI đang coi chất lượng ngày càng giảm của GPT-4 có nguyên nhân đến từ việc "thiết kế lại triệt để" mô hình. Tuy nhiên, OpenAI đã phản bác ý kiến này.
"Không, chúng tôi không tạo ra GPT-4 ngu ngốc hơn. Hoàn toàn ngược lại: chúng tôi làm cho mỗi phiên bản mới thông minh hơn phiên bản trước", Peter Welinder, Phó chủ tịch sản phẩm tại OpenAI, cho biết. Tuy nhiên, tuyên bố này của đại diện OpenAI được đưa ra trước khi báo cáo của các nhà nghiên cứu tại Đại học Stanford được công bố.
Biểu đồ cho thấy sự trăng trưởng và sự giảm về lượt truy cập của các dịch vụ chatbot AI phổ biến trên thế giới như ChatGPT, Bing.com (tích hợp GPT-4), character.ai và chatbot Bard của Google. Ảnh: Internet
Trước đó, theo dữ liệu từ công ty phân tích SimilarWeb, lưu lượng truy cập toàn cầu vào trang web ChatGPT của OpenAI ước tính giảm khoảng 10% trong khoảng thời gian từ tháng 5 đến tháng 6. Đây là con số đánh dấu lần đầu tiên số lượng truy cập vào mô hình ngôn ngữ lớn này suy giảm kể từ khi ChatGPT được ra mắt vào tháng 11 năm ngoái.
Theo đó, vào tháng 6/2023, lưu lượng truy cập trên toàn thế giới từ PC và thiết bị di động đến trang web của ChatGPt đã giảm 9,7% so với tháng trước. Tại Mỹ, lượng truy cập giảm 10,3%. Tương tự, số lượng người dùng truy cập trên toàn cầu giảm 5,7%. Người dùng cũng dành ít thời gian hơn để tương tác với ChatGPT, với mức độ tương tác trong tháng 5 giảm 8,5% so với tháng trước.
"ChatGPT không còn duy trì được độ nóng để nó có thể trở thành trang web có nhiều lượt truy cập nhất trên thế giới", theo Similarweb. "Nói cách khác, Google không có nguy cơ bị lu mờ bởi trang web trình diễn công nghệ của OpenAI, vốn đã trở thành một hiện tượng văn hóa."
Theo Genk
