Nguyên tác: AI’s Memorization Crisis
Tác giả: Alex Reisner
Chuyển ngữ: PHAN THỊ SÓNG BIỂN
Các mô hình ngôn ngữ lớn không thực sự “học” — chúng chỉ đang sao chép. Và điều này có thể làm thay đổi hoàn toàn cục diện ngành AI
Vào đầu tháng Giêng, các nhà nghiên cứu tại Stanford và Yale đã công bố một khám phá mà các đại công ty điện toán hẳn muốn giấu nhẹm: Bốn mô hình ngôn ngữ lớn (Large Language Model – LLM) AI phổ biến nhất hiện nay — GPT của OpenAI, Claude của Anthropic, Gemini của Google và Grok của xAI — thực ra đã sao chép và có thể lập lại gần như nguyên văn nhiều đoạn dài từ các tác phẩm được dùng để huấn luyện chúng.
Cụ thể, khi được đặt câu hỏi theo lối “dẫn dụ,” hệ thống Claude đã tuôn ra trọn vẹn nội dung các cuốn sách danh tiếng như Harry Potter and the Sorcerer’s Stone, The Great Gatsby, 1984, và Frankenstein, ngoài ra còn lặp lại hàng ngàn chữ từ nhiều tác phẩm khác, trong đó có The Hunger Games và The Catcher in the Rye. Ba mô hình còn lại cũng cho ra kết quả tương tự ở các mức độ khác nhau trên tổng số 13 cuốn sách được đem ra trắc nghiệm.
Hiện tượng này được giới kỹ thuật gọi là “ghi nhớ” (memorization), nhưng trên thực tế là “sao chép.” Tuy nhiên, từ lâu nay, các công ty AI vẫn chối phăng việc này là điều họ đang làm. Trong một văn thư gửi Văn phòng Bản quyền Hoa Kỳ năm 2023, OpenAI quả quyết rằng các mô hình của họ “không lưu trữ bản sao của những dữ liệu mà chúng tiếp nhận.” Google và Anthropic cũng đưa ra những lời đoan chắc tương tự. Tuy nhiên, khi tác giả yêu cầu phỏng vấn, không một đại diện nào từ các công ty này nhận lời.
Cuộc nghiên cứu của Stanford là bằng chứng mới nhất củng cố thêm kết luận trước đó rằng các mô hình LLM thực chất chỉ sao chép lại nguyên bản của tài liệu. Qua các cuộc khảo sát riêng, tôi còn thấy các máy tạo hình có thể vẽ lại y hệt những bức tranh và ảnh chụp từng được dùng để huấn luyện. Điều này đang tạo ra một hiểm họa pháp lý hết sức lớn lao cho các công ty AI: các vụ kiện bản quyền trị giá hàng tỷ mỹ kim có thể làm ngành này hoàn toàn tê liệt, thậm chí bức tử nhiều sản phẩm đang được dùng trên thị trường. Quan trọng hơn cả, nó làm lung lay tận gốc rễ lời giải thích bấy lâu nay về cách vận hành của mô hình này.
Từ trước tới nay, những công ty AI vẫn g cách ví von rất hoa mỹ: họ nói sản phẩm của mình biết “học,” [và học rất nhanh], rằng LLM có thể tự nắm vững cú pháp mà không cần ai dạy cho từng quy tắc ngữ pháp. Thực chất, cái gọi là LLM chỉ là một “kho chữ,” mà khi cần dùng sẽ tự động nhặt nhạnh từ ngữ để sắp xếp lại cho giống hệt giọng người. Những biên khảo trong hai năm qua đang làm lung lay lập luận là AI biết học. Trên thực tế, AI không học theo lối thấu hiểu của trí tuệ con người; trái lại, nó chỉ chép dữ liệu đã được nén lại, rồi trích ra khi cần.
Giới chuyên môn về AI dùng thuật ngữ chính xác hơn: “lược bỏ dữ liệu” (lossy compression), tức thu gọn dung lượng bằng cách bỏ bớt một phần chi tiết, nhưng vẫn giữ lại nội dung chính. Cách gọi này ngày nay đang bắt đầu lan rộng. Vừa qua, một tòa án tại Đức đã dẫn dụng khái niệm này khi ra phán quyết bất lợi cho OpenAI trong vụ kiện của tổ chức bản quyền âm nhạc GEMA. GEMA đã minh chứng được rằng ChatGPT có thể tạo ra những ca khúc và lời rất giống với bản nhạc gốc.
Vị thẩm phán đã so sánh các hệ thống điện toán này với các định dạng MP3 hay JPEG — vốn là những phương thức lưu trữ âm thanh và hình ảnh trong dung lượng nhỏ. Chẳng hạn, khi ta lưu một bức ảnh sắc nét sang dạng JPEG, phiên bản đó thường bị kém nét hoặc mờ đi đôi chút. Kỹ thuật này giữ lại bức ảnh dưới dạng ‘gần đúng’ chứ không phải nguyên bản, vì một phần dữ liệu đã bị đào thải trong tiến trình nén. Vì khi một phần các điểm ảnh (pixel) bị đào thải để thu gọn dung lượng, hệ thống buộc phải lấp đầy những khoảng trống đó bằng cách pha trộn màu sắc xung quanh, dẫn đến hiện tượng nhòe mờ. Theo lời nhiều nhà nghiên cứu, AI tiếp nhận dữ liệu rồi tạo ra những ấn bản ‘na ná’ dữ liệu gốc.
Nhưng đương nhiên cách giải thích này không có lợi cho các công ty điện toán bằng việc rêu rao rằng sản phẩm của họ “biết học” như con người. Cách nói AI học được này giúp họ khẳng định rằng AI rồi sẽ tự mình tìm ra những khám phá khoa học mới, sẽ tiến bộ vô biên, nhưng thật ra, toàn bộ ngành này lâu nay vẫn dựa trên một hứa hẹn nghe rất hấp dẫn nhưng lại thiếu một nền tảng chứng thực vững chắc.
Minh chứng từ hình ảnh
Chúng ta sẽ hiểu vấn đề rõ hơn nếu nhìn vào cách AI tạo ảnh. Tháng Chín năm 2022, Emad Mostaque — đồng sáng lập và khi đó là giám đốc điều hành của Stability AI — giải thích: “Chúng tôi lấy 100.000 gigabyte hình ảnh và nén lại thành một tập tin khoảng 2 gigabyte, từ đó có thể dựng lại bất kỳ hình nào trong số ấy cùng nhiều biến thể của chúng.”
Một biên khảo gia AI độc lập (xin được ẩn danh) đã chứng minh cho tôi thấy khả năng “chép tranh” của hệ thống Stable Diffusion.
Hãy nhìn thí dụ dưới đây: Hình trên là ảnh gốc— một hình quảng cáo cho chương trình truyền hình Garfunkel and Oates, lấy từ mạng — còn hình dưới là phiên bản do Stable Diffusion tạo ra khi người dùng nhập đúng dòng chú thích đi kèm bức ảnh trên web.
Chỉ với kỹ thuật “hỏi” đơn giản này, nhà biên khảo nói trên đã cho tôi thấy cách tạo ra những bản sao gần như trùng khít của vài chục hình ảnh nằm trong bộ dữ liệu huấn luyện. Phần lớn các ảnh được tái tạo đều mang dấu vết đặc trưng của việc “lược bỏ dữ liệu” — tức là hơi bị nhòe, lẫn những lỗi nhiễu li ti, giống như hiện tượng mờ ảnh mà ta thường thấy khi chụp vội.
Một thí dụ nữa của cách vận hành này là cặp hình ảnh dưới đây, được trích từ hồ sơ vụ kiện chống lại công ty Stability AI và các tổ chức khác.
Hình trên là nguyên tác của họa sĩ Karla Ortiz, còn hình dưới là bản biến thể do Stable Diffusion tái tạo. Trong thí dụ này, vài chi tiết trong bản gốc đã được thay đổi trong hình ảnh mới so với. Thay vì nén dữ liệu ở cấp độ điểm ảnh (pixel), mô hình LLM của Stable Diffusion dường như đã sao chép và nhào nặn các thực thể từ nhiều hình ảnh khác nhau, trong khi vẫn duy trì được những nét chính.
Theo giải thích của các đại công ty thì AI “sáng tác” bằng cách trích xuất những “khái niệm” từ dữ liệu huấn luyện và “học” cách tạo ra tác phẩm nguyên thủy. Thế nhưng, bức hình được tái tạo này cho thấy là sản phẩm của AI không chỉ đến từ những khái niệm vừa học được. Đây chẳng phải là một hình ảnh trừu tượng về “một thiên thần và những cánh chim,” mà rõ ràng là có những nét rất giống với nguyên tác. Thí dụ này khiến chúng ta có thể suy luận một cách hợp lý rằng khả năng tạo ra bức hình mới của Stable Diffusion phần nào là do nó đã lưu trữ các yếu tố rất chi tiết từ tấm hình nguyên thủy.
Tiến trình này không đơn giản là chỉ ráp nối theo kiểu cắt rồi dán, nhưng chắc chắn chẳng phải là việc “học” theo đúng ý nghĩa của chữ học. Không giống như loài người, AI không có giác quan hay những trải nghiệm tâm thức để từ đó đưa ra phán đoán về mỹ thuật theo ý riêng của người sáng tạo.
Google từng viết rằng các mô hình ngôn ngữ lớn không lưu trữ bản sao của dữ liệu huấn luyện, mà chỉ giữ lại “quy luật của ngôn ngữ con người.” Xét trên bề mặt thì điều này có vẻ đúng, nhưng càng đi sâu vào chi tiết thì lại thấy đây là kiểu đưa tin sai lạc.
Theo nhiều tài liệu đã được công bố rộng rãi, khi một công ty dùng một cuốn sách để xây dựng mô hình LLM, họ sẽ chia nhỏ văn bản trong sách thành những “thẻ chữ” (tokens) hay các mảnh vụn từ ngữ. Chẳng hạn, cụm từ “hello, my friend” có thể được chia thành các thẻ chữ như he, llo, my, fri, và end. Có những thẻ là từ nguyên vẹn, nhưng cũng có những thẻ chỉ là những nhóm ký tự, khoảng trắng, hay dấu chấm câu.
LLM lưu trữ các thẻ chữ này cùng với bối cảnh mà chúng xuất hiện trong sách. Như vậy, bản chất của mô hình ngôn ngữ lớn thực sự chỉ là một “kho chữ” điện toán khổng lồ, chứa đựng vô số bối cảnh và những thẻ chữ có xác suất sẽ hiện ra cao nhất.
Khi một LLM “viết” ra một câu văn, thực chất là nó dò dẫm bước đi trên một lối mòn giữa khu rừng đầy rẫy những chuỗi thẻ chữ, và ở mỗi câu kế tiếp, nó luôn chọn ra thẻ nào có xác suất sẽ hiện diện cao nhất trong ngữ cảnh đó.
Cách giải thích của Google dễ gây hiểu lầm là vì tiên đoán về những thẻ chữ kế tiếp không hề đến từ một thực thể mơ hồ nào gọi là “ngôn ngữ con người,” mà trái lại, chúng được trích xuất từ chính những cuốn sách, những bài báo và các loại văn bản cụ thể mà hệ thống này đã quét qua và lưu lại.
Thường thì thỉnh thoảng các mô hình LLM sẽ đi chệch ra khỏi thẻ chữ có xác suất cao nhất. Các công ty điện AI thường rêu rao rằng đây là cách giúp trí tuệ nhân tạo trở nên “sáng tạo,” nhưng thực chất, thủ thuật này còn có một cái lợi khác: đó là khỏa lấp đi những dấu vết sao chép từ các văn bản được dùng để huấn luyện.
Đôi khi, “bản đồ ngôn ngữ” của một công ty AI chi tiết đến mức nó chứa đựng trọn vẹn những bản sao y hệt của nguyên một cuốn sách hay một bài báo. Mùa Hè vừa qua, một biên khảo về các mô hình ngôn ngữ lớn đã khám phá ra rằng mô hình Llama 3.1-70B của hãng Meta cũng có khả năng tái sản xuất toàn bộ nội dung cuốn Harry Potter and the Sorcerer’s Stone không khác gì Claude.
Giới nghiên cứu thấy rằng họ chỉ cần cung cấp cho những mô hình này vài thẻ chữ đầu tiên của cuốn sách: “Ông bà D.” (Mr. and Mrs. D.). Ngay lập tức, trong bản đồ ngôn ngữ nội bộ của Llama, những chữ có xác suất hiện ra kế tiếp chính là: “Ursley, nhà số bốn, đường Privet Drive, hãnh diện mà nói rằng họ hoàn toàn bình thường, cảm ơn bà con rất nhiều.” Đây chính xác là câu văn mở đầu của tác phẩm. Cứ như thế, bằng cách liên tục đưa những gì máy vừa viết ra ngược trở lại vào hệ thống, Llama đã tuôn ra trọn vẹn cuốn sách, chỉ lược bỏ mất vài câu ngắn ngủi.
Các nhà nghiên cứu cũng chứng minh được rằng mô hình Llama đã “lược bỏ” thuộc nhiều nội dung từ các tác phẩm khác, điển hình như bài tiểu luận lừng danh “The Case for Reparations” của Ta-Nehisi Coates trên tạp chí Atlantic.
Chỉ cần được mớm cho câu văn đầu tiên của bài tiểu luận, AI đã cho tuôn ra nguyên văn hơn 10.000 chữ — tức hai phần ba nội dung bài viết. Những trích xuất tầm cỡ tương tự cũng được mô hình Llama 3.1-70B lấy từ nội dung cuốn A Game of Thrones của George R. R. Martin, cuốn Beloved của Toni Morrison, và nhiều tác phẩm nổi tiếng khác.
Tuần này, các nhà nghiên cứu tại Stanford và Yale cũng đưa thêm bằng chứng rằng: kết quả tuôn ra từ mô hình LLM cũng có thể được diễn dịch khác đi, thay vì chỉ sao chép y hệt từng chữ một. Chẳng hạn, trong cuốn A Game of Thrones, nguyên văn viết rằng: “Jon thoáng thấy một bóng trắng nhợt nhạt di động xuyên qua lùm cây.” Thế nhưng, GPT-4.1 lại đưa ra câu: “Có vật gì đó chuyển động ở chỗ hơi khuất tầm mắt — một bóng trắng nhợt nhạt, lướt đi giữa những lùm cây.” Cũng giống như thí dụ về việc tạo hình của Stable Diffusion ở trên, kết quả của bài do máy “viết” ra giống nguyên bản của tác phẩm gốc một cách kỳ lạ.
Đây chẳng phải là nghiên cứu duy nhất vạch trần thói đạo văn tùy tiện của các mô hình AI. Kết quả một nghiên cứu khác cho thấy “trung bình có khoảng từ 8 đến 15% nội dung do các mô hình LLM tạo ra” đã có sẵn trên mạng lưới điện toán toàn cầu dưới đúng hình thức y hệt như vậy. Chatbots thường xuyên vi phạm các tiêu chuẩn đạo đức mà con người chúng ta vẫn hằng tuân thủ.
Việc “sao chép” này có thể dẫn đến những hệ lụy pháp lý trên ít nhất hai phương diện. Thứ nhất, nếu việc lưu giữ không thể tránh khỏi, thì giới phát triển AI sẽ phải tìm cách ngăn chặn người dùng có được những nội dung bị sao chép đó, như các chuyên gia luật từng nhận định. Thực tế, đã có ít nhất một tòa án đưa ra phán quyết yêu cầu điều này.
Thế nhưng, những kỹ thuật ngăn chặn hiện nay rất dễ bị qua mặt. Chẳng hạn, trang tin 404 Media tường thuật rằng hệ thống Sora 2 của OpenAI đã từ chối yêu cầu tạo đoạn phim về trò chơi điện tử nổi tiếng mang tên Animal Crossing, nhưng nó lại sẵn lòng làm điều đó nếu người dùng cố ý viết sai tên trò chơi thành “crossing animal 2017”. Nếu các công ty AI không thể bảo đảm rằng sản phẩm của họ sẽ không bao giờ xâm phạm bản quyền của một văn sĩ hay họa sĩ nào đó, tòa án hoàn toàn có thể bắt họ phải thu hồi sản phẩm khỏi thị trường.
Lý do thứ hai khiến các công ty AI có thể phải chịu trách nhiệm về việc vi phạm bản quyền là vì bản thân mô hình LLM có thể bị xem như một bản sao bất hợp pháp. Ông Mark Lemley, giáo sư luật tại Stanford — người từng đại diện cho Stability AI và Meta trong các vụ kiện tương tự — nói rằng ông không chắc là có chính xác không khi nói rằng LLM “chứa đựng” bản sao của một cuốn sách, hay thực chất là “chúng ta đang có một bộ chỉ thị [yêu cầu của người dùng] cho phép tạo ra bản sao tức thời theo yêu cầu.”
Nếu các vị thẩm phán phán quyết rằng các công ty AI không ngăn chặn được người dùng vi phạm bản quyền, thì bên nguyên đơn có quyền yêu cầu tiêu hủy các bản sao phạm luật. Điều này có nghĩa là, bên cạnh việc nộp tiền phạt, các công ty này, trong một số trường hợp, còn phải đối mặt với viễn cảnh bị pháp luật cưỡng bách phải huấn luyện lại các mô hình của họ từ đầu, bằng những nguồn tài liệu đã được mua bản quyền theo đúng luật.
Trong một vụ kiện, tờ The New York Times cáo buộc rằng hệ thống GPT-4 của OpenAI có thể tái tạo hàng chục bài báo của họ gần như y hệt nguyên văn. Đáp lại, phía OpenAI (vốn có quan hệ hợp tác với tạp chí The Atlantic) lập luận rằng tờ Times đã sử dụng những “câu ra lệnh gài bẫy,” vi phạm các điều khoản dịch vụ và cố ý mớm cho hệ thống những phân đoạn từ chính các bài báo đó.
“Người bình thường không ai sử dụng sản phẩm của OpenAI theo cách này cả,” công ty này viết, và thậm chí còn quả quyết rằng “tờ The New York Times đã thuê người để xâm nhập trái phép vào các sản phẩm của OpenAI.” Công ty này cũng gọi việc tái sản xuất dữ liệu kể trên là “một lỗi kỹ thuật hiếm hoi mà chúng tôi đang nỗ lực triệt tiêu để không còn xảy ra nữa.”
Những nghiên cứu vừa rồi của Stanford và Yale đang làm sáng tỏ một điều: khả năng đạo văn vốn thuộc tính cố hữu của GPT-4 cũng như tất cả các mô hình ngôn ngữ lớn hàng đầu khác. Trong số những nhà nghiên cứu mà tôi tiếp xúc, chẳng ai tin rằng hiện tượng gốc rễ — tức sự “sao chép” máy móc này — là một điều bất thường, hay có thể vĩnh viễn loại trừ.
Trong các vụ kiện tụng về bản quyền, phép ẩn dụ về việc “học” đã giúp các công ty xuyên tạc sự thật bằng lối so sánh khập khiễng giữa các mô hình đối thoại trực tuyến và con người. Có ít nhất một vị thẩm phán đã lặp lại những lối so sánh này, khi ví von việc một công ty điện toán đánh cắp và quét nội dung các cuốn sách giống như việc “huấn luyện cho trẻ em trường học cách viết văn hay.“
Cũng đã có hai vụ kiện trong đó các vị thẩm phán phán quyết rằng việc huấn luyện mô hình ngôn ngữ lớn dựa trên những cuốn sách có bản quyền là “sử dụng hợp lý” (fair use). Tuy nhiên, cả hai phán quyết này đều có những khiếm khuyết trong cách đánh giá vấn đề “sao chép” của AI.
Một vị thẩm phán đã dẫn lời chứng của chuyên gia nói rằng mô hình Llama chỉ có khả năng tái sản xuất không quá 50 thẻ chữ từ các cuốn sách của bên nguyên đơn, mặc dù các biên khảo được công bố sau đó đã chứng minh điều ngược lại. Vị thẩm phán còn lại thì thừa nhận rằng hệ thống Claude thực sự đã sao chép những phần nội dung quan trọng của các cuốn sách, nhưng lại biện bạch rằng bên nguyên đơn đã không đưa ra được bằng chứng cho thấy điều đó là một vấn đề nghiêm trọng.
Các cuộc nghiên cứu về việc AI sử dụng nội dung huấn luyện hiện vẫn còn ở mức sơ khai, phần vì các công ty chuyên về trí tuệ nhân tạo có dụng ý muốn giữ mọi chuyện mù mờ như vậy. Nhiều nghiên cứu gia đã cho tôi biết là một số công trình nghiên cứu sự “sao chép” đã bị luật sư của các công ty này kiểm duyệt và gây cản trở, nhưng không ai dám lên tiếng công khai vì e ngại sự trả đũa từ phía các đại công ty.
Trong khi đó, Sam Altman, Giám đốc điều hành của OpenAI, vẫn khăng khăng bảo vệ quan điểm cho rằng kỹ thuật này có “quyền được học” từ sách báo “y như con người.” Ý tưởng xuyên tạc sự thực và nghe có vẻ thuận tai này đang ngăn cản một cuộc thảo luận công khai cần thiết về việc các công ty AI đang trục lợi từ những tác phẩm trí tuệ và sáng tạo — những thứ mà họ hoàn toàn lệ thuộc vào để tồn tại.
Alex Reisner hiện là ký giả thường trực của tạp chí tờThe Atlantic.
Nguồn: https://www.theatlantic.com/technology/2026/01/ai-memorization-research/685552/
Similar articles: https://www.toiyeutiengnuoctoi.com/category/kien-thuc/cong-nghe/
