Mô hình ngôn ngữ lớn (LLM) đang trở nên phổ biến nhờ sự nổi tiếng của ChatGPT. Mới đây, nhà phát triển phần mềm Ishan Anand đã tạo ra dự án “Spreadsheets-are-all-you-need” để giúp mọi người dễ dàng hiểu cách thức hoạt động của LLM bằng cách tích hợp GPT-2 vào excel.
Dự án “Chỉ cần bảng tính”: Khám phá mô hình ngôn ngữ lớn trong Excel
Dự án này sử dụng bảng tính Microsoft Excel để tích hợp GPT-2, tiền thân của ChatGPT. GPT-2 được OpenAI phát hành vào năm 2019 nhưng sau đó bị hạn chế vì lo ngại về khả năng tạo ra nội dung độc hại.
“Bằng cách sử dụng bảng tính, bất kỳ ai, kể cả người không biết lập trình, cũng có thể khám phá và trực tiếp thử nghiệm cách thức hoạt động của mô hình Transformer,” Anand giải thích trên trang web của dự án.
Mô hình Transformer là nền tảng cho LLM và được giới thiệu trong bài nghiên cứu “Attention is All You Need” năm 2017. Dự án “Spreadsheets-are-all-you-need” sử dụng cách chơi chữ dựa trên tên bài nghiên cứu này để nhấn mạnh tính dễ tiếp cận của nó.
Anand đã tạo ra một công cụ độc đáo bằng cách kết hợp mô hình ngôn ngữ AI GPT-2 vào tệp nhị phân XLSB của Microsoft Excel. Công cụ này đòi hỏi phiên bản Excel mới nhất để chạy và hoạt động hoàn toàn cục bộ, không cần kết nối internet hay dịch vụ AI đám mây.
Mặc dù nó chứa một mô hình ngôn ngữ AI hoàn chỉnh, bạn không thể trò chuyện trực tiếp với nó như ChatGPT. Thay vào đó, người dùng nhập dữ liệu vào các ô cụ thể và nhận kết quả dự đoán được hiển thị trong các ô khác gần như ngay lập tức.
Mô hình GPT-2 được thiết kế để dự đoán ký hiệu tiếp theo (next-token prediction), nghĩa là nó cố gắng hoàn thành một “yêu cầu” (đầu vào được mã hóa thành các khối gọi là token) bằng văn bản có khả năng cao nhất. Dự đoán này có thể là sự tiếp tục của một câu, đoạn mã, hoặc bất kỳ tác vụ dựa trên văn bản nào khác.
Tệp Excel của Anand bao gồm các trang tính khác nhau, cho phép người dùng trực tiếp trải nghiệm và quan sát cách thức hoạt động của mô hình GPT-2 khi thực hiện các dự đoán.
Công cụ “Chỉ cần bảng tính” do Anand phát triển có thể xử lý tối đa 10 từ đầu vào. Tuy con số này nhỏ bé so với khả năng xử lý 128.000 từ của GPT-4 Turbo, nó vẫn đủ để minh họa cho những nguyên tắc cơ bản về hoạt động của các mô hình ngôn ngữ lớn (LLM).
Hướng dẫn sử dụng và ý tưởng đằng sau dự án
Anand đã trình bày chi tiết về công cụ này trong một loạt video hướng dẫn miễn phí trên YouTube. Các video này giúp người xem hiểu cách thức hoạt động của LLM, cách sử dụng công cụ “Chỉ cần bảng tính” và cách áp dụng nó vào các tác vụ thực tế.
Anand tạo ra dự án để hiểu rõ hơn về Transformer, nền tảng của các mô hình ngôn ngữ lớn. Ông cảm thấy cần quay lại với những kiến thức cơ bản vì Trí tuệ Nhân tạo hiện đại quá khác biệt so với thời ông học.
Ban đầu, Anand định lập trình GPT-2 bằng Javascript nhưng vì đam mê với bảng tính, ông chuyển hướng. Anand lấy cảm hứng từ các bài hướng dẫn về Trí tuệ Nhân tạo của Jeremy Howard và Andrej Karpathy. Nhận thấy mô hình GPT-2 giống như một biểu đồ tính toán lớn, ông nảy ra ý tưởng xây dựng nó trong bảng tính.
Khó khăn lớn nhất gặp phải là chuyển đổi từ để thành số, vì đây là xử lý văn bản, không phải tính toán. Phần còn lại, chủ yếu là các phép toán, lại rất phù hợp với bảng tính.
Hỗ trợ từ ChatGPT và sự phát triển của mô hình GPT-2
Trong quá trình thực hiện, Anand cũng nhận được sự trợ giúp từ hậu duệ của GPT-2, chính là ChatGPT. Công cụ này hữu ích trong việc giải quyết các vấn đề hóc búa hoặc hiểu các giai đoạn khác nhau của thuật toán. Tuy nhiên, nhược điểm của ChatGPT là đôi khi đưa ra những thông tin không chính xác, vì vậy Anand cần kiểm tra kỹ lưỡng đầu ra của nó.
Toàn bộ thành tựu này là nhờ OpenAI công bố mã nguồn và các trọng số mạng nơ-ron của GPT-2 vào tháng 11 năm 2019. Việc thấy mô hình cụ thể này được đưa vào một bảng tính giáo dục thì khá thú vị, bởi vì khi được công bố vào tháng 2 năm 2019, OpenAI lại lo ngại việc phát hành nó – họ lo ngại GPT-2 có thể “được sử dụng để tạo ra ngôn ngữ lừa dối, thiên vị hoặc xúc phạm trên quy mô lớn”.
Tuy nhiên, OpenAI vẫn tung ra toàn bộ mô hình GPT-2 (bao gồm các file trọng số cần thiết để chạy cục bộ) vào tháng 11 năm 2019. Nhưng mô hình lớn tiếp theo của công ty, GPT-3 ra mắt năm 2020, thì không được phát hành mã nguồn và trọng số. Một biến thể của GPT-3 sau đó đã trở thành nền tảng cho phiên bản đầu tiên của ChatGPT, ra mắt vào năm 2022.
Anand dùng phiên bản “GPT-2 Nhỏ” trong bảng tính, chỉ có 124 triệu tham số, khác với bản đầy đủ 1.5 tỷ tham số. (Tham số là các giá trị số trong mô hình AI, lưu trữ những mẫu học được từ dữ liệu huấn luyện). So với GPT-3 175 tỷ tham số (và các mô hình lớn hơn), phiên bản của Anand có lẽ không được xếp là “lớn” nếu phát hành ngày nay. Nhưng vào năm 2019, GPT-2 được xem là tiên tiến.
Tải xuống và lưu ý khi sử dụng bảng tính GPT-2
Bạn có thể tải xuống bảng tính chứa GPT-2 trên GitHub, nhưng dung lượng khoảng 1.2GB. Do tính phức tạp, Anand cho biết nó có thể khiến Excel bị treo hoặc sập thường xuyên, đặc biệt trên máy Mac; do đó ông khuyên chạy bảng tính trên Windows. “Rất khuyến khích sử dụng chế độ tính toán thủ công trong Excel và phiên bản Excel trên Windows (trên ổ cứng Windows hoặc chạy qua Parallels trên Mac)”, Anand viết trên trang web của mình.
Và Google Sheets hiện không khả dụng: “Dự án này thực sự bắt đầu trên Google Sheets, nhưng mô hình 124 triệu tham số quá lớn nên phải chuyển sang Excel”, Anand viết. “Tôi vẫn đang tìm cách để làm cho nó hoạt động trong Google Sheets, nhưng có vẻ không thể nhét vừa vào một file duy nhất như trên Excel.”
Mình đang rất muốn biết suy nghĩ của các bạn về bài viết này, để mình có thể cải thiện và đưa ra những bài viết tốt hơn nữa cho các bạn đọc.