Có gì bên trong LLM? Ai2 OLMoTrace sẽ ‘truy tìm’ nguồn gốc

OLMo là từ viết tắt của Open Language Model, cũng là tên của  họ LLM nguồn mở của Ai2 . Trên trang web Ai2 Playground của công ty, người dùng có thể dùng thử OLMoTrace với mô hình OLMo 2 32B mới phát hành gần đây. Mã nguồn mở cũng có sẵn trên  GitHub  và được  cung cấp miễn phí cho bất kỳ ai sử dụng.

Không giống như các phương pháp hiện tại tập trung vào điểm số tin cậy hoặc thế hệ tăng cường truy xuất, OLMoTrace cung cấp một cửa sổ trực tiếp vào mối quan hệ giữa đầu ra của mô hình và các tập dữ liệu đào tạo gồm hàng tỷ mã thông báo đã định hình chúng.

Jiacheng Liu, nhà nghiên cứu tại Ai2, chia sẻ với VentureBeat: “Mục tiêu của chúng tôi là giúp người dùng hiểu lý do tại sao các mô hình ngôn ngữ lại tạo ra những phản hồi như vậy”.

Cách thức hoạt động của OLMoTrace: Không chỉ là trích dẫn

Các LLM có chức năng tìm kiếm trên web, như Perplexity hoặc ChatGPT Search, có thể cung cấp trích dẫn nguồn. Tuy nhiên, những trích dẫn đó về cơ bản khác với những gì OLMoTrace làm.

Liu giải thích rằng Perplexity và ChatGPT Search sử dụng retrieval-augmented generation (RAG). Với RAG, mục đích là cải thiện chất lượng tạo mô hình bằng cách cung cấp nhiều nguồn hơn so với những gì mô hình được đào tạo. OLMoTrace khác biệt vì nó theo dõi đầu ra từ chính mô hình mà không cần bất kỳ RAG hoặc nguồn tài liệu bên ngoài nào.

Công nghệ này xác định các chuỗi văn bản dài, duy nhất trong đầu ra của mô hình và khớp chúng với các tài liệu cụ thể từ kho dữ liệu đào tạo. Khi tìm thấy sự trùng khớp, OLMoTrace sẽ làm nổi bật văn bản có liên quan và cung cấp liên kết đến tài liệu nguồn gốc, cho phép người dùng xem chính xác nơi và cách mô hình học được thông tin mà nó đang sử dụng.

Vượt ra ngoài điểm số tin cậy: Bằng chứng hữu hình về việc ra quyết định của AI

Theo thiết kế, LLM tạo ra các đầu ra dựa trên trọng số mô hình giúp cung cấp điểm tin cậy. Ý tưởng cơ bản là điểm tin cậy càng cao thì đầu ra càng chính xác.

Theo quan điểm của Liu, điểm số tin cậy về cơ bản là sai lầm.

 Liu cho biết: “Các mô hình có thể quá tự tin vào những thứ họ tạo ra và nếu bạn yêu cầu họ tạo ra một điểm số, thì điểm số đó thường bị thổi phồng”. “Đó là những gì các học giả gọi là lỗi hiệu chuẩn – sự tự tin mà các mô hình đưa ra không phải lúc nào cũng phản ánh được mức độ chính xác thực sự của phản hồi của họ”.

Thay vì một điểm số có khả năng gây hiểu lầm khác, OLMoTrace cung cấp bằng chứng trực tiếp về nguồn học của mô hình, cho phép người dùng đưa ra phán đoán sáng suốt của riêng mình.

“OLMoTrace sẽ cho bạn thấy sự trùng khớp giữa đầu ra của mô hình và tài liệu đào tạo”, Liu giải thích. “Thông qua giao diện, bạn có thể trực tiếp thấy các điểm trùng khớp ở đâu và đầu ra của mô hình trùng khớp với tài liệu đào tạo như thế nào”.

So sánh OLMoTrace với các phương pháp minh bạch khác

Ai2 không phải là đơn vị duy nhất trong nỗ lực tìm hiểu rõ hơn về cách LLM tạo ra đầu ra. Anthropic gần đây đã công bố nghiên cứu riêng của mình về vấn đề này. Nghiên cứu đó tập trung vào các hoạt động nội bộ của mô hình, thay vì hiểu dữ liệu.

“Chúng tôi đang áp dụng một cách tiếp cận khác với họ,” Liu nói. “Chúng tôi đang trực tiếp theo dõi hành vi của mô hình, theo dữ liệu đào tạo của họ, trái ngược với việc theo dõi mọi thứ vào các tế bào thần kinh mô hình, các mạch bên trong, những thứ tương tự như vậy.”

Cách tiếp cận này giúp OLMoTrace hữu ích ngay lập tức cho các ứng dụng doanh nghiệp vì không yêu cầu chuyên môn sâu về kiến ​​trúc mạng nơ-ron để diễn giải kết quả.

Ứng dụng AI doanh nghiệp: Từ tuân thủ quy định đến gỡ lỗi mô hình

Đối với các doanh nghiệp triển khai AI trong các ngành được quản lý như chăm sóc sức khỏe, tài chính hoặc dịch vụ pháp lý, OLMoTrace mang lại những lợi thế đáng kể so với các hệ thống hộp đen hiện có.

Liu cho biết: “Chúng tôi nghĩ rằng OLMoTrace sẽ giúp người dùng doanh nghiệp và doanh nghiệp hiểu rõ hơn về những gì được sử dụng trong quá trình đào tạo mô hình để họ có thể tự tin hơn khi muốn xây dựng dựa trên các mô hình đó”. “Điều này có thể giúp tăng tính minh bạch và tin tưởng giữa họ về mô hình của họ và cả đối với khách hàng về hành vi mô hình của họ”.

Công nghệ này mang lại một số khả năng quan trọng cho các nhóm AI doanh nghiệp:

• Kiểm tra thực tế đầu ra của mô hình so với nguồn gốc
• Hiểu về nguồn gốc của ảo giác
• Cải thiện việc gỡ lỗi mô hình bằng cách xác định các mẫu có vấn đề
• Tăng cường tuân thủ quy định thông qua khả năng truy xuất dữ liệu
• Xây dựng lòng tin với các bên liên quan thông qua việc tăng cường tính minh bạch

Nhóm Ai2 đã sử dụng OLMoTrace để xác định và khắc phục các vấn đề của mô hình của họ.

“Chúng tôi đã sử dụng nó để cải thiện dữ liệu đào tạo của mình”, Liu tiết lộ. “Khi chúng tôi xây dựng OLMo 2 và bắt đầu đào tạo, thông qua OLMoTrace, chúng tôi phát hiện ra rằng thực tế một số dữ liệu sau đào tạo không tốt”.

Điều này có ý nghĩa gì đối với việc áp dụng AI của doanh nghiệp

Đối với các doanh nghiệp muốn dẫn đầu trong việc áp dụng AI, OLMoTrace đại diện cho một bước tiến đáng kể hướng tới các hệ thống AI doanh nghiệp có trách nhiệm hơn. Công nghệ này có sẵn theo giấy phép nguồn mở Apache 2.0, có nghĩa là bất kỳ tổ chức nào có quyền truy cập vào dữ liệu đào tạo của mô hình đều có thể triển khai các khả năng theo dõi tương tự.

“OLMoTrace có thể hoạt động trên bất kỳ mô hình nào, miễn là bạn có dữ liệu đào tạo của mô hình”, Liu lưu ý. “Đối với các mô hình hoàn toàn mở, nơi mọi người đều có quyền truy cập vào dữ liệu đào tạo của mô hình, bất kỳ ai cũng có thể thiết lập OLMoTrace cho mô hình đó và đối với các mô hình độc quyền, có thể một số nhà cung cấp không muốn công bố dữ liệu của họ, họ cũng có thể thực hiện OLMoTrace này nội bộ”.

Khi khuôn khổ quản trị AI tiếp tục phát triển trên toàn cầu, các công cụ như OLMoTrace cho phép xác minh và kiểm toán có khả năng sẽ trở thành thành phần thiết yếu của các ngăn xếp AI doanh nghiệp, đặc biệt là trong các ngành được quản lý, nơi tính minh bạch của thuật toán ngày càng được yêu cầu.

Đối với những người ra quyết định kỹ thuật đang cân nhắc lợi ích và rủi ro khi áp dụng AI, OLMoTrace cung cấp một con đường thiết thực để triển khai các hệ thống AI đáng tin cậy và dễ giải thích hơn mà không phải hy sinh sức mạnh của các mô hình ngôn ngữ lớn.