Fargo giúp khách hàng thực hiện các nhu cầu ngân hàng hàng ngày qua giọng nói hoặc văn bản, xử lý các yêu cầu như thanh toán hóa đơn, chuyển tiền, cung cấp thông tin chi tiết về giao dịch và trả lời các câu hỏi về hoạt động tài khoản. Trợ lý đã chứng minh là một công cụ hữu ích cho người dùng, trung bình nhiều tương tác trong mỗi phiên.
Hệ thống hoạt động thông qua một đường ống ưu tiên quyền riêng tư. Khách hàng tương tác qua ứng dụng, nơi giọng nói được phiên âm cục bộ bằng mô hình chuyển giọng nói thành văn bản. Văn bản đó sau đó được hệ thống nội bộ của Wells Fargo xử lý và mã hóa, bao gồm một mô hình ngôn ngữ nhỏ (SLM) để phát hiện thông tin nhận dạng cá nhân (PII). Chỉ khi đó, cuộc gọi mới được thực hiện đến mô hình Flash 2.0 của Google để trích xuất ý định của người dùng và các thực thể có liên quan. Không có dữ liệu nhạy cảm nào đến được mô hình.
“Lớp dàn dựng sẽ giao tiếp với mô hình”, CIO Chintan Mehta của Wells Fargo cho biết trong một cuộc phỏng vấn với VentureBeat. “Chúng tôi là bộ lọc ở phía trước và phía sau”.
Ông giải thích rằng mô hình chỉ làm một việc là xác định ý định và thực thể dựa trên cụm từ mà người dùng gửi, chẳng hạn như xác định rằng yêu cầu liên quan đến tài khoản tiết kiệm. Mehta cho biết: “Tất cả các phép tính và việc khử mã thông báo, mọi thứ đều do chúng tôi thực hiện”. “Các API của chúng tôi… không có API nào vượt qua LLM. Tất cả đều chỉ nằm vuông góc với nó”.
Số liệu thống kê nội bộ của Wells Fargo cho thấy sự gia tăng đáng kể: từ 21,3 triệu tương tác vào năm 2023 lên hơn 245 triệu vào năm 2024, với hơn 336 triệu tương tác tích lũy kể từ khi ra mắt. Việc áp dụng tiếng Tây Ban Nha cũng tăng vọt, chiếm hơn 80% lượng sử dụng kể từ khi triển khai vào tháng 9 năm 2023.
Kiến trúc này phản ánh một sự thay đổi chiến lược rộng hơn. Mehta cho biết cách tiếp cận của ngân hàng dựa trên việc xây dựng “hệ thống hợp chất”, trong đó các lớp phối hợp xác định mô hình nào sẽ sử dụng dựa trên nhiệm vụ. Gemini Flash 2.0 hỗ trợ Fargo, nhưng các mô hình nhỏ hơn như Llama được sử dụng ở nơi khác trong nội bộ và các mô hình OpenAI có thể được khai thác khi cần.
“Chúng tôi là poly-model và poly-cloud”, ông nói, lưu ý rằng mặc dù hiện nay ngân hàng này chủ yếu sử dụng nền tảng đám mây của Google, nhưng họ cũng sử dụng Azure của Microsoft.
Mehta cho biết chủ nghĩa không biết mô hình là điều cần thiết khi chênh lệch hiệu suất giữa các mô hình hàng đầu là rất nhỏ. Ông nói thêm rằng một số mô hình vẫn vượt trội trong các lĩnh vực cụ thể—Claude Sonnet 3.7 và o3 mini high của OpenAI để mã hóa, o3 của OpenAI để nghiên cứu sâu, v.v.—nhưng theo quan điểm của ông, câu hỏi quan trọng hơn là cách chúng được sắp xếp thành các đường ống.
Kích thước cửa sổ ngữ cảnh vẫn là một lĩnh vực mà ông thấy có sự tách biệt có ý nghĩa. Mehta ca ngợi khả năng 1M-token của Gemini 2.5 Pro là một lợi thế rõ ràng cho các tác vụ như thế hệ tăng cường truy xuất (RAG), trong đó việc xử lý trước dữ liệu phi cấu trúc có thể gây ra độ trễ. Ông cho biết “Gemini đã hoàn toàn vượt trội khi nói đến vấn đề đó”. Ông cho biết đối với nhiều trường hợp sử dụng, chi phí xử lý trước dữ liệu trước khi triển khai mô hình thường lớn hơn lợi ích.
Thiết kế của Fargo cho thấy cách các mô hình ngữ cảnh lớn có thể cho phép tự động hóa nhanh, tuân thủ và khối lượng lớn – ngay cả khi không có sự can thiệp của con người. Và đó là sự tương phản rõ rệt với các đối thủ cạnh tranh. Ví dụ, tại Citi, giám đốc phân tích Promiti Dutta đã nói vào năm ngoái rằng rủi ro của các mô hình ngôn ngữ lớn (LLM) hướng ra bên ngoài vẫn còn quá cao. Trong một bài nói chuyện do VentureBeat tổ chức, bà đã mô tả một hệ thống mà các nhân viên hỗ trợ không nói chuyện trực tiếp với khách hàng , do lo ngại về ảo giác và độ nhạy dữ liệu.
Wells Fargo giải quyết những mối lo ngại này thông qua thiết kế phối hợp của mình. Thay vì dựa vào con người trong vòng lặp, nó sử dụng các biện pháp bảo vệ theo lớp và logic nội bộ để giữ LLM tránh xa bất kỳ đường dẫn dữ liệu nhạy cảm nào.
Di chuyển của tác nhân và thiết kế đa tác nhân
Wells Fargo cũng đang hướng tới các hệ thống tự chủ hơn. Mehta đã mô tả một dự án gần đây nhằm tái bảo lãnh 15 năm tài liệu cho vay được lưu trữ. Ngân hàng đã sử dụng một mạng lưới các tác nhân tương tác, một số trong số đó được xây dựng trên các khuôn khổ nguồn mở như LangGraph. Mỗi tác nhân có một vai trò cụ thể trong quy trình, bao gồm truy xuất tài liệu từ kho lưu trữ, trích xuất nội dung của chúng, khớp dữ liệu với các hệ thống lưu trữ, sau đó tiếp tục thực hiện các phép tính – tất cả các nhiệm vụ theo truyền thống đều yêu cầu các nhà phân tích là con người. Một con người sẽ xem xét kết quả cuối cùng, nhưng hầu hết công việc đều diễn ra tự động.
Ngân hàng cũng đang đánh giá các mô hình lý luận để sử dụng nội bộ, nơi Mehta cho biết sự khác biệt vẫn tồn tại. Trong khi hầu hết các mô hình hiện nay xử lý tốt các tác vụ hàng ngày, lý luận vẫn là một trường hợp ngoại lệ khi một số mô hình rõ ràng thực hiện tốt hơn các mô hình khác và chúng thực hiện theo những cách khác nhau.
Tại sao độ trễ (và giá cả) lại quan trọng
Tại Wayfair, CTO Fiona Tan cho biết Gemini 2.5 Pro đã cho thấy triển vọng mạnh mẽ, đặc biệt là về tốc độ. “Trong một số trường hợp, Gemini 2.5 đã trở lại nhanh hơn Claude hoặc OpenAI”, bà nói, tham khảo các thử nghiệm gần đây của nhóm bà.
Tan cho biết độ trễ thấp hơn mở ra cánh cửa cho các ứng dụng khách hàng theo thời gian thực. Hiện tại, Wayfair sử dụng LLM cho hầu hết các ứng dụng hướng nội bộ—bao gồm cả trong việc bán hàng và lập kế hoạch vốn—nhưng suy luận nhanh hơn có thể cho phép họ mở rộng LLM sang các sản phẩm hướng khách hàng như công cụ Hỏi & Đáp trên các trang chi tiết sản phẩm.
Tan cũng lưu ý những cải tiến trong hiệu suất mã hóa của Gemini. “Nó có vẻ khá tương đương với Claude 3.7”, cô nói. Nhóm đã bắt đầu đánh giá mô hình thông qua các sản phẩm như Cursor và Code Assist, nơi các nhà phát triển có thể linh hoạt lựa chọn.
Google đã công bố mức giá hấp dẫn cho Gemini 2.5 Pro : 1,24 đô la cho một triệu token đầu vào và 10 đô la cho một triệu token đầu ra. Tan cho biết mức giá đó, cộng với tính linh hoạt của SKU cho các tác vụ lý luận, khiến Gemini trở thành một lựa chọn mạnh mẽ trong tương lai.
Tín hiệu rộng hơn cho Google Cloud Next
Những câu chuyện của Wells Fargo và Wayfair xuất hiện đúng lúc Google đang tổ chức hội nghị thường niên Google Cloud Next tuần này tại Las Vegas. Trong khi OpenAI và Anthropic thống trị diễn đàn AI trong những tháng gần đây, các triển khai doanh nghiệp có thể lặng lẽ quay lại ủng hộ Google.
Tại hội nghị, Google dự kiến sẽ nêu bật một làn sóng các sáng kiến AI đại lý, bao gồm các khả năng và công cụ mới để làm cho các đại lý tự động hữu ích hơn trong quy trình làm việc của doanh nghiệp. Ngay tại sự kiện Cloud Next năm ngoái, CEO Thomas Kurian đã dự đoán các đại lý sẽ được thiết kế để giúp người dùng “đạt được các mục tiêu cụ thể ” và “kết nối với các đại lý khác” để hoàn thành nhiệm vụ — các chủ đề phản ánh nhiều nguyên tắc phối hợp và tự chủ mà Mehta đã mô tả.
Mehta của Wells Fargo nhấn mạnh rằng nút thắt thực sự đối với việc áp dụng AI sẽ không phải là hiệu suất mô hình hay tính khả dụng của GPU. “Tôi nghĩ điều này rất mạnh mẽ. Tôi không nghi ngờ gì về điều đó”, ông nói về lời hứa của AI tạo ra sẽ mang lại giá trị cho các ứng dụng doanh nghiệp. Nhưng ông cảnh báo rằng chu kỳ cường điệu có thể đang chạy trước giá trị thực tế. “Chúng ta phải rất chu đáo để không bị cuốn vào những thứ hào nhoáng”.
Mối quan tâm lớn hơn của ông là gì? Điện. Mehta cho biết: “Rào cản không phải là chip. Mà là việc sản xuất và phân phối điện. Đó mới là nút thắt thực sự”.
