Sự hợp tác này đã giúp Phonely giảm thời gian phản hồi hơn 70% đồng thời tăng độ chính xác từ 81,5% lên 99,2% trên bốn lần lặp lại mô hình, vượt qua chuẩn mực 94,7% của GPT-4o là 4,5 điểm phần trăm. Những cải tiến bắt nguồn từ khả năng mới của Groq để chuyển đổi ngay lập tức giữa nhiều mô hình AI chuyên biệt mà không có độ trễ bổ sung, được điều phối thông qua nền tảng tối ưu hóa của Maitai.
Thành tựu này giải quyết được cái mà các chuyên gia trong ngành gọi là ” thung lũng kỳ lạ ” của AI giọng nói — những tín hiệu tinh tế khiến các cuộc trò chuyện tự động có cảm giác không giống con người. Đối với các trung tâm cuộc gọi và hoạt động dịch vụ khách hàng, những tác động có thể mang tính biến đổi: một trong những khách hàng của Phonely đang thay thế 350 nhân viên chỉ trong tháng này.
Tại sao cuộc gọi điện thoại AI vẫn nghe như robot: vấn đề bốn giây
Các mô hình ngôn ngữ lớn truyền thống như GPT-4o của OpenAI từ lâu đã phải vật lộn với một thách thức có vẻ đơn giản: phản hồi đủ nhanh để duy trì luồng hội thoại tự nhiên. Trong khi một vài giây chậm trễ hầu như không được ghi nhận trong các tương tác dựa trên văn bản, thì cùng một khoảng dừng lại có vẻ vô tận trong các cuộc trò chuyện trực tiếp qua điện thoại.
“Một trong những điều mà hầu hết mọi người không nhận ra là các nhà cung cấp LLM lớn, chẳng hạn như OpenAI, Claude và những nhà cung cấp khác có mức độ sai lệch độ trễ rất cao”, Will Bodewes, người sáng lập kiêm giám đốc điều hành của Phonely, cho biết trong một cuộc phỏng vấn độc quyền với VentureBeat. “4 giây có vẻ như là một thế kỷ nếu bạn đang nói chuyện với một AI giọng nói trên điện thoại – độ trễ này là điều khiến hầu hết AI giọng nói ngày nay có cảm giác không phải con người”.
Vấn đề xảy ra khoảng một lần trong mười yêu cầu, nghĩa là các cuộc trò chuyện tiêu chuẩn chắc chắn bao gồm ít nhất một hoặc hai lần tạm dừng khó xử, ngay lập tức tiết lộ bản chất nhân tạo của tương tác. Đối với các doanh nghiệp đang cân nhắc các tổng đài viên AI, những sự chậm trễ này đã tạo ra một rào cản đáng kể đối với việc áp dụng.
Bodewes giải thích rằng “Độ trễ như thế này là không thể chấp nhận được đối với hỗ trợ qua điện thoại theo thời gian thực”. “Ngoài độ trễ, độ chính xác khi đàm thoại và phản hồi giống con người là điều mà các nhà cung cấp LLM truyền thống vẫn chưa thể giải quyết trong lĩnh vực giọng nói”.
Ba công ty khởi nghiệp đã giải quyết thách thức đàm thoại lớn nhất của AI như thế nào
Giải pháp này xuất phát từ sự phát triển của Groq về cái mà công ty gọi là ” hoán đổi nóng LoRA không độ trễ ” — khả năng chuyển đổi ngay lập tức giữa nhiều biến thể mô hình AI chuyên biệt mà không ảnh hưởng đến hiệu suất. LoRA, hay Low-Rank Adaptation, cho phép các nhà phát triển tạo ra các sửa đổi nhẹ, dành riêng cho tác vụ cho các mô hình hiện có thay vì đào tạo hoàn toàn các mô hình mới từ đầu.
“Sự kết hợp giữa kiến trúc điều khiển bằng phần mềm chi tiết, bộ nhớ trên chip tốc độ cao, kiến trúc phát trực tuyến và thực thi xác định của Groq có nghĩa là có thể truy cập nhiều LoRA hoán đổi nóng mà không bị phạt độ trễ”, Chelsey Kantor, giám đốc tiếp thị của Groq, giải thích trong một cuộc phỏng vấn với VentureBeat. “Các LoRA được lưu trữ và quản lý trong SRAM cùng với trọng số mô hình ban đầu”.
Sự tiến bộ về cơ sở hạ tầng này đã giúp Maitai tạo ra thứ mà nhà sáng lập Christian DalSanto mô tả là hệ thống “điều phối lớp proxy” liên tục tối ưu hóa hiệu suất mô hình. “Maitai hoạt động như một lớp proxy mỏng giữa khách hàng và nhà cung cấp mô hình của họ”, DalSanto cho biết. “Điều này cho phép chúng tôi lựa chọn và tối ưu hóa mô hình tốt nhất một cách năng động cho mọi yêu cầu, tự động áp dụng các chiến lược đánh giá, tối ưu hóa và phục hồi như các phương án dự phòng”.
Hệ thống hoạt động bằng cách thu thập dữ liệu hiệu suất từ mọi tương tác, xác định điểm yếu và cải thiện mô hình theo từng bước mà không cần sự can thiệp của khách hàng. “Vì Maitai nằm giữa luồng suy luận nên chúng tôi thu thập các tín hiệu mạnh để xác định nơi mô hình hoạt động kém hiệu quả”, DalSanto giải thích. “Những ‘điểm yếu’ này được nhóm lại, dán nhãn và tinh chỉnh từng bước để giải quyết các điểm yếu cụ thể mà không gây ra sự thoái lui”.
Từ độ chính xác 81% đến 99%: những con số đằng sau bước đột phá giống con người của AI
Kết quả cho thấy những cải thiện đáng kể trên nhiều khía cạnh hiệu suất. Thời gian đến mã thông báo đầu tiên — tốc độ AI bắt đầu phản hồi — giảm 73,4% từ 661 mili giây xuống 176 mili giây ở phần trăm thứ 90. Tổng thời gian hoàn thành giảm 74,6% từ 1.446 mili giây xuống 339 mili giây.
Có lẽ quan trọng hơn, sự cải thiện về độ chính xác đã theo một quỹ đạo tăng rõ ràng qua bốn lần lặp lại mô hình, bắt đầu từ 81,5% và đạt 99,2% — mức vượt quá hiệu suất của con người trong nhiều tình huống dịch vụ khách hàng.
Bodewes nói với VentureBeat rằng: “Chúng tôi đã thấy khoảng 70%+ số người gọi đến AI của chúng tôi không thể phân biệt được sự khác biệt giữa một người”. “Độ trễ là, hoặc đã từng là, dấu hiệu rõ ràng cho thấy đó là AI. Với một mô hình được tinh chỉnh tùy chỉnh có thể nói chuyện như một người và phần cứng có độ trễ cực thấp, không có nhiều điều ngăn cản chúng tôi vượt qua được thung lũng kỳ lạ của việc phát ra âm thanh hoàn toàn giống con người”.
Hiệu suất tăng lên chuyển trực tiếp thành kết quả kinh doanh. Bodewes lưu ý rằng “Một trong những khách hàng lớn nhất của chúng tôi đã chứng kiến mức tăng 32% về lượng khách hàng tiềm năng đủ điều kiện so với phiên bản trước sử dụng các mô hình tiên tiến trước đây”.
350 nhân viên được thay thế trong một tháng: các trung tâm cuộc gọi chuyển sang AI
Những cải tiến này xuất hiện khi các trung tâm cuộc gọi phải đối mặt với áp lực ngày càng tăng trong việc giảm chi phí trong khi vẫn duy trì chất lượng dịch vụ. Các tác nhân con người truyền thống cần được đào tạo, phối hợp lịch trình và chi phí chung đáng kể mà các tác nhân AI có thể loại bỏ.
“Các trung tâm cuộc gọi thực sự đang thấy được những lợi ích to lớn từ việc sử dụng Phonely để thay thế các nhân viên trực tổng đài,” Bodewes cho biết. “Một trong những trung tâm cuộc gọi mà chúng tôi làm việc cùng thực sự đang thay thế hoàn toàn 350 nhân viên trực tổng đài bằng Phonely chỉ trong tháng này. Theo quan điểm của một trung tâm cuộc gọi, đây là một bước ngoặt, vì họ không phải quản lý lịch trình của nhân viên hỗ trợ trực tổng đài, đào tạo nhân viên trực tổng đài và kết hợp cung cầu.”
Công nghệ này cho thấy sức mạnh đặc biệt trong các trường hợp sử dụng cụ thể. Bodewes giải thích rằng “Phonely thực sự vượt trội trong một số lĩnh vực, bao gồm hiệu suất hàng đầu trong ngành về lập lịch hẹn và đánh giá khách hàng tiềm năng, vượt xa khả năng của các nhà cung cấp dịch vụ truyền thống”. Công ty đã hợp tác với các công ty lớn xử lý các tương tác với khách hàng trong lĩnh vực bảo hiểm, pháp lý và ô tô.
Phần cứng vượt trội: tại sao chip Groq có thể tạo ra AI dưới một giây
Các chip suy luận AI chuyên dụng của Groq, được gọi là Đơn vị xử lý ngôn ngữ (LPU), cung cấp nền tảng phần cứng giúp phương pháp tiếp cận đa mô hình trở nên khả thi. Không giống như bộ xử lý đồ họa đa năng thường được sử dụng cho suy luận AI, LPU tối ưu hóa cụ thể cho bản chất tuần tự của xử lý ngôn ngữ.
Kantor cho biết: “Kiến trúc LPU được tối ưu hóa để kiểm soát chính xác việc di chuyển dữ liệu và tính toán ở cấp độ chi tiết với tốc độ cao và khả năng dự đoán, cho phép quản lý hiệu quả nhiều tập trọng số ‘delta’ nhỏ (LoRA) trên một mô hình cơ sở chung mà không có độ trễ bổ sung”.
Cơ sở hạ tầng dựa trên đám mây cũng giải quyết các mối quan ngại về khả năng mở rộng vốn trước đây đã hạn chế việc triển khai AI. Kantor giải thích: “Điểm tuyệt vời khi sử dụng giải pháp dựa trên đám mây như GroqCloud là Groq xử lý việc phối hợp và mở rộng động cho khách hàng của chúng tôi đối với bất kỳ mô hình AI nào chúng tôi cung cấp, bao gồm cả các mô hình LoRA được tinh chỉnh”.
Đối với các doanh nghiệp, lợi thế kinh tế có vẻ đáng kể. Kantor cho biết: “Sự đơn giản và hiệu quả của thiết kế hệ thống, mức tiêu thụ điện năng thấp và hiệu suất cao của phần cứng cho phép Groq cung cấp cho khách hàng chi phí thấp nhất cho mỗi mã thông báo mà không phải hy sinh hiệu suất khi họ mở rộng quy mô”.
Triển khai AI trong ngày: cách các doanh nghiệp bỏ qua nhiều tháng tích hợp
Một trong những khía cạnh hấp dẫn nhất của quan hệ đối tác là tốc độ triển khai. Không giống như các triển khai AI truyền thống có thể yêu cầu nhiều tháng tích hợp, cách tiếp cận của Maitai cho phép chuyển đổi trong ngày cho các công ty đã sử dụng các mô hình mục đích chung.
“Đối với các công ty đã sản xuất sử dụng các mô hình mục đích chung, chúng tôi thường chuyển chúng sang Maitai trong cùng ngày, không bị gián đoạn”, DalSanto cho biết. “Chúng tôi bắt đầu thu thập dữ liệu ngay lập tức và trong vòng vài ngày đến một tuần, chúng tôi có thể cung cấp một mô hình tinh chỉnh nhanh hơn và đáng tin cậy hơn so với thiết lập ban đầu của họ”.
Khả năng triển khai nhanh này giải quyết mối quan tâm chung của doanh nghiệp về các dự án AI: thời gian triển khai dài làm chậm lợi tức đầu tư. Phương pháp tiếp cận lớp proxy có nghĩa là các công ty có thể duy trì tích hợp API hiện có của họ trong khi vẫn có quyền truy cập vào hiệu suất liên tục được cải thiện.
Tương lai của AI doanh nghiệp: các mô hình chuyên biệt thay thế mô hình một kích cỡ phù hợp với tất cả
Sự hợp tác này báo hiệu một sự thay đổi lớn hơn trong kiến trúc AI của doanh nghiệp, chuyển từ các mô hình đơn khối, mục đích chung sang các hệ thống chuyên biệt, dành riêng cho nhiệm vụ. DalSanto cho biết: “Chúng tôi đang quan sát thấy nhu cầu ngày càng tăng từ các nhóm chia nhỏ ứng dụng của họ thành các khối lượng công việc nhỏ hơn, chuyên biệt cao, mỗi khối lượng công việc đều được hưởng lợi từ các bộ điều hợp riêng lẻ”.
Xu hướng này phản ánh sự hiểu biết ngày càng sâu sắc về những thách thức trong triển khai AI. Thay vì kỳ vọng các mô hình đơn lẻ có thể vượt trội trong mọi tác vụ, các doanh nghiệp ngày càng nhận ra giá trị của các giải pháp được xây dựng có mục đích có thể được tinh chỉnh liên tục dựa trên dữ liệu hiệu suất thực tế.
DalSanto giải thích: “Việc hoán đổi nhiều LoRA cho phép các công ty triển khai các mô hình nhanh hơn, chính xác hơn được tùy chỉnh chính xác cho các ứng dụng của họ, loại bỏ các rào cản về chi phí và độ phức tạp truyền thống”. “Điều này về cơ bản thay đổi cách AI doanh nghiệp được xây dựng và triển khai”.
Nền tảng kỹ thuật cũng cho phép các ứng dụng phức tạp hơn khi công nghệ phát triển. Cơ sở hạ tầng của Groq có thể hỗ trợ hàng chục mô hình chuyên biệt trên một phiên bản duy nhất, có khả năng cho phép các doanh nghiệp tạo ra trải nghiệm AI được tùy chỉnh cao trên các phân khúc khách hàng hoặc trường hợp sử dụng khác nhau.
DalSanto cho biết: “Việc hoán đổi nhiều LoRA cho phép suy luận độ trễ thấp, độ chính xác cao được điều chỉnh theo các tác vụ cụ thể”. “Lộ trình của chúng tôi ưu tiên đầu tư thêm vào cơ sở hạ tầng, công cụ và tối ưu hóa để thiết lập suy luận chi tiết, cụ thể cho ứng dụng làm tiêu chuẩn mới”.
Đối với thị trường AI đàm thoại rộng hơn, quan hệ đối tác chứng minh rằng những hạn chế về mặt kỹ thuật từng được coi là không thể vượt qua có thể được giải quyết thông qua cơ sở hạ tầng chuyên biệt và thiết kế hệ thống cẩn thận. Khi ngày càng nhiều doanh nghiệp triển khai các tác nhân điện thoại AI, những lợi thế cạnh tranh do Phonely chứng minh có thể thiết lập kỳ vọng cơ sở mới về hiệu suất và khả năng phản hồi trong các tương tác tự động với khách hàng.
Thành công này cũng xác nhận mô hình mới nổi của các công ty cơ sở hạ tầng AI hợp tác với nhau để giải quyết các thách thức triển khai phức tạp. Cách tiếp cận hợp tác này có thể thúc đẩy sự đổi mới trong toàn bộ lĩnh vực AI của doanh nghiệp khi các khả năng chuyên biệt kết hợp để cung cấp các giải pháp vượt xa những gì bất kỳ nhà cung cấp nào có thể đạt được một cách độc lập. Nếu quan hệ đối tác này là bất kỳ dấu hiệu nào, thì kỷ nguyên của các cuộc trò chuyện điện thoại rõ ràng là nhân tạo có thể sẽ kết thúc nhanh hơn bất kỳ ai mong đợi.
