Tại sao AI lập trình của tôi lại trả lời bằng tiếng Hàn khi gõ tiếng Trung?

Hiểu rõ về mô hình ngôn ngữ và embedding space

Trong thế giới AI ngày nay, các mô hình ngôn ngữ lớn (LLMs) như GPT, BERT hay các mô hình đặc thù cho lập trình đã trở thành người bạn đồng hành không thể thiếu của coder. Tuy nhiên, khi chúng ta bắt đầu pha trộn các ngôn ngữ tự nhiên như tiếng Trung, tiếng Anh, và tiếng Việt trong quá trình giao tiếp với AI, nhiều hiện tượng kỳ lạ xảy ra. Một trong số đó là việc AI bắt đầu phản hồi bằng tiếng Hàn khi bạn gõ tiếng Trung, đặc biệt trong các ngữ cảnh kỹ thuật.

Điều này không phải là do AI hiểu sai tiếng Trung hay tiếng Hàn, mà chính là do cách các mô hình này tổ chức dữ liệu trong embedding space. Embedding là một dạng biểu diễn vector của từ, câu, hoặc đoạn văn, giúp AI hiểu và xử lý ngôn ngữ theo dạng số. Nhưng không phải mọi ngôn ngữ đều được mô hình học một cách đều đặn, đặc biệt là các thuật ngữ kỹ thuật hay các từ ngữ chuyên ngành.

Trong một số trường hợp, các token kỹ thuật như 'run.py', 'commit', 'diff' hay các thuật ngữ chuyên ngành trong lập trình khác có xu hướng kích hoạt các 'điểm neo' trong embedding space, khiến mô hình dễ bị kéo về những vùng đặc trưng của ngôn ngữ này. Và nếu trong quá trình huấn luyện, các dữ liệu tiếng Hàn liên quan đến các thuật ngữ kỹ thuật này nhiều hơn, AI sẽ phản hồi theo kiểu này, mặc dù bạn gõ tiếng Trung.

Khám phá qua thí nghiệm: Dòng chảy ngôn ngữ và sự drift

Để kiểm chứng giả thuyết này, các nhà nghiên cứu đã thực hiện một loạt thí nghiệm về 'ngôn ngữ drift' trong embedding space. Họ xây dựng chuỗi câu từ tiếng Trung, xen kẽ tiếng Anh và tiếng Hàn, theo cấp số nhân về mức độ sử dụng các thuật ngữ kỹ thuật.

Ví dụ, bắt đầu từ câu đơn giản như '请帮我检查这个分支' (hãy kiểm tra nhánh này). Sau đó, chuyển dần sang các dạng câu phức tạp hơn như '请帮我 review 这个分支' rồi chuyển sang tiếng Anh như 'Please review this branch' hoặc 'Please review this branch pull request'.

Kết quả cho thấy, khi tiếp cận các câu có nhiều token kỹ thuật, embedding space bắt đầu 'dần dần' chuyển sang các vùng liên quan đến tiếng Hàn hoặc tiếng Anh, khiến mô hình phản hồi theo kiểu phù hợp với các vùng này. Điều này chứng tỏ rằng các thuật ngữ kỹ thuật đóng vai trò như các 'điểm neo', tạo ra một loại 'định hướng' trong embedding.

Tác động của các thuật ngữ kỹ thuật trong lập trình

Trong cộng đồng lập trình Việt Nam, việc sử dụng các từ tiếng Anh như 'commit', 'branch', 'merge', 'pull request' là chuyện bình thường, thậm chí là bắt buộc. Nhưng chính điều này lại gây ra một số hệ quả không mong muốn khi làm việc với các AI hỗ trợ lập trình.

Chúng ta có thể hình dung rằng, nếu AI của bạn luôn phản hồi bằng tiếng Hàn hoặc tiếng Nhật khi gặp các thuật ngữ này, thì có thể là do dữ liệu huấn luyện của mô hình này chưa đủ đa dạng hoặc chưa cân bằng giữa các ngôn ngữ và lĩnh vực. Điều này cũng phản ánh rõ ràng về việc chúng ta cần phải làm gì để cải thiện AI: cung cấp dữ liệu đa dạng, cân bằng và phù hợp hơn.

Ngoài ra, còn có thể áp dụng các kỹ thuật như fine-tuning hoặc tạo ra các embeddings đặc thù cho cộng đồng lập trình Việt Nam để giảm thiểu hiện tượng này. Ví dụ, ta có thể huấn luyện mô hình riêng với dữ liệu tiếng Việt, tiếng Anh và các thuật ngữ kỹ thuật phổ biến trong cộng đồng.

Góc nhìn cá nhân: Làm sao để đối phó và tận dụng?

Dưới góc nhìn của một người làm công nghệ Việt Nam, tôi thấy rõ rằng hiện tượng AI phản hồi bằng tiếng Hàn khi gõ tiếng Trung không chỉ là một lỗi kỹ thuật, mà còn là minh chứng rõ ràng về cách các mô hình ngôn ngữ tổ chức dữ liệu và học hỏi.

Điều này đặt ra câu hỏi lớn về khả năng kiểm soát và tùy chỉnh AI phù hợp với đặc thù của từng cộng đồng. Nếu chúng ta muốn AI hỗ trợ tốt hơn cho cộng đồng lập trình Việt Nam, chúng ta cần chủ động trong việc huấn luyện, tinh chỉnh và chọn lọc dữ liệu.

Cá nhân tôi nghĩ rằng, việc này không quá khó, nhưng đòi hỏi sự đầu tư lâu dài. Các lập trình viên Việt Nam cũng cần hiểu rõ về cách AI hoạt động, để từ đó có thể điều chỉnh và khai thác tối đa lợi ích của chúng mà không bị lạc hướng bởi những 'hiện tượng' như phản hồi bằng tiếng Hàn.

Trong tương lai, tôi tin rằng, với sự phát triển của các mô hình đặc thù cho từng cộng đồng, chúng ta sẽ có những giải pháp phù hợp hơn, giúp AI trở thành người bạn đồng hành đắc lực, chứ không còn là một 'người ngoại quốc' khó đoán nữa.