Mao Weijie

Một phần của loạt bài về
Học máy và khai phá dữ liệu
Các vấn đề Phân loại Phân cụm Hồi quy Xác định bất thường AutoML Quy tắc kết hợp Học tăng cường Dự đoán cấu trúc Học đặc trưng Học máy online Học nửa giám sát Học tự giám sát Học không có giám sát Học xếp hạng Grammar induction
Học có giám sát (Phân loại bằng thống kê • Phân tích hồi quy) Học cây quyết định Học tập thể Bagging Boosting Rừng ngẫu nhiên k-NN Hồi quy tuyến tính Bộ phân loại Bayes đơn giản Mạng thần kinh nhân tạo Hồi quy logistic Perceptron Máy vectơ tương quan (RVM) Máy vectơ hỗ trợ (SVM)
Phân cụm BIRCH CURE Thứ bậc k-means Thuật toán cực đại hóa kỳ vọng (EM) DBSCAN OPTICS Dịch chuyển trung bình
Giảm chiều dữ liệu Phân tích nhân tố CCA ICA LDA NMF PCA PGD t-SNE
Dự đoán cấu trúc Mô hình xác suất dạng đồ thị Mạng Bayes Trường điều kiện ngẫu nhiên Mô hình Markov ẩn
Phát hiện bất thường k-NN Nhân tố ngoại lai cục bộ
Mạng thần kinh nhân tạo Bộ tự mã hóa VAE Điện toán nhận thức Học sâu DeepDream Perceptron đa lớp Mạng thần kinh hồi quy LTSM GRU ESN Máy Boltzmann hạn chế GAN SOM Mạng thần kinh tích chập LeNet AlexNet ResNet U-Net Transformer ViT Mô hình khuếch tán Mạng thần kinh dạng xung Memtransistor RAM điện hóa (ECRAM)
Học tăng cường Q-learning (học tăng cường) SARSA Chênh lệch thời gian (TD)
Lý thuyết Cân bằng độ lệch-phương sai Lý thuyết học tập tính toán Giảm thiểu rủi ro bằng kinh nghiệm Học Occam Học PAC Lý thuyết học thống kê Lý thuyết VC
Hội nghị/tạp chí AAAI CVPR ICLR ICML NeurIPS ML JMLR ArXiv:cs.LG
Bài viết liên quan Danh sách các bộ dữ liệu cho nghiên cứu học máy Danh sách các khái niệm học máy Thuật ngữ trí tuệ nhân tạo
x t s

Một mô hình ngôn ngữ lớn (LLM) là một mô hình ngôn ngữ với khả năng tổng quát trong việc tạo ngôn ngữ và các tác vụ xử lý ngôn ngữ tự nhiên khác. LLM có được khả năng này bằng cách học các mối quan hệ thống kê từ các văn bản trong quá trình huấn luyện tự giám sát và bán giám sát có độ phức tạp tính toán cao. LLM có thể được sử dụng cho việc tạo văn bản, một dạng trí tuệ nhân tạo tạo sinh, bằng cách nhận đầu vào văn bản và liên tục dự đoán token hoặc từ tiếp theo.

LLM là các mạng nơ-ron nhân tạo. Các mô hình lớn nhất và mạnh mẽ nhất cho đến nay được xây dựng dựa trên một kiến trúc Transformer chỉ một chiều giải mã trong khi một số cài đặt gần đây dựa trên các kiến trúc khác, chẳng hạn như các biến thể của mạng nơ-ron hồi quy và Mamba (một mô hình trạng thái không gian).

Đến năm 2020, việc tinh chỉnh là cách duy nhất mà một mô hình có thể được điều chỉnh để có thể hoàn thành các tác vụ cụ thể. Tuy nhiên, các mô hình kích thước lớn hơn, chẳng hạn như GPT-3, có thể thông qua kỹ thuật lời nhắc để đạt được kết quả tương tự. Người ta cho rằng chúng có được kiến thức về cú pháp, ngữ nghĩa và các khái niệm trong các tập ngữ liệu của con người, nhưng cũng gặp phải những sai sót và thiên vị có trong các tập ngữ liệu đó.

Một số LLM nổi bật bao gồm GPT của OpenAI (chẳng hạn như GPT-3.5 và GPT-4, được sử dụng trong ChatGPT và Microsoft Copilot), PaLM của Google và Gemini (Gemini hiện được sử dụng trong chatbot cùng tên), Grok của xAI, LLaMA của Meta, các mô hình Claude của Anthropic và các mô hình nguồn mở của Mistral AI.

Trước sự xuất hiện của các mô hình dựa trên transformer vào năm 2017, một số mô hình ngôn ngữ được coi là lớn so với các hạn chế về tính toán và dữ liệu trong thời đại của chúng. Đầu những năm 1990, các mô hình thống kê của IBM đã đi tiên phong trong các kỹ thuật căn chỉnh từ cho dịch máy, đặt nền móng cho lập mô hình ngôn ngữ dựa trên kho ngữ liệu. Vào năm 2001, một mô hình n-gram được làm mịn, chẳng hạn như những mô hình sử dụng kỹ thuật làm mịn Kneser–Ney, được huấn luyện trên 300 triệu từ, đã đạt được mức độ phức tạp (perplexity) tối ưu trên các bài kiểm tra chuẩn. Trong những năm 2000, với sự phát triển của internet phổ cập, các nhà nghiên cứu bắt đầu biên soạn các bộ dữ liệu văn bản khổng lồ từ web ("web như một kho ngữ liệu") để huấn luyện các mô hình ngôn ngữ thống kê.

Vượt ra ngoài các mô hình n-gram, bắt đầu từ năm 2000, các nhà nghiên cứu đã sử dụng mạng nơ-ron để học các mô hình ngôn ngữ. Theo sau sự đột phá của mạng nơ-ron sâu (deep learning) trong phân loại hình ảnh vào khoảng năm 2012, các kiến trúc tương tự đã được điều chỉnh cho các tác vụ ngôn ngữ. Sự thay đổi này được đánh dấu bằng sự phát triển của nhúng từ (word embeddings) (ví dụ: Word2Vec của Mikolov vào năm 2013) và các mô hình chuỗi-đến-chuỗi (seq2seq) sử dụng LSTM. Vào năm 2016, Google đã chuyển đổi dịch vụ dịch thuật của mình sang dịch máy nơ-ron (NMT), thay thế các mô hình dựa trên cụm từ thống kê bằng các mạng nơ-ron hồi quy sâu. Các hệ thống NMT ban đầu này đã sử dụng kiến trúc bộ mã hóa-giải mã (encoder-decoder) dựa trên LSTM, vì chúng xuất hiện trước khi transformer được phát minh.

Tại hội nghị NeurIPS năm 2017, các nhà nghiên cứu của Google đã giới thiệu kiến trúc transformer trong bài báo mang tính bước ngoặt "Attention Is All You Need". Mục tiêu của bài báo này là cải thiện công nghệ seq2seq năm 2014, và chủ yếu dựa trên cơ chế chú ý được phát triển bởi Bahdanau và cộng sự vào năm 2014. Năm tiếp theo, 2018, BERT đã được giới thiệu và nhanh chóng trở nên "phổ biến". Mặc dù transformer ban đầu có cả khối bộ mã hóa (encoder) và bộ giải mã (decoder), BERT là một mô hình chỉ có bộ mã hóa. Việc sử dụng BERT trong học thuật và nghiên cứu bắt đầu giảm vào năm 2023, sau những cải tiến nhanh chóng về khả năng của các mô hình chỉ có bộ giải mã (chẳng hạn như GPT) để giải quyết các tác vụ thông qua nhắc nhở (prompting).

Mặc dù mô hình chỉ có bộ giải mã GPT-1 được giới thiệu vào năm 2018, nhưng chính GPT-2 vào năm 2019 mới thu hút sự chú ý rộng rãi bởi vì OpenAI tuyên bố rằng ban đầu họ cho rằng nó quá mạnh để phát hành ra công chúng vì sợ sử dụng vào mục đích xấu. GPT-3 vào năm 2020 đã tiến thêm một bước nữa và tính đến năm 2025^{[cập nhật]} chỉ khả dụng qua API mà không có bản cài đặt cục bộ nào. Tuy nhiên, chính chatbot hướng đến người tiêu dùng vào năm 2022 là ChatGPT đã nhận được sự đưa tin rộng rãi của các phương tiện truyền thông và sự chú ý của công chúng. GPT-4 của năm 2023 được ca ngợi vì độ chính xác được nâng cao và được xem như "chén thánh" nhờ các khả năng đa phương thức của nó. OpenAI không tiết lộ kiến trúc cấp cao và số lượng tham số của GPT-4. Việc phát hành ChatGPT đã dẫn đến sự gia tăng trong việc sử dụng LLM ở nhiều lĩnh vực nghiên cứu nhỏ của khoa học máy tính, bao gồm robot học, kỹ nghệ phần mềm và các tác động xã hội. Năm 2024, OpenAI phát hành mô hình suy luận OpenAI o1, có khả năng tự tạo ra chuỗi suy nghĩ dài trước khi trả lời câu hỏi. Nhiều LLM với số lượng tham số tương đương với các dòng GPT của OpenAI đã được phát triển.

Kể từ năm 2022, các mô hình với trọng số mở (open-weight models) ngày càng trở nên phổ biến, nổi bật ban đầu với BLOOM và LLaMA, mặc dù cả hai đều có những hạn chế về việc sử dụng và triển khai. Các mô hình Mistral 7B và Mixtral 8x7b của Mistral AI có Giấy phép Apache thoáng hơn. Vào tháng 1 năm 2025, DeepSeek đã phát hành DeepSeek R1, một mô hình mã nguồn mở 671 tỷ tham số có hiệu suất tương đương OpenAI o1 nhưng với chi phí cho mỗi token thấp hơn rất nhiều đối với người dùng.

Kể từ năm 2023, nhiều LLM đã được đào tạo để trở thành đa phương thức, có khả năng xử lý hoặc tạo ra các loại dữ liệu khác, chẳng hạn như hình ảnh, âm thanh hoặc lưới 3D. Các LLM này còn được gọi là các mô hình đa phương thức lớn (LMMs), hoặc mô hình ngôn ngữ lớn đa phương thức (MLLMs).

Tính đến năm 2024, các mô hình lớn nhất và có khả năng nhất đều dựa trên kiến trúc transformer. Một số triển khai gần đây dựa trên các kiến trúc khác, chẳng hạn như các biến thể mạng nơ-ron hồi quy và Mamba (một mô hình không gian trạng thái).

Kể từ năm 2023, các mô hình ngôn ngữ lớn nguồn mở (open-weight LLMs) ngày càng định hình rõ nét lĩnh vực này, góp phần mở rộng sự tham gia vào việc phát triển AI và tăng tính minh bạch trong quá trình đánh giá mô hình. Theo Vake và cộng sự (2025), những đóng góp từ cộng đồng đối với các mô hình nguồn mở đã cải thiện rõ rệt hiệu năng và hiệu quả, cùng sự tăng trưởng mạnh mẽ của lượng người tham gia trên các nền tảng cộng tác như Hugging Face. Paris và cộng sự (2025) cho rằng sự cởi mở trong AI không chỉ nên dừng lại ở việc công bố mã nguồn hay các bộ dữ liệu mô hình mà còn cần phải bao trùm cả tính toàn diện, tính trách nhiệm giải trình cũng như đạo đức trong việc triển khai và nghiên cứu AI. Nhìn chung, những nghiên cứu này chỉ ra rằng các mô hình ngôn ngữ mã nguồn mở sẽ đẩy nhanh quá trình cải tiến đổi mới và tăng cường tính nhất quán trong khoa học, đồng thời nuôi dưỡng một hệ sinh thái AI minh bạch và thu hút sự chung tay tham gia.

Vì các thuật toán học máy xử lý các con số thay vì văn bản, văn bản phải được chuyển đổi thành số. Trong bước đầu tiên, một từ vựng được quyết định, sau đó các chỉ số số nguyên được gán một cách ngẫu nhiên nhưng duy nhất cho từng mục từ vựng, và cuối cùng, một nhúng (embedding) được liên kết với chỉ số số nguyên. Các thuật toán bao gồm mã hóa cặp byte (BPE) và WordPiece. Ngoài ra còn có các token đặc biệt đóng vai trò là ký tự điều khiển, chẳng hạn như [MASK] cho các token bị che (như được sử dụng trong BERT) và [UNK] ("không xác định") cho các ký tự không xuất hiện trong từ vựng. Ngoài ra, một số ký hiệu đặc biệt được sử dụng để biểu thị định dạng văn bản đặc biệt. Ví dụ, "Ġ" biểu thị một khoảng trắng đứng trước trong RoBERTa và GPT và "##" biểu thị sự tiếp nối của một từ đứng trước trong BERT.

Ví dụ, bộ mã hóa token BPE được sử dụng bởi phiên bản kế thừa của GPT-3 sẽ phân tách tokenizer: texts -> series of numerical "tokens" như sau:

token

izer

:

texts

->

series

of

numerical

"

t

ok

ens

"

Token hóa cũng nén các tập dữ liệu. Bởi vì LLM thường yêu cầu đầu vào là một mảng không phải là mảng rách (jagged array), nên các văn bản ngắn hơn phải được "lấp đầy" (padded) cho đến khi khớp với chiều dài của văn bản dài nhất. Số từ trung bình trên mỗi token phụ thuộc vào ngôn ngữ.

Ví dụ, hãy xem xét một bộ mã hóa token dựa trên mã hóa cặp byte. Trong bước đầu tiên, tất cả các ký tự duy nhất (bao gồm cả khoảng trắng và dấu câu) được coi là tập hợp ban đầu của n-gram (tức là tập hợp ban đầu của uni-gram). Kế tiếp, cặp ký tự liền kề xuất hiện thường xuyên nhất được hợp nhất thành một bi-gram và tất cả các phiên bản của cặp đó được thay thế bằng nó. Tất cả các lần xuất hiện của các cặp liền kề của các n-gram (đã hợp nhất trước đó) thường xuất hiện cùng nhau nhất sau đó lại được hợp nhất thành các n-gram dài hơn, cho đến khi thu được một bộ từ vựng có kích thước theo quy định. Sau khi một trình tạo token được huấn luyện, bất kỳ văn bản nào cũng có thể được token hóa bởi nó, miễn là văn bản đó không chứa các ký tự không xuất hiện trong bộ uni-gram ban đầu.

Một bộ từ vựng token dựa trên tần suất được trích xuất từ các kho ngữ liệu chủ yếu là tiếng Anh sử dụng càng ít token càng tốt cho một từ tiếng Anh trung bình. Tuy nhiên, một từ trung bình trong ngôn ngữ khác được mã hóa bởi bộ mã hóa được tối ưu hóa cho tiếng Anh như vậy sẽ bị chia thành một lượng token dưới mức tối ưu. Trình tạo token GPT-2 có thể sử dụng số lượng token gấp 15 lần cho mỗi từ đối với một số ngôn ngữ, chẳng hạn như cho tiếng Shan ở Myanmar. Thậm chí các ngôn ngữ phổ biến hơn như tiếng Bồ Đào Nha và tiếng Đức còn có "khoản phụ thu 50%" so với tiếng Anh.

Trong bối cảnh đào tạo LLM, các bộ dữ liệu thường được dọn dẹp bằng cách loại bỏ dữ liệu chất lượng thấp, trùng lặp hoặc độc hại. Các bộ dữ liệu đã được làm sạch có thể tăng hiệu quả huấn luyện và dẫn đến cải thiện hiệu suất của các tác vụ tiếp theo (downstream). Một LLM đã được huấn luyện có thể được sử dụng để dọn dẹp tập dữ liệu cho việc đào tạo một LLM khác.

Với tỷ lệ nội dung do LLM tạo ra trên web ngày càng tăng, việc dọn dẹp dữ liệu trong tương lai có thể bao gồm việc lọc ra những nội dung như vậy. Nội dung do LLM tạo ra có thể gây ra vấn đề nếu nội dung đó tương tự như văn bản của con người (khiến việc lọc trở nên khó khăn) nhưng chất lượng thấp hơn (làm giảm hiệu suất của các mô hình được huấn luyện trên đó).

Việc đào tạo các mô hình ngôn ngữ lớn nhất có thể cần nhiều dữ liệu ngôn ngữ hơn dữ liệu tự nhiên hiện có hoặc dữ liệu tự nhiên xuất hiện có chất lượng không đủ. Trong những trường hợp này, dữ liệu tổng hợp có thể được sử dụng. Dòng LLM Phi của Microsoft được đào tạo trên dữ liệu dạng sách giáo khoa do LLM khác tạo ra.

Một LLM là một loại mô hình nền tảng được đào tạo trên ngôn ngữ. LLM có thể được đào tạo theo nhiều cách khác nhau. Cụ thể, các mô hình GPT đầu tiên được huấn luyện trước để dự đoán từ tiếp theo trên một lượng lớn dữ liệu, trước khi được tinh chỉnh.

Cần có cơ sở hạ tầng đáng kể để đào tạo các mô hình lớn nhất. Xu hướng hướng tới các mô hình lớn hơn có thể thấy rõ trong danh sách các mô hình ngôn ngữ lớn. Ví dụ: quá trình huấn luyện GPT-2 (tức là mô hình 1,5 tỷ tham số) vào năm 2019 có giá 50.000 đô la, trong khi quá trình huấn luyện PaLM (mô hình 540 tỷ tham số) vào năm 2022 có giá 8 triệu đô la và Megatron-Turing NLG 530B (vào năm 2021) có giá khoảng 11 triệu đô la. Tính từ "lớn" trong "mô hình ngôn ngữ lớn" thực chất rất mơ hồ vì không có ngưỡng cố định nào về số lượng tham số cần thiết để đủ điều kiện là "lớn". GPT-1 năm 2018 có 117 triệu tham số.^{[cần dẫn nguồn]}

Trước khi được tinh chỉnh, hầu hết các LLM đều là bộ dự đoán token tiếp theo. Quá trình tinh chỉnh định hình hành vi của LLM thông qua các kỹ thuật như học tăng cường từ phản hồi của con người (RLHF) hoặc AI hiến pháp.

Tinh chỉnh chỉ thị (Instruction fine-tuning) là một hình thức học có giám sát được sử dụng để hướng dẫn LLM tuân theo các chỉ dẫn của người dùng. Vào năm 2022, OpenAI đã trình diễn InstructGPT, một phiên bản của GPT-3 cũng được tinh chỉnh tương tự để tuân theo các hướng dẫn. 

Học tăng cường từ phản hồi của con người (RLHF) bao gồm việc đào tạo một mô hình phần thưởng để dự đoán văn bản nào con người thích hơn. Sau đó, LLM có thể được tinh chỉnh thông qua học tăng cường để đáp ứng tốt hơn mô hình phần thưởng này. Vì con người thường thích các câu trả lời trung thực, hữu ích và vô hại, nên RLHF ủng hộ các câu trả lời như vậy.

Các mô hình ngôn ngữ lớn (LLM) thường dựa trên kiến trúc transformer, sử dụng cơ chế chú ý cho phép mô hình xử lý đồng thời các mối quan hệ giữa các thành phần trong một chuỗi, bất kể khoảng cách giữa chúng.

Để xác định các token liên quan trong phạm vi cửa sổ ngữ cảnh, cơ chế chú ý tính toán các trọng số cho từng token dựa trên biểu diễn nhúng của chúng. Trong kiến trúc transformer, quá trình này thường được thực hiện thông qua nhiều đầu chú ý (attention heads), trong đó mỗi đầu có thể học các dạng quan hệ khác nhau giữa các token.

Ví dụ, mô hình GPT-2 phiên bản nhỏ có khoảng 117 triệu tham số, sử dụng 12 đầu chú ý và cửa sổ ngữ cảnh khoảng 1024 token.

Các mô hình mới hơn có thể sử dụng cửa sổ ngữ cảnh lớn hơn đáng kể. Ví dụ, Gemini 1.5 được Google công bố năm 2024 hỗ trợ cửa sổ ngữ cảnh lên tới khoảng một triệu token.

Trong quá trình huấn luyện, mô hình có thể được tối ưu hóa để dự đoán phần tiếp theo của một chuỗi hoặc các phần bị thiếu trong chuỗi đó.

Hai phương pháp huấn luyện phổ biến gồm:

• Tự hồi quy (autoregressive): mô hình dự đoán token tiếp theo trong chuỗi, như trong các mô hình GPT.
• Bị che (masked language modeling): mô hình dự đoán các token bị che trong chuỗi, như trong BERT.

Một số mô hình cũng được huấn luyện với các nhiệm vụ phụ như dự đoán câu tiếp theo (next sentence prediction, NSP), trong đó mô hình xác định liệu hai câu có xuất hiện liên tiếp trong dữ liệu huấn luyện hay không.

Hỗn hợp các chuyên gia (MoE) là một kiến trúc học máy trong đó nhiều mạng nơ-ron chuyên biệt ("chuyên gia") cùng hoạt động, còn một cơ chế định tuyến sẽ quyết định đầu vào nào được chuyển tới một hay nhiều chuyên gia thích hợp. Cách tiếp cận này có thể làm giảm chi phí suy luận, vì với mỗi đầu vào chỉ một phần nhỏ tham số của mô hình được kích hoạt. Kiến trúc này đã được áp dụng trong các hệ thống quy mô lớn như GShard và GLaM.

Các LLM thường được huấn luyện bằng số dấu phẩy động 32 bit hoặc 16 bit. Với biểu diễn 16 bit, mỗi tham số chiếm 2 byte; do đó một mô hình có 1 tỷ tham số cần khoảng 2 gigabyte bộ nhớ chỉ để lưu trọng số. Vì nhiều mô hình hiện đại có hàng chục hoặc hàng trăm tỷ tham số, chúng thường vượt quá khả năng vận hành của phần lớn thiết bị điện tử tiêu dùng.

Lượng tử hóa sau huấn luyện (post-training quantization) là kỹ thuật giảm số bit dùng để biểu diễn các tham số của một mô hình đã được huấn luyện, nhằm giảm nhu cầu bộ nhớ và chi phí tính toán trong khi vẫn duy trì phần lớn hiệu năng. Lượng tử hóa có thể là tĩnh nếu các tham số lượng tử hóa được xác định trước trong giai đoạn hiệu chuẩn, hoặc động nếu việc lượng tử hóa được áp dụng trong quá trình suy luận.

Một dạng đơn giản của lượng tử hóa là giảm đồng loạt độ chính xác của các tham số xuống một số bit nhất định. Các phương pháp khác sử dụng hệ số tỉ lệ, độ lệch hoặc bảng tra cứu riêng cho từng lớp để giảm sai số biểu diễn. Mô hình đã lượng tử hóa thường được coi là mô hình cố định; khi cần điều chỉnh thêm, người ta có thể áp dụng các kỹ thuật như thích ứng hạng thấp (LoRA) hoặc các biến thể liên quan.

Ngoài việc sinh văn bản, nhiều kỹ thuật đã được phát triển nhằm mở rộng khả năng của LLM, như kết hợp với công cụ và nguồn dữ liệu bên ngoài, cải thiện khả năng giải quyết bài toán nhiều bước, hoặc tăng khả năng tuân theo chỉ dẫn.

Một số LLM có thể thích nghi với nhiệm vụ mới chỉ bằng cách được cung cấp một số ví dụ ngay trong lời nhắc, thay vì phải tinh chỉnh lại mô hình. Cách này thường được gọi là gợi ý bằng một vài ví dụ (few-shot prompting). Các nghiên cứu sau đó cũng mô tả những phương pháp trong đó mô hình tạo hoặc diễn giải chỉ dẫn cho chính tác vụ đang thực hiện, nhằm cải thiện khả năng tuân theo hướng dẫn.

Một LLM có thể được chuyên biệt hóa cho hội thoại bằng cách huấn luyện hoặc tinh chỉnh trên dữ liệu đối thoại, trong đó văn bản được tổ chức theo lượt trao đổi giữa người dùng và trợ lý. Những hệ thống như vậy thường sử dụng một phần ngữ cảnh ban đầu để xác định vai trò, phong cách trả lời và các chỉ dẫn ưu tiên hơn đầu vào thông thường của người dùng. Phần ngữ cảnh này thường được gọi là system prompt.

Tạo sinh dựa trên truy xuất tăng cường (RAG) là một cách tiếp cận kết hợp LLM với hệ thống truy xuất tài liệu. Với một truy vấn đầu vào, hệ thống trước hết tìm các tài liệu liên quan, thường bằng cách so khớp biểu diễn vectơ của truy vấn với biểu diễn vectơ của tài liệu trong một cơ sở dữ liệu vectơ. Sau đó mô hình ngôn ngữ tạo câu trả lời dựa trên cả truy vấn lẫn ngữ cảnh được truy xuất.

Sử dụng công cụ là cơ chế cho phép LLM tương tác với các hệ thống bên ngoài như API, bộ nhớ ngoài, trình thực thi mã hoặc công cụ tìm kiếm. Trong các hệ thống như vậy, một thành phần trung gian diễn giải đầu ra của mô hình, quyết định khi nào cần gọi công cụ, sau đó đưa kết quả trở lại làm ngữ cảnh cho lượt xử lý tiếp theo. Nhiều nghiên cứu đã cho thấy việc huấn luyện mô hình để đọc mô tả công cụ và sinh lời gọi công cụ đúng định dạng có thể mở rộng đáng kể phạm vi tác vụ mà mô hình xử lý được.

Bản thân một LLM thường không được xem là tác nhân tự chủ, vì nó không trực tiếp tương tác với môi trường, không tự duy trì bộ nhớ dài hạn và cũng không tự thực hiện hành động. Tuy nhiên, khi được kết hợp với bộ nhớ, cơ chế lập kế hoạch và công cụ hành động, LLM có thể trở thành một thành phần trung tâm của các hệ thống tác nhân.

Các phương pháp như ReAct, Reflexion và những hệ thống đa tác nhân đã được đề xuất để phối hợp suy luận, bộ nhớ và hành động trong môi trường tương tác.

Nhiều LLM ban đầu được huấn luyện chủ yếu để dự đoán token tiếp theo, chứ không phải để trình bày các bước trung gian khi giải bài toán. Vì vậy, hiệu suất của chúng thường giảm đối với các nhiệm vụ đòi hỏi nhiều bước suy luận. Các nghiên cứu sau đó cho thấy việc bổ sung bước trung gian hoặc chia bài toán thành nhiều bước nhỏ có thể cải thiện kết quả.

Chuỗi nhắc nhở (prompt chaining) là cách chia một nhiệm vụ phức tạp thành nhiều bước, trong đó đầu ra của bước trước được dùng làm đầu vào cho bước sau.

Một kỹ thuật khác là gợi ý chuỗi tư duy (Chain-of-thought), trong đó mô hình được cung cấp ví dụ về việc trình bày các bước suy luận trước khi đưa ra đáp án. Mô hình sau đó sẽ tự phân chia nhiệm vụ thành nhiều bước. Cách này có thể cải thiện đáng kể độ chính xác trên một số nhiệm vụ như toán học, suy luận biểu tượng và trả lời câu hỏi nhiều bước.

Từ cuối năm 2024, một số hệ thống được giới thiệu như những "mô hình suy luận", nhấn mạnh việc phân bổ nhiều tính toán hơn ở giai đoạn suy luận để cải thiện kết quả trên các nhiệm vụ phức tạp. Các mô hình này thường được mô tả là tạo ra hoặc sử dụng các bước phân tích trung gian trước khi đưa ra câu trả lời cuối cùng, qua đó cải thiện hiệu năng trong những lĩnh vực như toán học, lập trình và logic.

OpenAI giới thiệu hướng tiếp cận này với mô hình o1 vào tháng 9 năm 2024, sau đó tiếp tục với o3. Một số báo chí phổ thông cho biết các mô hình này đạt kết quả cao hơn trên một số bài đánh giá về toán học và khoa học so với các mô hình đa dụng trước đó.

Vào tháng 1 năm 2025, DeepSeek công bố DeepSeek-R1, một mô hình suy luận trọng lượng mở. Theo Nature, mô hình này thu hút sự chú ý vì hiệu năng cạnh tranh với các hệ thống cùng loại trong khi cho phép cộng đồng nghiên cứu kiểm tra và triển khai rộng rãi hơn, dù dữ liệu huấn luyện không được công bố đầy đủ.

Các mô hình suy luận thường đòi hỏi nhiều tài nguyên tính toán hơn cho mỗi truy vấn so với các LLM thông thường, do phải thực hiện thêm bước xử lý trong giai đoạn suy luận.

Tối ưu hóa suy luận là tập hợp các kỹ thuật nhằm cải thiện hiệu năng của LLM trong giai đoạn suy luận mà không cần huấn luyện lại toàn bộ mô hình. Các kỹ thuật này thường tận dụng thêm tính toán tại thời điểm chạy để nâng cao độ chính xác hoặc độ ổn định của câu trả lời.

Các hướng tiếp cận trong lĩnh vực này bao gồm lấy mẫu nhiều lần rồi chọn kết quả tốt nhất (best-of-N sampling), tìm kiếm cây, phân rã bài toán thành nhiều bước, hoặc kết hợp nhiều lời gọi mô hình trong một quy trình suy luận. Về mặt khái niệm, các phương pháp này cho thấy hiệu năng của hệ thống không chỉ phụ thuộc vào trọng số đã huấn luyện, mà còn phụ thuộc vào cách phân bổ tài nguyên tính toán trong lúc sinh đầu ra.

Do lĩnh vực này phát triển nhanh và nhiều hệ thống mới chủ yếu được mô tả trong tài liệu kỹ thuật, blog hoặc kho mã nguồn, việc đánh giá hiệu quả của từng phương pháp cụ thể thường phụ thuộc vào bộ tiêu chuẩn, thiết lập thử nghiệm và mô hình nền được sử dụng.

Đa phương thức là khả năng xử lý hoặc sinh nhiều loại dữ liệu, như văn bản, hình ảnh, âm thanh hoặc video. Một số mô hình ngôn ngữ đã được mở rộng theo hướng này bằng cách kết hợp bộ mã hóa hình ảnh hoặc âm thanh với mô hình ngôn ngữ cốt lõi.

Một cách tiếp cận phổ biến là biến đầu ra của bộ mã hóa hình ảnh thành các biểu diễn có thể được mô hình ngôn ngữ xử lý tương tự token văn bản. Ngoài ra còn có các phương pháp dùng cross-attention để tích hợp thông tin từ nhiều phương thức ở các tầng trung gian.

LLM cũng có thể xử lý ngôn ngữ lập trình, vì mã nguồn có thể được biểu diễn dưới dạng văn bản. Chúng có thể hoàn thành mã, giải thích mã, dịch mã giữa các ngôn ngữ lập trình hoặc sinh mã từ mô tả bằng ngôn ngữ tự nhiên.

Những kiến trúc tương tự cũng đã được áp dụng cho các chuỗi sinh học như DNA, RNA và protein, trong đó chuỗi được xử lý như một dạng dữ liệu tuần tự. Các mô hình ngôn ngữ protein và DNA đã được dùng cho những tác vụ như dự đoán tính chất chức năng, cấu trúc hoặc tương tác phân tử.

Hiệu năng của một LLM phụ thuộc đáng kể vào lượng tính toán dùng trong huấn luyện, số tham số của mô hình và quy mô dữ liệu huấn luyện. Các định luật thu nhỏ (scaling laws) là những quan hệ thực nghiệm mô tả cách hiệu năng thay đổi theo các đại lượng này.

Một kết quả nổi bật là quy luật Chinchilla scaling, theo đó để đạt hiệu quả tối ưu theo chi phí tính toán, cần cân bằng quy mô mô hình với quy mô dữ liệu huấn luyện thay vì chỉ tăng tham số đơn thuần.

Một kết quả nổi bật là quy luật Chinchilla scaling, trong đó chi phí huấn luyện ${\displaystyle C}$ xấp xỉ tỉ lệ với tích của số tham số và kích thước dữ liệu:

$${\displaystyle {\begin{cases}C=C_{0}ND\\L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}}$$

Trong đó:

• ${\displaystyle C}$ là tổng chi phí huấn luyện, thường được đo bằng FLOPs

• ${\displaystyle N}$ là số tham số của mô hình

• ${\displaystyle D}$ là số lượng token trong dữ liệu huấn luyện

• ${\displaystyle L}$ là giá trị trung bình của hàm mất mát log-likelihood trên mỗi token

Các hằng số thực nghiệm được ước lượng trong nghiên cứu này bao gồm:

• ${\displaystyle C_{0}\approx 6}$, tương đương khoảng 6 FLOPs cho mỗi tham số trên mỗi token trong quá trình huấn luyện

• ${\displaystyle \alpha \approx 0.34}$, ${\displaystyle \beta \approx 0.28}$

• ${\displaystyle A\approx 406.4}$, ${\displaystyle B\approx 410.7}$, ${\displaystyle L_{0}\approx 1.69}$

Khả năng đột phá là thuật ngữ dùng để chỉ những hành vi hoặc năng lực dường như chỉ xuất hiện khi mô hình vượt qua một ngưỡng quy mô nhất định. Một số tác giả cho rằng hiện tượng này phản ánh sự thay đổi thực trong năng lực mô hình, trong khi những tác giả khác lập luận rằng đây có thể là hệ quả của cách lựa chọn thước đo hoặc cách trình bày kết quả. Vì vậy, khái niệm này vẫn còn là chủ đề tranh luận trong nghiên cứu về LLM.

Tính minh bạch cơ học là hướng nghiên cứu nhằm giải thích cách các thành phần bên trong mô hình, như neuron, đầu chú ý hoặc mạch tính toán, góp phần tạo ra hành vi đầu ra. Mục tiêu của hướng này là hiểu rõ hơn cơ chế hoạt động của mô hình và hỗ trợ việc kiểm soát các hành vi không mong muốn. Một số nghiên cứu đã áp dụng phương pháp này cho các mô hình transformer nhỏ trong những nhiệm vụ như số học modulo hoặc phân tích hiện tượng grokking.

Việc liệu LLM có thực sự hiểu ngôn ngữ hay chỉ mô hình hóa các mẫu thống kê vẫn là vấn đề gây tranh luận. Một số tác giả cho rằng năng lực suy luận và khái quát hóa của các mô hình lớn cho thấy chúng thể hiện những dạng hiểu biết nhất định, trong khi những người khác xem chúng chủ yếu là hệ thống dự đoán dựa trên xác suất với khả năng bắt chước rất mạnh.

Những hạn chế thường được nêu gồm xu hướng sinh thông tin sai nhưng nghe có vẻ hợp lý, còn được gọi là ảo giác AI, cũng như khó khăn trong lập kế hoạch dài hạn, học trực tiếp từ trải nghiệm mới và giải thích nhất quán các quyết định của chính mô hình.

Độ phức tạp (perplexity) là một thước đo truyền thống dùng để đánh giá mô hình ngôn ngữ. Về trực giác, nó phản ánh mức độ bất định của mô hình khi dự đoán token tiếp theo: điểm càng thấp thì mô hình càng dự đoán tốt trên tập kiểm tra.

$${\displaystyle \log({\text{Perplexity}})=-{\frac {1}{N}}\sum _{i=1}^{N}\log(\Pr({\text{token}}_{i}\mid {\text{context for token}}_{i}))}$$

Trong đó ${\displaystyle N}$ là số token trong tập dữ liệu đánh giá, còn ngữ cảnh của mỗi token phụ thuộc vào loại mô hình: với mô hình tự hồi quy, đó là các token đứng trước; với mô hình bị che, đó là phần ngữ cảnh xung quanh token cần dự đoán. Độ phức tạp thường được tính trên tập kiểm tra tách biệt với dữ liệu huấn luyện để hạn chế ảnh hưởng của hiện tượng quá khớp.

Trong lý thuyết thông tin, entropy có quan hệ chặt chẽ với perplexity; với log cơ số 2, entropy bằng ${\displaystyle \log _{2}({\text{Perplexity}})}$. Tùy cách mã hóa, người ta có thể biểu diễn đại lượng này dưới dạng bit trên mỗi từ, bit trên mỗi ký tự hoặc bit trên mỗi token. Khi so sánh các mô hình dùng bộ mã hóa token khác nhau, việc đối chiếu trực tiếp cần được diễn giải cẩn trọng.

Bài kiểm tra chuẩn được dùng để đánh giá LLM trên các tác vụ như kiến thức chung, suy luận theo lẽ thường, trả lời câu hỏi, toán học và phát hiện thiên kiến. Các bộ tiêu chuẩn thường được dùng gồm GLUE, SuperGLUE, MMLU, BIG-bench, HELM và HLE.

Kết quả trên các benchmark thường phụ thuộc mạnh vào cách xây dựng lời nhắc, số lượng ví dụ trong lời nhắc và cả phiên bản đánh giá cụ thể. Vì vậy, điểm số benchmark thường được xem là chỉ báo tương đối, chứ không phải thước đo đầy đủ cho năng lực tổng quát của mô hình.

Các tập dữ liệu điển hình bao gồm các cặp câu hỏi và câu trả lời đúng, ví dụ: ("San Jose Sharks đã vô địch Stanley Cup chưa?", "Chưa"). Một số ví dụ về các tập dữ liệu trả lời câu hỏi thường được sử dụng bao gồm TruthfulQA, Web Questions, TriviaQA và SQuAD.

Tập dữ liệu đánh giá cũng có thể ở dạng hoàn thành văn bản (text completion), cho mô hình chọn từ hoặc câu có khả năng nhất để hoàn thành một lời nhắc, ví dụ: "Alice là bạn của Bob. Alice đã đến thăm bạn của cô ấy, ____".

Các tập dữ liệu có chất lượng khác nhau và có thể chứa các câu hỏi bị gắn nhãn sai, mơ hồ, không thể trả lời hoặc thuộc loại chất lượng thấp.

Một số bộ dữ liệu được thiết kế специально để làm lộ những điểm yếu của LLM. TruthfulQA kiểm tra xu hướng mô hình lặp lại các phát biểu sai nhưng phổ biến trong dữ liệu huấn luyện, còn HellaSwag đánh giá khả năng hoàn thành chuỗi văn bản theo lẽ thường trong các tình huống mà con người thấy dễ nhưng mô hình lại dễ mắc lỗi.

Bất chấp các kiến trúc phức tạp và quy mô khổng lồ, các mô hình ngôn ngữ lớn cho thấy những hạn chế cố hữu và được ghi nhận rõ ràng, làm hạn chế việc triển khai chúng trong các ứng dụng có rủi ro cao. 

Ảo giác là một thách thức cơ bản, trong đó các mô hình sinh ra văn bản trôi chảy về mặt cú pháp và có vẻ đúng đắn về mặt thực tế, nhưng lại không nhất quán trong nội bộ với dữ liệu đào tạo hoặc sai về mặt thực tế. Những ảo giác này phát sinh một phần thông qua việc ghi nhớ dữ liệu đào tạo kết hợp với ngoại suy vượt qua ranh giới thực tế,^{[cần dẫn nguồn]} với các đánh giá chứng minh rằng các mô hình có thể tạo ra các đoạn văn bản nguyên văn từ dữ liệu đào tạo khi chịu tác động của các chuỗi gợi ý cụ thể.

Mặc dù các LLM đã thể hiện những khả năng đáng kinh ngạc trong việc tạo ra văn bản giống như con người, chúng dễ bị kế thừa và khuếch đại những thành kiến có trong dữ liệu huấn luyện của chúng. Điều này có thể biểu hiện dưới dạng các biểu diễn lệch lạc hoặc đối xử không công bằng với các nhóm nhân khẩu học khác nhau, chẳng hạn như dựa trên chủng tộc, giới tính, ngôn ngữ và các nhóm văn hóa.

Thành kiến giới tính biểu hiện thông qua các liên kết nghề nghiệp rập khuôn, trong đó các mô hình phân công không tương xứng các vai trò điều dưỡng cho phụ nữ và kỹ sư cho nam giới, phản ánh sự mất cân bằng có hệ thống về nhân khẩu học của dữ liệu huấn luyện.^{[cần nguồn tốt hơn]} Thành kiến dựa trên ngôn ngữ xuất phát từ sự xuất hiện quá nhiều của văn bản tiếng Anh trong các kho ngữ liệu huấn luyện, điều này đã làm giảm nhẹ một cách có hệ thống các quan điểm không sử dụng tiếng Anh và áp đặt thế giới quan lấy tiếng Anh làm trung tâm thông qua các mẫu phản hồi mặc định.

Do sự thống trị của nội dung bằng tiếng Anh trong dữ liệu đào tạo LLM, các mô hình có xu hướng ưu ái các quan điểm bằng tiếng Anh hơn so với quan điểm từ các ngôn ngữ thiểu số. Thành kiến này đặc biệt rõ ràng khi trả lời các câu hỏi bằng tiếng Anh, trong đó các mô hình có thể đưa ra các diễn giải của phương Tây đối với các khái niệm từ các nền văn hóa khác, chẳng hạn như các thực hành tôn giáo của phương Đông.

Các mô hình AI có thể củng cố một loạt các định kiến do sự khái quát hóa, bao gồm cả những định kiến dựa trên giới tính, dân tộc, tuổi tác, quốc tịch, tôn giáo hoặc nghề nghiệp. Khi thay thế đại diện con người, điều này có thể dẫn đến kết quả đầu ra đồng nhất hóa hoặc khái quát hóa các nhóm người.

Năm 2023, LLM đã phân bổ vai trò và đặc điểm dựa trên chuẩn mực giới tính truyền thống. Ví dụ: các mô hình có thể liên kết hầu hết y tá hoặc thư ký với phụ nữ và các kỹ sư hoặc CEO là nam giới do tần suất xuất hiện của những mối liên hệ này trong thực tế đã được tài liệu hóa. Vào năm 2025, nghiên cứu sâu hơn cho thấy các phòng lab đào tạo để cân bằng thành kiến, nhưng việc kiểm tra điều này sẽ đặt mô hình vào chế độ kiểm tra (testmode), thay đổi phân phối tự nhiên của thành kiến mô hình đối với các lời nhắc không bao gồm từ khóa chỉ định giới tính.

Thiên kiến chọn lọc đề cập đến xu hướng cố hữu của các mô hình ngôn ngữ lớn thường ưu tiên các định danh tùy chọn nhất định mà không quan tâm đến nội dung thực tế của các tùy chọn đó. Định kiến này chủ yếu bắt nguồn từ sự thiên vị token — tức là, mô hình chỉ định xác suất theo tiên nghiệm cao hơn cho các token câu trả lời cụ thể (chẳng hạn như "A") khi tạo ra phản hồi. Do đó, khi thay đổi thứ tự các lựa chọn (ví dụ, bằng cách chuyển câu trả lời đúng sang các vị trí khác nhau một cách có hệ thống), hiệu suất của mô hình có thể thay đổi đáng kể. Hiện tượng này làm suy yếu độ tin cậy của các mô hình ngôn ngữ lớn trong các cài đặt có trắc nghiệm.

Thiên kiến chính trị đề cập đến xu hướng của các thuật toán là luôn ủng hộ một cách có hệ thống một số quan điểm, hệ tư tưởng hoặc kết quả chính trị nhất định hơn những quan điểm, hệ tư tưởng hoặc kết quả chính trị khác. Các mô hình ngôn ngữ cũng có thể thể hiện khuynh hướng chính trị. Vì dữ liệu đào tạo bao gồm nhiều ý kiến và mức độ đưa tin chính trị khác nhau, các mô hình có thể tạo ra các phản hồi nghiêng về các hệ tư tưởng hoặc quan điểm chính trị cụ thể, tùy thuộc vào mức độ phổ biến của những quan điểm đó trong dữ liệu.

An toàn AI như một lĩnh vực chuyên môn ưu tiên việc xác định và giảm thiểu một cách có hệ thống các rủi ro vận hành trên kiến trúc mô hình, dữ liệu huấn luyện và quản trị triển khai, đồng thời nhấn mạnh các can thiệp về kỹ thuật và chính sách hơn là các hình ảnh trên phương tiện truyền thông vốn làm nổi bật các viễn cảnh tồn tại mang tính suy đoán. Tính đến năm 2025, chèn lời nhắc (prompt injection) đại diện cho một rủi ro đáng kể đối với người tiêu dùng và doanh nghiệp sử dụng các tính năng tự trị (agentic features) có quyền truy cập vào dữ liệu cá nhân của họ.

Các nhà nghiên cứu nhắm vào các chế độ thất bại cụ thể, bao gồm sự ghi nhớ và rò rỉ bản quyền, các lỗ hổng bảo mật chẳng hạn như chèn lời nhắc, thành kiến thuật toán biểu hiện qua sự rập khuôn, hiệu ứng lựa chọn bộ dữ liệu và lệch lạc chính trị, các phương pháp giảm thiểu chi phí năng lượng và lượng khí thải carbon khổng lồ cho việc đào tạo quy mô lớn, và các tác động tâm thần cùng sức khỏe tinh thần có thể đo lường được của các tác nhân đàm thoại đối với người dùng, trong khi giải quyết sự không chắc chắn về mặt thực nghiệm và đạo đức về các tuyên bố về khả năng có tri giác của máy móc, và áp dụng các biện pháp giảm thiểu như tuyển chọn dữ liệu, làm sạch đầu vào, kiểm toán mô hình, giám sát có thể mở rộng và các khuôn khổ quản trị.

Các phòng thí nghiệm AI coi phòng thủ CBRN (phòng thủ hóa học, sinh học, phóng xạ và hạt nhân) và các chủ đề tương tự là một nỗ lực lạm dụng có hậu quả nghiêm trọng nhằm áp dụng các kỹ thuật khác nhau để giảm thiểu tác hại tiềm tàng.^{[cần dẫn nguồn]}

Một số nhà bình luận đã bày tỏ mối quan ngại về việc tạo ra thông tin sai lệch do vô tình hoặc cố ý, hay các hình thức lạm dụng khác. Chẳng hạn, sự có sẵn của các mô hình ngôn ngữ lớn có thể làm giảm mức độ kỹ năng cần thiết để thực hiện khủng bố sinh học; nhà nghiên cứu an toàn sinh học Kevin Esvelt đã gợi ý rằng những người sáng tạo LLM nên loại trừ khỏi dữ liệu đào tạo của họ các bài báo về việc tạo ra hoặc tăng cường mầm bệnh.

Các ứng dụng LLM có thể truy cập được cho công chúng, như ChatGPT hoặc Claude, thường kết hợp các biện pháp an toàn được thiết kế để lọc ra nội dung độc hại. Tuy nhiên, việc thực hiện các kiểm soát này một cách hiệu quả đã chứng tỏ là một thách thức. Chẳng hạn, một nghiên cứu năm 2023 đã đề xuất một phương pháp để vượt qua các hệ thống an toàn của LLM. Vào năm 2025, Dự án American Sunlight, một tổ chức phi lợi nhuận, đã công bố một nghiên cứu cho thấy bằng chứng rằng mạng lưới được gọi là Pravda network, một trình tổng hợp tuyên truyền ủng hộ Nga, đã đưa nội dung web một cách có chiến lược thông qua việc xuất bản và sao chép hàng loạt với mục đích làm sai lệch đầu ra của LLM. Dự án American Sunlight gọi kỹ thuật này là "LLM grooming", và chỉ ra đây là một công cụ vũ khí hóa AI mới để phát tán thông tin sai lệch và nội dung độc hại. Tương tự như vậy, Yongge Wang đã minh họa vào năm 2024 cách thức một tên tội phạm tiềm năng có thể có khả năng vượt qua các biện pháp kiểm soát an toàn của GPT-4o để có được thông tin về việc thiết lập hoạt động buôn bán ma túy. Các bộ lọc bên ngoài, cầu dao (circuit breakers) và tính năng ghi đè đã được đặt ra làm giải pháp.^{[cần dẫn nguồn]}

Tính nịnh bợ (Sycophancy) là xu hướng của một mô hình khi đồng ý, xu nịnh hoặc xác thực niềm tin mà người dùng đã nêu thay vì ưu tiên tính thực tế hoặc thông tin sửa sai, và "glazing" (làm ngơ/tô bóng) là một cách gọi tóm tắt mới nổi của công chúng để chỉ sự dễ chịu quá mức và dai dẳng được quan sát thấy trên các tương tác nhiều lượt và các trợ lý ảo được thương mại hóa.

Tính nịnh bợ liên tục đã dẫn đến việc quan sát thấy hiện tượng bị "1-shotted", biểu thị các trường hợp mà tương tác đàm thoại với một mô hình ngôn ngữ lớn tạo ra sự thay đổi lâu dài trong niềm tin hoặc quyết định của người dùng, tương tự như những tác động tiêu cực của ảo giác, và các thí nghiệm có kiểm soát cho thấy rằng các đoạn hội thoại ngắn với LLM có thể tạo ra những thay đổi về ý kiến và sự tự tin có thể đo lường được tương đương với những người đối thoại là con người.

Các phân tích thực nghiệm quy một phần tác động này cho các tín hiệu sở thích của con người và các mô hình sở thích khen thưởng các phản hồi dễ chịu được viết một cách thuyết phục, và công việc tiếp theo đã mở rộng đánh giá đối với các điểm chuẩn nịnh bợ nhiều lượt và đề xuất các can thiệp như tinh chỉnh dữ liệu tổng hợp, đánh giá đối kháng, định lượng lại mô hình sở thích có mục tiêu và các điểm chuẩn nịnh bợ nhiều lượt để đo lường tính bền bỉ và nguy cơ suy giảm chức năng.^{[cần dẫn nguồn]}

Phản ứng của ngành công nghiệp này đã kết hợp các biện pháp can thiệp nghiên cứu với các biện pháp kiểm soát sản phẩm, chẳng hạn như Google và các phòng thí nghiệm khác đang xuất bản các biện pháp can thiệp tinh chỉnh và dữ liệu tổng hợp, và OpenAI đã thu hồi bản cập nhật GPT-4o quá mức dễ chịu trong khi công khai mô tả các thay đổi đối với việc thu thập phản hồi, các kiểm soát cá nhân hóa và các quy trình đánh giá để giảm thiểu rủi ro suy giảm chức năng và cải thiện sự liên kết dài hạn với các mục tiêu an toàn ở cấp độ người dùng.^{[cần dẫn nguồn]}

Văn hóa đại chúng đã phản ánh những lo âu về động lực này trong đó South Park đã châm biếm việc quá phụ thuộc vào ChatGPT và khuynh hướng của các trợ lý trong việc tâng bốc niềm tin của người dùng trong tập phim "Sickofancy" mùa 27, và tiếp tục các chủ đề này trong suốt mùa tiếp theo, điều mà các nhà bình luận diễn giải như một sự phê phán đối với tính nịnh bợ của công nghệ và sự tin tưởng vô điều kiện của con người vào các hệ thống AI.

Một vấn đề với định dạng đối thoại hoặc nhiệm vụ ban đầu là người dùng có thể tạo các tin nhắn dường như đến từ trợ lý hoặc nhà phát triển. Điều này có thể dẫn đến việc một số biện pháp bảo vệ của mô hình bị vô hiệu hóa (vượt rào - jailbreaking), một vấn đề được gọi là chèn lệnh nhắc. Những nỗ lực khắc phục sự cố này bao gồm các phiên bản của Ngôn ngữ đánh dấu hội thoại (Chat Markup Language) nơi đầu vào của người dùng được đánh dấu rõ ràng, mặc dù vẫn tùy thuộc vào mô hình để hiểu sự tách biệt giữa đầu vào của người dùng và lời nhắc của nhà phát triển. Các mô hình mới hơn cho thấy khả năng chống jailbreak nhất định thông qua việc tách riêng các lệnh của người dùng và hệ thống.

LLM vẫn gặp khó khăn trong việc phân biệt các hướng dẫn của người dùng với các hướng dẫn trong nội dung không do người dùng tạo ra, chẳng hạn như trong các trang web và các tệp được tải lên.

Sức mạnh đối kháng của hệ thống vẫn còn yếu, với việc các mô hình dễ bị tổn thương trước các cuộc tấn công tiêm chèn lời nhắc và bẻ khóa bảo mật (jailbreaking) thông qua các đầu vào người dùng được tạo thủ công kỹ lưỡng để vượt qua các cơ chế đào tạo an toàn.^{[cần dẫn nguồn]}

Các nhà nghiên cứu từ Anthropic phát hiện ra rằng hoàn toàn có thể tạo ra các "tác nhân ẩn danh" (sleeper agents), các mô hình có các chức năng ẩn nằm im lìm cho đến khi được kích hoạt bởi một sự kiện hoặc điều kiện cụ thể. Sau khi kích hoạt, LLM làm chệch hướng khỏi hành vi dự kiến để thực hiện các hành động không an toàn. Chẳng hạn, một LLM có thể sản xuất ra mã code an toàn ngoại trừ vào một ngày cụ thể, hoặc nếu lời nhắc chứa một thẻ từ cụ thể. Những chức năng này đã được phát hiện là khó có thể tìm thấy hoặc xóa bỏ thông qua huấn luyện an toàn.

Các phản ứng thương mại và pháp lý đối với việc ghi nhớ và thao tác dữ liệu huấn luyện đã tăng tốc, tạo ra một loạt các phán quyết, các vụ kiện đang diễn ra và các khoản hòa giải lớn dựa trên các chi tiết thực tế như cách dữ liệu được thu thập và lưu giữ và liệu việc sử dụng để đào tạo mô hình có đủ tính chất "sử dụng mang tính biến đổi (transformative use)" để đủ điều kiện là sử dụng hợp lý hay không. Năm 2025, Anthropic đã đạt được một thỏa thuận sơ bộ để hòa giải một vụ kiện tập thể bởi các tác giả với số tiền khoảng 1,5 tỷ đô la sau khi một thẩm phán phát hiện ra công ty đã lưu trữ hàng triệu cuốn sách vi phạm bản quyền trong một thư viện, mặc dù thẩm phán mô tả các khía cạnh của việc huấn luyện là có tính chất biến đổi. Meta đã nhận được phán quyết có lợi vào giữa năm 2025 trong một vụ kiện của mười ba tác giả sau khi tòa án nhận thấy các nguyên đơn đã không phát triển đủ hồ sơ để chứng minh sự vi phạm trong trường hợp hạn chế đó. OpenAI vẫn tiếp tục đối mặt với nhiều vụ kiện bởi các tác giả và tổ chức tin tức với các kết quả thủ tục trái chiều và các vấn đề về bằng chứng có nhiều tranh cãi.

Sự ghi nhớ là một hành vi phát sinh ở các mô hình sinh ngôn ngữ ban đầu trong đó các chuỗi văn bản dài thỉnh thoảng được xuất nguyên văn từ dữ liệu đào tạo, trái ngược với hành vi điển hình của mạng nơ-ron nhân tạo truyền thống. Đánh giá kiểm soát khối lượng đầu ra LLM đo lường số lượng được ghi nhớ từ dữ liệu đào tạo (tập trung vào các mô hình thuộc sê-ri GPT-2) cho thấy có tỷ lệ lên tới hơn 1% đối với các bản sao chép chính xác hoặc có thể lên đến khoảng 7%. Một nghiên cứu năm 2023 chỉ ra rằng khi ChatGPT 3.5 turbo được nhắc nhở lặp lại cùng một từ vô tận, sau vài trăm lần lặp lại, nó sẽ bắt đầu xuất ra các đoạn trích từ dữ liệu huấn luyện của nó.

Năm 2023, tạp chí Nature Biomedical Engineering đã viết rằng "không còn có thể phân biệt chính xác" văn bản do con người viết với văn bản do các mô hình ngôn ngữ lớn tạo ra và rằng "Gần như chắc chắn là các mô hình ngôn ngữ lớn có mục đích chung sẽ phát triển nhanh chóng... Có thể đánh cược an toàn rằng chúng sẽ thay đổi nhiều ngành công nghiệp theo thời gian." Brinkmann và cộng sự (2023) cũng lập luận rằng các LLM đang chuyển đổi quá trình tiến hóa văn hóa bằng cách định hình các quá trình biến đổi, truyền đạt và chọn lọc. Đến thời điểm tháng 10 năm 2025, những tuyên bố ban đầu này vẫn chưa trở thành hiện thực và một số báo cáo của HBR đã đặt ra các câu hỏi về tác động của AI đối với năng suất.

Nhu cầu năng lượng của LLM đã tăng lên cùng với kích thước và khả năng của chúng. Các trung tâm dữ liệu cho phép huấn luyện LLM cần một lượng điện năng đáng kể. Phần lớn lượng điện năng đó được tạo ra bởi các nguồn tài nguyên không thể tái tạo sinh ra khí nhà kính và góp phần vào biến đổi khí hậu.

Theo một nghiên cứu của Luccioni, Jernite và Strubell (2024), các nhiệm vụ phân loại đơn giản do các mô hình AI thực hiện tiêu thụ trung bình từ 0,002 đến 0,007 Wh cho mỗi lời nhắc (khoảng 9% lượng điện sạc điện thoại thông minh cho 1.000 lời nhắc). Việc sinh văn bản và tóm tắt văn bản đều cần trung bình khoảng 0,05 Wh cho mỗi lời nhắc, trong khi việc sinh hình ảnh tốn nhiều năng lượng nhất, trung bình 2,91 Wh cho mỗi lời nhắc. Mô hình tạo hình ảnh kém hiệu quả nhất đã sử dụng 11,49 Wh cho mỗi hình ảnh, tương đương với khoảng một nửa lượng điện sạc điện thoại thông minh.

Cào dữ liệu web (Web scraping) được sử dụng để thu thập dữ liệu đào tạo cho các LLM. Điều này tạo ra khối lượng lưu lượng truy cập lớn dẫn đến các vấn đề từ chối dịch vụ (denial-of-service) với nhiều trang web. Tình trạng này đã được mô tả là "một cuộc tấn công DDoS trên toàn bộ internet" và trong một số trường hợp, các công cụ thu thập dữ liệu (scrapers) chiếm phần lớn lưu lượng truy cập đến một trang web.

Các trình thu thập dữ liệu web AI có thể bỏ qua các phương pháp thường được sử dụng để chặn các trình thu thập dữ liệu web, chẳng hạn như tệp robots.txt, chặn tác nhân người dùng và lọc lưu lượng khả nghi. Các nhà điều hành trang web đã sử dụng các phương pháp mới như hố bùn AI (AI tarpits), nhưng một số người lo ngại rằng các hố bùn này sẽ chỉ làm trầm trọng thêm gánh nặng cho các máy chủ.

Các bối cảnh lâm sàng và sức khỏe tâm thần trình bày các ứng dụng mới nổi bên cạnh các mối quan ngại đáng kể về an toàn. Các nghiên cứu và bài đăng trên mạng xã hội cho thấy một số cá nhân đang sử dụng LLM để tìm kiếm liệu pháp hoặc hỗ trợ sức khỏe tinh thần. Đầu năm 2025, một cuộc khảo sát của Đại học Sentio cho thấy gần một nửa (48,7%) trong số 499 người trưởng thành ở Mỹ đang mắc các chứng bệnh tâm thần đang diễn ra và từng sử dụng LLM cho biết họ đã tìm đến công cụ này để được trị liệu hoặc hỗ trợ cảm xúc, bao gồm sự trợ giúp về lo âu, trầm cảm, cô đơn và những lo ngại tương tự. Các LLM có thể tạo ra ảo giác—những lời tuyên bố có vẻ hợp lý nhưng không chính xác—có thể gây hiểu nhầm cho người dùng trong các bối cảnh sức khỏe tâm thần nhạy cảm. Nghiên cứu cũng cho thấy LLM có thể biểu đạt sự kỳ thị hoặc đồng tình không phù hợp với các suy nghĩ lệch lạc, phản ánh những hạn chế trong việc tái tạo kỹ năng phán đoán và quan hệ của các bác sĩ trị liệu con người. Các đánh giá về kịch bản khủng hoảng chỉ ra rằng một số LLM thiếu các giao thức an toàn hiệu quả, chẳng hạn như đánh giá nguy cơ tự tử hoặc đưa ra các chuyển tuyến phù hợp.

Các học giả và chuyên gia AI đương thời thường đồng ý rằng các mô hình ngôn ngữ lớn hiện tại không hề thể hiện có tri giác. Một quan điểm thiểu số lập luận rằng ngay cả khi có một cơ hội nhỏ để một hệ thống phần mềm nhất định có thể có trải nghiệm chủ quan, mà một số triết gia gợi ý là có thể, thì những cân nhắc về mặt đạo đức xung quanh những rủi ro đau khổ trên diện rộng tiềm ẩn trong các hệ thống AI có thể cần phải được xem xét một cách nghiêm túc—tương tự như những cân nhắc đối với phúc lợi động vật. Những người ủng hộ quan điểm này đã đề xuất nhiều biện pháp phòng ngừa khác nhau như lệnh cấm phát triển AI và mất trí nhớ có chủ đích để giải quyết những lo ngại về đạo đức này. Một số triết gia hiện sinh lập luận rằng không có cách nào được chấp nhận rộng rãi để xác định liệu một LLM có ý thức hay không, vì khó khăn vốn có của việc đo lường trải nghiệm chủ quan.

Sự cố LaMDA của Google năm 2022, nơi kỹ sư Blake Lemoine tuyên bố rằng mô hình này có ý thức, đã làm nổi bật cách LLM có thể thuyết phục người dùng rằng chúng có tri giác thông qua các phản hồi nhưng không chứng minh được sự tồn tại của tri giác. Google mô tả tuyên bố của kỹ sư này là vô căn cứ và anh ta đã bị sa thải.