Huang Jiahui

Một phần của loạt bài về
Học máy và khai phá dữ liệu
Các vấn đề Phân loại Phân cụm Hồi quy Xác định bất thường AutoML Quy tắc kết hợp Học tăng cường Dự đoán cấu trúc Học đặc trưng Học máy online Học nửa giám sát Học tự giám sát Học không có giám sát Học xếp hạng Grammar induction
Học có giám sát (Phân loại bằng thống kê • Phân tích hồi quy) Học cây quyết định Học tập thể Bagging Boosting Rừng ngẫu nhiên k-NN Hồi quy tuyến tính Bộ phân loại Bayes đơn giản Mạng thần kinh nhân tạo Hồi quy logistic Perceptron Máy vectơ tương quan (RVM) Máy vectơ hỗ trợ (SVM)
Phân cụm BIRCH CURE Thứ bậc k-means Thuật toán cực đại hóa kỳ vọng (EM) DBSCAN OPTICS Dịch chuyển trung bình
Giảm chiều dữ liệu Phân tích nhân tố CCA ICA LDA NMF PCA PGD t-SNE
Dự đoán cấu trúc Mô hình xác suất dạng đồ thị Mạng Bayes Trường điều kiện ngẫu nhiên Mô hình Markov ẩn
Phát hiện bất thường k-NN Nhân tố ngoại lai cục bộ
Mạng thần kinh nhân tạo Bộ tự mã hóa VAE Điện toán nhận thức Học sâu DeepDream Perceptron đa lớp Mạng thần kinh hồi quy LTSM GRU ESN Máy Boltzmann hạn chế GAN SOM Mạng thần kinh tích chập LeNet AlexNet ResNet U-Net Transformer ViT Mô hình khuếch tán Mạng thần kinh dạng xung Memtransistor RAM điện hóa (ECRAM)
Học tăng cường Q-learning (học tăng cường) SARSA Chênh lệch thời gian (TD)
Lý thuyết Cân bằng độ lệch-phương sai Lý thuyết học tập tính toán Giảm thiểu rủi ro bằng kinh nghiệm Học Occam Học PAC Lý thuyết học thống kê Lý thuyết VC
Hội nghị/tạp chí AAAI CVPR ICLR ICML NeurIPS ML JMLR ArXiv:cs.LG
Bài viết liên quan Danh sách các bộ dữ liệu cho nghiên cứu học máy Danh sách các khái niệm học máy Thuật ngữ trí tuệ nhân tạo
x t s

Trong học máy, mô hình khuếch tán (tiếng Anh: diffusion model), còn được gọi là mô hình tạo sinh dựa trên khuếch tán (diffusion-based generative model) hay mô hình sinh dựa trên điểm đánh giá (score-based generative model), là một kỹ thuật cho mô hình tạo sinh (generative model) với khả năng tạo ra dữ liệu từ "hư vô" sau quá trình huấn luyện. Mô hình khuếch tán bao gồm hai thành phần chính: quá trình khuếch tán thuận và quá trình lấy mẫu ngược. Mục tiêu của mô hình là học một quá trình khuếch tán trên tập dữ liệu cho trước, sao cho quá trình đó có thể sinh ra các phần tử mới có phân phối tương tự tập dữ liệu gốc từ nhiễu thuần túy.

Ý tưởng cốt lõi của mô hình khuếch tán là mô phỏng quá trình thêm nhiễu dần dần vào dữ liệu cho đến khi dữ liệu trở thành nhiễu Gaussian thuần túy, sau đó huấn luyện một mạng neuron để đảo ngược quá trình đó. Ví dụ, với bài toán sinh ảnh, mô hình học cách khử nhiễu từng bước từ một ảnh nhiễu ngẫu nhiên để dần dần tái tạo ra một ảnh thực tế. Sau khi huấn luyện, mô hình có thể sinh ảnh mới bằng cách bắt đầu từ nhiễu Gaussian và lặp lại quá trình khử nhiễu.

Có nhiều cách hình thức hóa cho mô hình khuếch tán, bao gồm chuỗi Markov, mô hình xác suất khuếch tán khử nhiễu (denoising diffusion probabilistic model, DDPM), mạng điểm đánh giá có điều kiện nhiễu (noise conditional score network, NCSN), và phương trình vi phân ngẫu nhiên (stochastic differential equation, SDE). Mô hình thường được huấn luyện bằng suy luận biến phân (variational inference)—một phương pháp xấp xỉ phân phối xác suất phức tạp bằng cách tối ưu hóa một phân phối đơn giản hơn. Mạng neuron chịu trách nhiệm khử nhiễu được gọi là mạng xương sống (backbone); mạng này thường có kiến trúc U-Net hoặc Transformer.

Kể từ năm 2020, mô hình khuếch tán đã trở thành phương pháp sinh dữ liệu chiếm ưu thế trong nhiều lĩnh vực, thay thế các phương pháp trước đó như mạng đối nghịch tạo sinh (GAN) và bộ mã hóa tự động biến phân (VAE) trong các bài toán sinh ảnh chất lượng cao. Ứng dụng của mô hình khuếch tán bao gồm sinh ảnh, sinh video, mô hình mô phỏng thế giới vật lý (world model), và điều khiển robot.

Mô hình khuếch tán khử nhiễu được đề xuất lần đầu năm 2015 dựa trên kỹ thuật từ nhiệt động lực học phi cân bằng (non-equilibrium thermodynamics). Phiên bản hiện đại—mô hình xác suất khuếch tán khử nhiễu (DDPM)—được đề xuất năm 2020.

Xét bài toán sinh ảnh làm ví dụ. Mỗi ảnh là một điểm trong không gian tất cả các ảnh có thể có; phân phối của các ảnh tự nhiên là một "đám mây" dày đặc trong không gian đó. Ý tưởng của quá trình khuếch tán thuận là liên tục thêm một lượng nhỏ nhiễu từ phần phối Gaussian vào ảnh qua ${\displaystyle T}$ bước, cho đến khi ảnh trở thành nhiễu thuần túy không còn thông tin gì về ảnh gốc. Nếu ${\displaystyle T}$ đủ lớn, phân phối của ảnh sau bước cuối xấp xỉ phân phối chuẩn ${\displaystyle {\mathcal {N}}(0,I)}$ bất kể ảnh gốc là gì.

Cụ thể, quá trình này được định nghĩa bằng công thức truy hồi:$${\displaystyle x_{t}={\sqrt {1-\beta _{t}}}\,x_{t-1}+{\sqrt {\beta _{t}}}\,z_{t},\quad z_{t}\sim {\mathcal {N}}(0,I)}$$Trong đó ${\displaystyle x_{0}}$ là ảnh gốc, ${\displaystyle x_{t}}$ là ảnh tại bước ${\displaystyle t}$ sau ${\displaystyle t}$ lần thêm nhiễu, và ${\displaystyle \beta _{t}\in (0,1)}$ là các hằng số được chọn trước kiểm soát lượng nhiễu thêm vào ở mỗi bước. Các hệ số ${\displaystyle {\sqrt {1-\beta _{t}}}}$ và ${\displaystyle {\sqrt {\beta _{t}}}}$ được chọn sao cho phương sai của ${\displaystyle x_{t}}$ xấp xỉ bằng ${\displaystyle I}$ ở mọi bước, giúp quá trình huấn luyện ổn định.

Một tính chất quan trọng của quá trình này là có thể lấy mẫu ${\displaystyle x_{t}}$ trực tiếp từ ${\displaystyle x_{0}}$ mà không cần đi qua từng bước trung gian. Đặt ${\displaystyle {\bar {\alpha }}_{t}=\prod _{s=1}^{t}(1-\beta _{s})}$, ta có:$${\displaystyle x_{t}\mid x_{0}\sim {\mathcal {N}}\!\left({\sqrt {{\bar {\alpha }}_{t}}}\,x_{0},\;(1-{\bar {\alpha }}_{t})I\right)}$$Nói cách khác, ${\displaystyle x_{t}}$ là tổ hợp tuyến tính của ảnh gốc ${\displaystyle x_{0}}$ và nhiễu ngẫu nhiên ${\displaystyle z\sim {\mathcal {N}}(0,I)}$:$${\displaystyle x_{t}={\sqrt {{\bar {\alpha }}_{t}}}\,x_{0}+{\sqrt {1-{\bar {\alpha }}_{t}}}\,z}$$Khi ${\displaystyle t}$ tăng, hệ số ${\displaystyle {\sqrt {{\bar {\alpha }}_{t}}}}$ giảm dần về 0, nghĩa là thông tin về ${\displaystyle x_{0}}$ mờ dần và ${\displaystyle x_{t}}$ tiến gần đến nhiễu thuần túy ${\displaystyle {\mathcal {N}}(0,I)}$. Công thức rút gọn này rất quan trọng vì cho phép huấn luyện mô hình hiệu quả: thay vì phải chạy toàn bộ ${\displaystyle T}$ bước để lấy mẫu huấn luyện, ta có thể lấy mẫu ${\displaystyle x_{t}}$ tại bất kỳ bước nào trong một phép tính duy nhất.

Mục tiêu của quá trình khuếch tán ngược là đảo ngược quá trình thuận: bắt đầu từ nhiễu thuần túy ${\displaystyle x_{T}\sim {\mathcal {N}}(0,I)}$ và khử nhiễu dần dần qua ${\displaystyle T}$ bước để thu được một mẫu ${\displaystyle x_{0}}$ từ phân phối dữ liệu gốc. Nếu mỗi bước thuận thêm một lượng nhiễu nhỏ, thì mỗi bước ngược cũng chỉ cần khử một lượng nhiễu nhỏ; và có thể chứng minh rằng mỗi bước ngược cũng xấp xỉ có dạng Gaussian.

Để thực hiện quá trình ngược, ta dùng một mạng neuron với tham số ${\displaystyle \theta }$, nhận đầu vào là ảnh nhiễu ${\displaystyle x_{t}}$ và bước thời gian ${\displaystyle t}$, rồi dự đoán phân phối của ${\displaystyle x_{t-1}}$:$${\displaystyle p_{\theta }(x_{t-1}\mid x_{t})={\mathcal {N}}\!\left(x_{t-1};\;\mu _{\theta }(x_{t},t),\;\Sigma _{\theta }(x_{t},t)\right)}$$

Thay vì để mạng trực tiếp dự đoán ${\displaystyle x_{0}}$ hay trung bình ${\displaystyle \mu _{\theta }}$, DDPM đề xuất huấn luyện mạng dự đoán thành phần nhiễu ${\displaystyle z}$ đã được thêm vào ảnh gốc. Điều này xuất phát từ công thức rút gọn ở phần trên: vì ${\displaystyle x_{t}={\sqrt {{\bar {\alpha }}_{t}}}\,x_{0}+{\sqrt {1-{\bar {\alpha }}_{t}}}\,z}$, biết ${\displaystyle x_{t}}$ và ước lượng được ${\displaystyle z}$ thì ta suy ra được ${\displaystyle x_{0}}$, và từ đó tính được ${\displaystyle \mu _{\theta }}$.

Gọi ${\displaystyle \epsilon _{\theta }(x_{t},t)}$ là đầu ra của mạng, tức vector dự đoán thành phần nhiễu. Hàm mất mát huấn luyện được đơn giản hóa thành:$${\displaystyle L(\theta )=E_{x_{0}\sim q,\;z\sim {\mathcal {N}}(0,I)}\left[\left\|\epsilon _{\theta }(x_{t},t)-z\right\|^{2}\right]}$$Trong đó ${\displaystyle x_{t}={\sqrt {{\bar {\alpha }}_{t}}}\,x_{0}+{\sqrt {1-{\bar {\alpha }}_{t}}}\,z}$ được tính từ ${\displaystyle x_{0}}$ và nhiễu ngẫu nhiên ${\displaystyle z}$. Nói cách khác, tại mỗi bước huấn luyện: lấy một ảnh thật ${\displaystyle x_{0}}$, thêm nhiễu ngẫu nhiên ${\displaystyle z}$ để tạo ${\displaystyle x_{t}}$, rồi yêu cầu mạng đoán lại chính xác ${\displaystyle z}$ đó. Đây là một bài toán hồi quy đơn giản có thể huấn luyện bằng thuật toán suy giảm độ dốc.

Phần phương sai ${\displaystyle \Sigma _{\theta }(x_{t},t)}$ trong bài gốc được cố định thay vì học, vì hai lựa chọn cố định ${\displaystyle \beta _{t}}$ và ${\displaystyle {\tilde {\sigma }}_{t}^{2}}$ cho chất lượng mẫu tương đương nhau.

Sau khi huấn luyện, mô hình sinh dữ liệu mới bằng vòng lặp sau, bắt đầu từ ${\displaystyle x_{T}\sim {\mathcal {N}}(0,I)}$ và lặp lại với ${\displaystyle t=T,T-1,\ldots ,1}$:

1. Dự đoán nhiễu: ${\displaystyle \epsilon \leftarrow \epsilon _{\theta }(x_{t},t)}$
2. Ước lượng ảnh gốc: ${\displaystyle {\tilde {x}}_{0}\leftarrow {\dfrac {x_{t}-{\sqrt {1-{\bar {\alpha }}_{t}}}\,\epsilon }{\sqrt {{\bar {\alpha }}_{t}}}}}$
3. Lấy mẫu bước trước: ${\displaystyle x_{t-1}\sim {\mathcal {N}}\!\left({\tilde {\mu }}_{t}(x_{t},{\tilde {x}}_{0}),\;{\tilde {\sigma }}_{t}^{2}I\right)}$
4. Giảm bước thời gian: ${\displaystyle t\leftarrow t-1}$

trong đó ${\displaystyle {\tilde {\mu }}_{t}}$ và ${\displaystyle {\tilde {\sigma }}_{t}}$ là trung bình và độ lệch chuẩn của phân phối hậu nghiệm ${\displaystyle q(x_{t-1}\mid x_{t},x_{0})}$, tính được từ các hằng số ${\displaystyle {\bar {\alpha }}_{t}}$. Vòng lặp này thường cần ${\displaystyle T\approx 1000}$ bước, khiến quá trình sinh ảnh tương đối chậm: đây là động lực chính cho các biến thể nhanh hơn như DDIM ở phần sau.

Mô hình điểm đánh giá (score-based generative model), còn gọi là mạng điểm đánh giá có điều kiện nhiễu (noise conditional score network, NCSN) hay khớp điểm đánh giá với động lực học Langevin (score matching with Langevin dynamics, SMLD), là một cách hình thức hóa khác của mô hình khuếch tán. Mặc dù vậy, hai cách tiếp cận này được chứng minh là tương đương nhau về mặt toán học.

Xét bài toán sinh ảnh với phân phối dữ liệu ${\displaystyle q(x)}$. Thay vì học trực tiếp ${\displaystyle q(x)}$ vốn đòi hỏi chuẩn hóa (normalization) rất tốn kém, mô hình điểm đánh giá chọn học hàm đánh giá (score function):$${\displaystyle s(x):=\nabla _{x}\ln q(x)}$$Hàm này cho biết hướng trong không gian ảnh mà tại đó xác suất tăng nhanh nhất, tức là hướng đi từ một ảnh kém thực tế hơn sang ảnh thực tế hơn. Ưu điểm quan trọng là hàm đánh giá không đòi hỏi tính hằng số chuẩn hóa của ${\displaystyle q(x)}$, vì ${\displaystyle \nabla _{x}\ln(Cq(x))=\nabla _{x}\ln q(x)}$ với mọi hằng số ${\displaystyle C>0}$.

Khi đã có hàm đánh giá, ta có thể lấy mẫu từ ${\displaystyle q(x)}$ bằng phương trình Langevin (Langevin equation)—một phương trình mô tả chuyển động ngẫu nhiên của hạt trong trường thế năng:$${\displaystyle dx_{t}=\nabla _{x_{t}}\ln q(x_{t})\,dt+dW_{t}}$$trong đó ${\displaystyle W_{t}}$ là chuyển động Brown (Brownian motion). Xuất phát từ bất kỳ phân phối ban đầu nào, nghiệm của phương trình này hội tụ về ${\displaystyle q(x)}$ khi ${\displaystyle t\to \infty }$. Nói cách khác, nếu ta có hàm đánh giá, ta có thể sinh mẫu mới mà không cần biết ${\displaystyle q(x)}$ một cách tường minh.

Để học hàm đánh giá, ta huấn luyện mạng neuron ${\displaystyle f_{\theta }\approx \nabla _{x}\ln q(x)}$ bằng cách tối thiểu hóa độ lệch Fisher (Fisher divergence):$${\displaystyle E_{q}\!\left[\left\|f_{\theta }(x)-\nabla _{x}\ln q(x)\right\|^{2}\right]}$$Bằng cách sử dụng tích phân từng phần, biểu thức này có thể viết lại thành một hàm mất mát không cần tính trực tiếp ${\displaystyle \nabla _{x}\ln q(x)}$, còn được gọi là quy tắc đánh giá Hyvärinen (Hyvärinen scoring rule). Tuy nhiên, phương pháp này gặp khó khăn ở những vùng dữ liệu thưa thớt vì mạng không có thông tin để học hàm đánh giá tại đó.

Giải pháp là ủ nhiễu (annealing): thêm dần các mức nhiễu Gaussian tăng dần vào dữ liệu, tạo ra một họ phân phối ${\displaystyle \rho _{t}}$ trải từ phân phối dữ liệu gốc (ít nhiễu) đến nhiễu thuần túy (nhiều nhiễu). Mạng sau đó được huấn luyện để học hàm đánh giá ${\displaystyle f_{\theta }(x_{t},t)\approx \nabla _{x_{t}}\ln \rho _{t}(x_{t})}$ đồng thời trên tất cả các mức nhiễu. Đây chính là lý do tên gọi "mạng điểm đánh giá có điều kiện nhiễu": đầu ra của mạng là hàm đánh giá, và nó phụ thuộc vào mức nhiễu ${\displaystyle t}$.

Mô hình điểm đánh giá và DDPM thực chất là hai cách nhìn nhận về cùng một phương pháp. Từ công thức rút gọn của DDPM: ${\displaystyle x_{t}={\sqrt {{\bar {\alpha }}_{t}}}\,x_{0}+{\sqrt {1-{\bar {\alpha }}_{t}}}\,z}$, ta có thể viết nhiễu thực tế là ${\displaystyle z=(x_{t}-{\sqrt {{\bar {\alpha }}_{t}}}\,x_{0})/{\sqrt {1-{\bar {\alpha }}_{t}}}}$. Bằng công thức Tweedie (Tweedie's formula), hàm đánh giá tại mức nhiễu ${\displaystyle t}$ thỏa mãn:$${\displaystyle \nabla _{x_{t}}\ln q(x_{t})={\frac {-\epsilon _{\theta }(x_{t},t)}{\sqrt {1-{\bar {\alpha }}_{t}}}}}$$Nghĩa là hàm đánh giá tỉ lệ nghịch với nhiễu dự đoán của DDPM sau khi chia tỷ lệ. Do đó, một mạng được huấn luyện theo mục tiêu DDPM cũng đồng thời là một mạng điểm đánh giá, và ngược lại. Sự tương đương này cho phép áp dụng các kỹ thuật lấy mẫu của DDPM cho mô hình điểm đánh giá, và ngược lại.

Trong DDPM, dãy ${\displaystyle \beta _{1},\beta _{2},\ldots ,\beta _{T}}$ kiểm soát lượng nhiễu thêm vào ở mỗi bước được gọi là lịch trình nhiễu (noise schedule). Lịch trình này ảnh hưởng trực tiếp đến chất lượng mẫu sinh ra: nếu nhiễu tăng quá nhanh, mô hình khó học quá trình ngược; nếu tăng quá chậm, cần nhiều bước hơn để đạt nhiễu thuần túy.

Lịch trình tuyến tính (linear schedule) là lựa chọn ban đầu trong DDPM gốc, với ${\displaystyle \beta _{t}}$ tăng đều từ ${\displaystyle 10^{-4}}$ đến ${\displaystyle 0.02}$. Tuy nhiên, lịch trình tuyến tính có nhược điểm là phần lớn thông tin ảnh bị phá hủy quá sớm trong quá trình thuận, khiến nhiều bước cuối trở nên vô nghĩa. Lịch trình cosine được đề xuất sau đó để khắc phục vấn đề này bằng cách phân bổ đều hơn lượng thông tin bị mất qua các bước.

Thay vì cố định trực tiếp các giá trị cho ${\displaystyle \beta _{t}}$, lịch trình nhiễu thường được biểu diễn qua ${\displaystyle \sigma _{t}={\sqrt {1-{\bar {\alpha }}_{t}}}}$, tức mức nhiễu tích lũy tại bước ${\displaystyle t}$. Điều này cho phép huấn luyện mạng dự đoán nhiễu theo mức nhiễu ${\displaystyle \epsilon _{\theta }(x_{t},\sigma _{t})}$ thay vì theo chỉ số bước thời gian ${\displaystyle t}$, giúp mô hình dễ dàng áp dụng với các lịch trình nhiễu tùy ý.

Quá trình sinh ảnh của DDPM gốc đòi hỏi ${\displaystyle T\approx 1000}$ bước lặp, mỗi bước cần một lần chạy mạng nơ-ron. Điều này khiến việc sinh ảnh rất chậm. Nguyên nhân là quá trình ngược Markov của DDPM không cho phép bỏ qua bước: để tính ${\displaystyle x_{t-2}}$ cần có ${\displaystyle x_{t-1}}$, không thể nhảy thẳng từ ${\displaystyle x_{t}}$ sang ${\displaystyle x_{t-2}}$.

Mô hình khuếch tán ngầm khử nhiễu (denoising diffusion implicit model, DDIM) giải quyết vấn đề này bằng cách xây dựng lại quá trình ngược dưới dạng tất định (deterministic) thay vì ngẫu nhiên. Thay vì lấy mẫu ${\displaystyle x_{t-1}}$ từ một phân phối Gaussian, DDIM ước lượng ảnh gốc từ bước hiện tại rồi tính trực tiếp bất kỳ bước trước đó nào:$${\displaystyle {\tilde {x}}_{0}={\frac {x_{t}-{\sqrt {1-{\bar {\alpha }}_{t}}}\,\epsilon _{\theta }(x_{t},t)}{\sqrt {{\bar {\alpha }}_{t}}}}}$$$${\displaystyle x_{s}={\sqrt {{\bar {\alpha }}_{s}}}\,{\tilde {x}}_{0}+{\sqrt {1-{\bar {\alpha }}_{s}}}\,\epsilon _{\theta }(x_{t},t)}$$trong đó ${\displaystyle s<t}$ là bước đích bất kỳ, không nhất thiết phải là ${\displaystyle t-1}$. Điều này cho phép bỏ qua nhiều bước trung gian.

Quan trọng là DDIM không cần huấn luyện lại: bất kỳ mô hình đã huấn luyện theo mục tiêu DDPM đều có thể dùng với DDIM. Thực nghiệm cho thấy chỉ cần 20 bước DDIM đã cho chất lượng ảnh tương đương 1000 bước DDPM ở mức tổng thể. Mức độ ngẫu nhiên có thể điều chỉnh qua tham số ${\displaystyle \eta \in [0,1]}$: khi ${\displaystyle \eta =0}$ quá trình hoàn toàn tất định, khi ${\displaystyle \eta =1}$ quá trình trở về DDPM gốc.

Một hạn chế của DDPM là thực hiện quá trình khuếch tán trực tiếp trên không gian ảnh nguyên thủy, vốn có số chiều rất lớn (ví dụ ảnh 512×512×3 có gần 800 nghìn chiều). Điều này khiến việc huấn luyện và sinh ảnh tốn kém về tính toán.

Mô hình khuếch tán tiềm ẩn (latent diffusion model, LDM) giải quyết vấn đề này bằng cách tách quá trình thành hai giai đoạn. Đầu tiên, một bộ mã hóa tự động biến phân (VAE) nén ảnh xuống không gian tiềm ẩn (latent space) có số chiều nhỏ hơn nhiều, thường giảm 4 đến 8 lần về mỗi chiều không gian. Sau đó, quá trình khuếch tán được thực hiện hoàn toàn trong không gian tiềm ẩn này thay vì trên ảnh gốc. Khi sinh ảnh, mô hình lấy mẫu trong không gian tiềm ẩn rồi dùng bộ giải mã của VAE để chuyển kết quả về không gian ảnh. Cách tiếp cận này giảm đáng kể chi phí tính toán mà không làm giảm nhiều chất lượng ảnh, vì VAE đã học cách nén thông tin hình ảnh quan trọng vào không gian tiềm ẩn.

Mô hình khuếch tán cơ bản sẽ sinh ra mẫu mới lấy từ toàn bộ phân phối dữ liệu nếu không có điều kiện đi kèm. Ví dụ, một mô hình huấn luyện trên ImageNet sẽ sinh ảnh ngẫu nhiên từ bất kỳ nhãn nào trong số hàng nghìn danh mục. Để sinh ảnh có điều kiện như "ảnh mèo đen mắt đỏ", cần một cơ chế đưa thông tin điều kiện vào quá trình sinh.

Hướng dẫn phân loại (classifier guidance) dùng định lý Bayes để kết hợp mô hình khuếch tán với một bộ phân loại ảnh. Ý tưởng là: nếu ta có mô hình sinh ảnh tốt ${\displaystyle p(x)}$ và bộ phân loại ${\displaystyle p(y|x)}$ cho biết khả năng ảnh ${\displaystyle x}$ thuộc lớp ${\displaystyle y}$, thì theo Bayes:$${\displaystyle p(x\mid y)\propto p(y\mid x)\,p(x)}$$Trong quá trình khuếch tán ngược, điều này được thực hiện bằng cách cộng thêm gradient của bộ phân loại vào hàm đánh giá:$${\displaystyle \nabla _{x_{t}}\ln p(x_{t}\mid y)=\underbrace {\nabla _{x_{t}}\ln p(x_{t})} _{\text{hàm đánh giá}}+\gamma \underbrace {\nabla _{x_{t}}\ln p(y\mid x_{t})} _{\text{hướng dẫn phân loại}}}$$Trong đó ${\displaystyle \gamma >0}$ là hệ số hướng dẫn (guidance scale) kiểm soát mức độ ảnh hưởng của điều kiện: giá trị ${\displaystyle \gamma }$ càng cao thì ảnh sinh ra bám sát điều kiện hơn nhưng kém đa dạng hơn.

Nhược điểm của hướng dẫn phân loại là cần huấn luyện thêm một bộ phân loại riêng biệt hoạt động trên ảnh nhiễu ở mọi mức nhiễu ${\displaystyle t}$. Hướng dẫn không phân loại (classifier-free guidance, CFG) loại bỏ nhu cầu này bằng cách trích xuất tín hiệu hướng dẫn từ chính mô hình khuếch tán.

CFG huấn luyện một mô hình khuếch tán duy nhất để thực hiện cả sinh có điều kiện ${\displaystyle \epsilon _{\theta }(x_{t},t,y)}$ lẫn sinh không điều kiện ${\displaystyle \epsilon _{\theta }(x_{t},t)}$. Trong thực tế, điều này được thực hiện bằng cách ngẫu nhiên bỏ qua nhãn điều kiện ${\displaystyle y}$ trong một phần các bước huấn luyện. Khi sinh ảnh, dự đoán nhiễu cuối cùng được tính bằng:$${\displaystyle \epsilon _{\text{CFG}}=\epsilon _{\theta }(x_{t},t)+\gamma {\Big (}\epsilon _{\theta }(x_{t},t,y)-\epsilon _{\theta }(x_{t},t){\Big )}}$$Biểu thức này ngoại suy từ dự đoán không điều kiện ra ngoài theo hướng của dự đoán có điều kiện, với ${\displaystyle \gamma }$ kiểm soát mức độ ngoại suy. Khi ${\displaystyle \gamma =1}$, CFG trở về sinh có điều kiện thông thường. Khi ${\displaystyle \gamma >1}$, ảnh bám điều kiện chặt hơn nhưng kém đa dạng hơn.

Trong DDPM và các biến thể, cả quá trình thuận lẫn quá trình ngược đều là các phương trình vi phân ngẫu nhiên (stochastic differential equation, SDE). Quá trình thuận có dạng đóng nên tính toán được trực tiếp, nhưng quá trình ngược không có dạng đóng và phải được tích phân từng bước nhỏ bằng các phương pháp số. Điều này đòi hỏi nhiều bước lặp và gây ra chi phí tính toán lớn khi sinh mẫu, ngay cả khi dùng DDIM để giảm số bước.

Mô hình khuếch tán dựa trên luồng (flow-based diffusion model) tiếp cận bài toán từ góc độ khác: thay vì dùng quá trình ngẫu nhiên, mô hình học một trường vận tốc (velocity field) ${\displaystyle v_{t}(x)}$ sao cho các điểm dữ liệu di chuyển dọc theo trường đó từ phân phối nhiễu ${\displaystyle \pi _{0}={\mathcal {N}}(0,I)}$ đến phân phối dữ liệu ${\displaystyle \pi _{1}}$. Cả quá trình thuận lẫn quá trình ngược đều là nghiệm của một phương trình vi phân thường (ordinary differential equation, ODE) tất định:$${\displaystyle {\frac {d}{dt}}\phi _{t}(x)=v_{t}(\phi _{t}(x)),\quad t\in [0,1]}$$Trong đó ${\displaystyle \phi _{t}}$ là ánh xạ di chuyển điểm ${\displaystyle x}$ theo trường vận tốc từ thời điểm 0 đến ${\displaystyle t}$. Vì ODE tất định có thể tích phân với số bước ít hơn nhiều so với SDE, mô hình luồng thường sinh mẫu nhanh hơn đáng kể so với DDPM.

Điểm mấu chốt của cách tiếp cận này là thay vì huấn luyện mạng dự đoán độ dời của từng bước nhiễu cần khử, mạng được huấn luyện để dự đoán vận tốc ${\displaystyle v_{t}(x)}$ tại mỗi điểm trong không gian và thời gian thẳng tới hướng của dữ liệu gốc.

Flow matching là phương pháp huấn luyện mô hình luồng bằng cách xây dựng một đường dẫn xác suất (probability path) có điều kiện đơn giản, sau đó lấy trung bình để thu được trường vận tốc tổng thể.

Ý tưởng cụ thể như sau. Cho một điểm dữ liệu ${\displaystyle x_{1}\sim \pi _{1}}$ và một điểm nhiễu ${\displaystyle x_{0}\sim {\mathcal {N}}(0,I)}$, ta định nghĩa đường nội suy tuyến tính đơn giản nhất nối hai điểm:$${\displaystyle x_{t}=(1-t)\,x_{0}+t\,x_{1},\quad t\in [0,1]}$$Đường này có vận tốc tức thời là hằng số ${\displaystyle {\dot {x}}_{t}=x_{1}-x_{0}}$, tức là vận tốc không đổi theo thời gian và chỉ phụ thuộc vào điểm đầu và điểm cuối. Tuy nhiên, ta không thể mô phỏng quá trình này theo hướng nhân quả (từ ${\displaystyle t=0}$ đến ${\displaystyle t=1}$) vì điều đó đòi hỏi phải biết ${\displaystyle x_{1}}$ từ trước, trong khi ${\displaystyle x_{1}}$ chính là mẫu ta muốn sinh ra.

Thay vào đó, flow matching "chiếu" đường nội suy này vào không gian các ODE có thể mô phỏng nhân quả, bằng cách huấn luyện mạng ${\displaystyle v_{\theta }}$ tối thiểu hóa hàm mất mát:$${\displaystyle \min _{\theta }\int _{0}^{1}E_{x_{0},x_{1}}\!\left[\left\|v_{\theta }(x_{t},t)-(x_{1}-x_{0})\right\|^{2}\right]dt}$$Đây là bài toán hồi quy đơn giản: tại mỗi điểm ${\displaystyle x_{t}}$ và thời điểm ${\displaystyle t}$, mạng học cách dự đoán hướng di chuyển từ nhiễu đến dữ liệu. Sau khi huấn luyện, ta có thể sinh mẫu bằng cách bắt đầu từ ${\displaystyle x_{0}\sim {\mathcal {N}}(0,I)}$ và tích phân ODE từ ${\displaystyle t=0}$ đến ${\displaystyle t=1}$ bằng bất kỳ phương pháp số nào.

Ưu điểm quan trọng của flow matching so với DDPM là quỹ đạo di chuyển của mỗi điểm dữ liệu có xu hướng thẳng hơn, cho phép tích phân ODE với số bước ít hơn mà vẫn đạt chất lượng tương đương. Trong khi DDPM cần hàng trăm đến hàng nghìn bước, flow matching thường chỉ cần vài chục bước hoặc ít hơn.

Rectified flow là một cách tiếp cận flow matching với mục tiêu cụ thể là làm thẳng quỹ đạo ODE càng nhiều càng tốt. Nếu quỹ đạo hoàn toàn thẳng, ODE có nghiệm chính xác trong một bước duy nhất ${\displaystyle \phi _{1}(x)=x_{0}+v_{0}(x_{0})}$, tức là có thể sinh mẫu tức thì mà không cần lặp.

Rectified flow đạt được điều này qua thao tác reflow: sau khi huấn luyện một mô hình luồng ${\displaystyle \phi ^{0}}$, ta dùng chính mô hình đó để ghép cặp lại các điểm nhiễu và dữ liệu—thay vì ghép ngẫu nhiên như ban đầu, ta ghép ${\displaystyle x_{0}}$ với ${\displaystyle \phi _{0}^{1}(x_{0})}$ (điểm mà mô hình hiện tại ánh xạ ${\displaystyle x_{0}}$ đến). Sau đó huấn luyện lại mô hình mới ${\displaystyle \phi ^{1}}$ trên các cặp đã được ghép lại này. Quá trình này lặp đi lặp lại:$${\displaystyle \phi ^{k+1}={\mathsf {Rectflow}}\!\left(\phi _{0}^{k}(x_{0}),\,\phi _{1}^{k}(x_{1})\right)}$$Mỗi lần reflow, quỹ đạo trở thẳng hơn vì các cặp điểm được ghép tối ưu hơn, giảm chi phí vận chuyển và số bước tích phân cần thiết. Trong thực tế, một đến hai lần reflow thường đủ để đạt chất lượng tốt với rất ít bước sinh mẫu. Rectified flow là nền tảng kỹ thuật của Stable Diffusion 3 và FLUX, hai mô hình sinh ảnh mã nguồn mở phổ biến.

Nội suy tuyến tính gốc	Rectified Flow	Rectified Flow sau khi đã hoàn thành

Một hướng mở rộng của flow matching là xây dựng đường dẫn xác suất tối thiểu hóa khoảng cách Wasserstein (Wasserstein distance) giữa ${\displaystyle \pi _{0}}$ và ${\displaystyle \pi _{1}}$, tức là tìm cách ghép cặp các điểm nhiễu và dữ liệu sao cho tổng quãng đường di chuyển là nhỏ nhất. Cách ghép cặp tối ưu này được gọi là kế hoạch vận chuyển tối ưu (optimal transport plan) ${\displaystyle \Gamma (\pi _{0},\pi _{1})}$.

Khi dùng kế hoạch vận chuyển tối ưu để ghép cặp thay vì ghép ngẫu nhiên, quỹ đạo của các điểm có xu hướng thẳng hơn và ít giao nhau hơn, giúp mô hình dễ học hơn. Tuy nhiên, tính toán kế hoạch vận chuyển tối ưu chính xác trên toàn bộ tập dữ liệu là bài toán tốn kém; trong thực tế người ta thường dùng xấp xỉ mini-batch, tức là chỉ tính vận chuyển tối ưu trong từng batch nhỏ. Xấp xỉ này có thể khác xa kế hoạch tối ưu thật sự nếu batch quá nhỏ, nhưng vẫn cho kết quả tốt hơn ghép ngẫu nhiên trong nhiều trường hợp thực tế.

Nhiệm vụ của mạng xương sống trong mô hình khuếch tán là nhận đầu vào là dữ liệu nhiễu ${\displaystyle x_{t}}$ và bước thời gian ${\displaystyle t}$ (hoặc mức nhiễu ${\displaystyle \sigma _{t}}$), rồi dự đoán nhiễu ${\displaystyle \epsilon _{\theta }(x_{t},t)}$ hoặc vận tốc ${\displaystyle v_{\theta }(x_{t},t)}$ tùy theo công thức huấn luyện. Về nguyên tắc, bất kỳ kiến trúc mạng nơ-ron nào cũng có thể đóng vai trò mạng xương sống, miễn là đầu vào và đầu ra có cùng số chiều với dữ liệu.

Hai kiến trúc phổ biến nhất hiện nay là U-Net và Transformer khuếch tán (diffusion Transformer, DiT).

U-Net là kiến trúc ban đầu được dùng trong DDPM và các mô hình khuếch tán thế hệ đầu. U-Net có cấu trúc mã hóa-giải mã (encoder-decoder) với các kết nối tắt (skip connection) nối trực tiếp các lớp mã hóa với các lớp giải mã tương ứng. Kiến trúc này phù hợp tự nhiên với bài toán khử nhiễu vì đầu ra cần có cùng kích thước với đầu vào, và các kết nối tắt giúp bảo toàn thông tin chi tiết ở các độ phân giải khác nhau.

Thông tin về bước thời gian ${\displaystyle t}$ thường được đưa vào mạng thông qua nhúng vị trí sinusoidal (sinusoidal positional embedding) tương tự như trong Vision Transformer, sau đó được cộng vào các lớp trung gian của U-Net qua cơ chế điều chỉnh tỷ lệ và dịch chuyển (scale-and-shift).

Transformer khuếch tán (diffusion Transformer, DiT) thay thế U-Net bằng kiến trúc Transformer, trong khi giữ nguyên toàn bộ framework DDPM. Ảnh đầu vào được chia thành các mảnh nhỏ (patch) và mã hóa thành chuỗi token, sau đó được xử lý bởi các lớp tự chú ý (self-attention) của Transformer. Thông tin về bước thời gian ${\displaystyle t}$ và điều kiện ${\displaystyle y}$ được đưa vào thông qua cơ chế chuẩn hóa lớp thích nghi (adaptive layer norm). Hiệu năng của DiT cải thiện đều đặn khi tăng số tham số và lượng tính toán huấn luyện, tuân theo các quy luật tỷ lệ (scaling law) tương tự như các mô hình ngôn ngữ lớn. Vì lý do này, hầu hết các mô hình khuếch tán thế hệ mới đều dùng DiT thay vì U-Net, bao gồm Stable Diffusion 3, FLUX, và Sora.

Mô hình khuếch tán cơ bản sinh mẫu từ toàn bộ phân phối dữ liệu mà không có kiểm soát. Để kiểm soát nội dung sinh ra theo văn bản mô tả, nhãn lớp, hay ảnh tham chiếu, cần đưa thông tin điều kiện vào mạng xương sống. Bất kể loại điều kiện là gì, bước đầu tiên là chuyển đổi điều kiện thành một vector số thực, sau đó đưa vector đó vào mạng theo một trong các cơ chế sau:

• Chú ý chéo (cross-attention): vector điều kiện đóng vai trò là khóa (key) và giá trị (value) trong lớp attention, trong khi biểu diễn trung gian của ảnh đóng vai trò là truy vấn (query). Cơ chế này cho phép mạng tra cứu thông tin từ điều kiện tại từng vị trí không gian của ảnh một cách linh hoạt. Stable Diffusion sử dụng cross-attention để đưa vector mã hóa văn bản vào U-Net.
• Chuẩn hóa lớp thích nghi (adaptive layer norm, adaLN): thay vì tra cứu điều kiện tại từng vị trí, thông tin điều kiện được dùng để điều chỉnh tỷ lệ và dịch chuyển (scale-and-shift) toàn bộ các lớp chuẩn hóa trong Transformer. Cụ thể, vector điều kiện được đưa qua một lớp tuyến tính để sinh ra các tham số tỷ lệ và dịch chuyển, sau đó áp dụng lên kích hoạt của từng khối Transformer. Biến thể adaLN-Zero khởi tạo các tham số điều chỉnh về không, cho phép mô hình bắt đầu từ trạng thái không có điều kiện và dần học cách tích hợp thông tin điều kiện. Thực nghiệm trong bài DiT gốc cho thấy adaLN-Zero cho kết quả tốt hơn cross-attention và tiết kiệm tính toán hơn.
• Điều kiện hóa ngữ cảnh (in-context conditioning): vector điều kiện được nối thêm vào chuỗi token đầu vào như các token bổ sung, để cơ chế tự chú ý (self-attention) của Transformer xử lý cùng với các token ảnh. Cách này không đòi hỏi thay đổi kiến trúc nhưng hiệu quả thấp hơn adaLN trong thực nghiệm.

Một ứng dụng cụ thể của điều kiện hóa là phục hồi ảnh (inpainting): điều kiện là ảnh tham chiếu ${\displaystyle {\tilde {x}}}$ và mặt nạ vùng cần phục hồi ${\displaystyle m}$. Tại mỗi bước khuếch tán ngược, vùng đã biết của ảnh được thay thế bằng phiên bản nhiễu tương ứng của ảnh tham chiếu, trong khi vùng cần sinh được xử lý bình thường bởi mô hình.

Ngoài điều kiện hóa toàn cục, ControlNet là một phương pháp cho phép kiểm soát chi tiết hơn bằng cách thêm các điều kiện không gian như bản đồ cạnh (edge map), bản đồ chiều sâu (depth map), hay tư thế người. ControlNet sao chép các lớp mã hóa của U-Net thành một nhánh phụ nhận điều kiện không gian, sau đó cộng đầu ra của nhánh phụ vào các lớp tương ứng của U-Net gốc. Cách thiết kế này cho phép tinh chỉnh ControlNet trên tập dữ liệu nhỏ mà không làm ảnh hưởng đến mô hình gốc.

Sinh ảnh độ phân giải cao trực tiếp từ nhiễu đòi hỏi chi phí tính toán rất lớn vì số chiều của không gian ảnh tỷ lệ bậc hai với độ phân giải. Một giải pháp là dùng pipeline gồm nhiều mô hình: một mô hình cơ sở sinh ảnh độ phân giải thấp, sau đó một hoặc nhiều mô hình nâng độ phân giải (upscaler) phóng to ảnh đó lên độ phân giải cao hơn từng bước.

Mô hình nâng độ phân giải bản thân nó cũng là một mô hình khuếch tán, nhưng được huấn luyện với điều kiện hóa đặc biệt: đầu vào là ảnh độ phân giải thấp có thêm nhiễu, đầu ra là ảnh độ phân giải cao tương ứng. Kiến trúc xếp tầng này (cascaded diffusion model) cho phép sinh ảnh chất lượng rất cao bằng cách chia nhỏ bài toán khó thành nhiều bước dễ hơn. Google Imagen là ví dụ tiêu biểu của kiến trúc này, dùng pipeline ba bước để sinh ảnh từ 64×64 lên đến 1024×1024.

Ngoài mô hình khuếch tán, nâng độ phân giải cũng có thể được thực hiện bằng mạng đối nghịch tạo sinh (GAN), Transformer, hoặc các phương pháp xử lý tín hiệu truyền thống như lấy mẫu lại Lanczos (Lanczos resampling).

Trước khi mô hình khuếch tán ra đời, mạng đối nghịch tạo sinh (GAN) là phương pháp chiếm ưu thế trong sinh ảnh. GAN hoạt động theo cơ chế đối nghịch giữa hai mạng: một mạng tạo sinh cố gắng tạo ra ảnh trông thực, và một mạng phân biệt cố gắng phân biệt ảnh thật với ảnh giả. Cơ chế này dễ gặp hiện tượng sụp đổ chế độ (mode collapse), trong đó mạng sinh chỉ học cách tạo ra một số ít mẫu có thể đánh lừa được mạng phân biệt mà không bao phủ toàn bộ phân phối dữ liệu gốc, dẫn đến sự thiếu đa dạng trong kết quả ảnh được sinh ra.

Năm 2021, Dhariwal và Nichol chứng minh rằng mô hình khuếch tán có thể vượt qua GAN về chất lượng mẫu trên các tập dữ liệu chuẩn như ImageNet, đánh dấu bước ngoặt quan trọng trong lĩnh vực sinh ảnh. Ưu thế của mô hình khuếch tán so với GAN đến từ một số yếu tố: quá trình huấn luyện ổn định hơn vì không cần cân bằng hai mạng đối nghịch nhau; khả năng bao phủ phân phối dữ liệu tốt hơn vì mô hình được tối ưu hóa theo mục tiêu hợp lý (likelihood-based); và khả năng mở rộng quy mô tốt hơn theo quy luật tỷ lệ.

Kể từ đó, mô hình khuếch tán đã trở thành nền tảng của hầu hết các hệ thống sinh ảnh thương mại và nghiên cứu hiện đại, bao gồm Stable Diffusion, DALL-E 2, Imagen, và FLUX.

Sinh video bằng mô hình khuếch tán về cơ bản mở rộng bài toán sinh ảnh sang chiều thời gian: thay vì sinh một ảnh tĩnh, mô hình phải sinh một chuỗi các khung hình nhất quán về chuyển động và nội dung. Thách thức chính là duy trì tính nhất quán thời gian (temporal consistency), có nghĩa là các vật thể, nhân vật và cảnh nền phải chuyển động tự nhiên và liên tục giữa các khung hình; trong khi vẫn đảm bảo chất lượng từng khung hình đơn lẻ.

Phần lớn các mô hình sinh video hiện đại được xây dựng trên kiến trúc DiT kết hợp với mô hình khuếch tán tiềm ẩn. Thay vì xử lý từng khung hình độc lập, các mô hình này mã hóa video thành các mảnh không-thời gian (spacetime patch) trong không gian tiềm ẩn, cho phép cơ chế tự chú ý mô hình hóa đồng thời các phụ thuộc không gian và thời gian. Sora của OpenAI (2024), một trong những mô hình sinh video có độ phân giải cao và thời lượng dài đầu tiên, sử dụng kiến trúc DiT hoạt động trên các mảnh không-thời gian trong không gian tiềm ẩn để sinh video lên đến một phút ở độ phân giải cao.

Mô hình thế giới (world model) là một dạng mô hình tạo sinh có khả năng mô phỏng động lực học vật lý của thế giới thực: thay vì chỉ sinh video mang tính thẩm mỹ, mô hình phải dự đoán chính xác cách các vật thể tương tác, di chuyển và biến đổi theo thời gian khi có tác nhân tác động. Điều này đòi hỏi mô hình không chỉ học phân phối ngoại hình của dữ liệu mà còn phải học các quy luật nhân quả và vật lý tiềm ẩn trong dữ liệu. Mô hình thế giới có ứng dụng quan trọng trong huấn luyện các hệ thống AI vật lý như robot và xe tự lái, vì chúng cho phép sinh dữ liệu huấn luyện tổng hợp và mô phỏng các tình huống nguy hiểm mà không cần thực nghiệm thật.

Mô hình khuếch tán phù hợp tự nhiên với bài toán này thông qua cơ chế điều kiện hóa hành động (action-conditional generation): thay vì điều kiện hóa quá trình khuếch tán ngược theo văn bản hay nhãn lớp, mô hình được điều kiện hóa theo hành động của tác nhân tại mỗi bước thời gian. Cụ thể, khi khử nhiễu để sinh cảnh quan sát tiếp theo, mạng xương sống nhận thêm đầu vào là vector hành động—ví dụ tốc độ bánh lái của xe tự lái, hay lệnh di chuyển tay của robot—và học cách dự đoán trạng thái thế giới thay đổi như thế nào tương ứng với hành động đó. Bằng cách huấn luyện trên lượng lớn video tương tác thực tế, mô hình dần học được các quy luật vật lý ngầm định: vật thể không thể xuyên qua nhau, chất lỏng chảy theo trọng lực, các bề mặt có ma sát. Sau khi huấn luyện, mô hình có thể được dùng để mô phỏng hậu quả của các hành động chưa từng thấy, cho phép các hệ thống AI lập kế hoạch và đánh giá chiến lược trước khi thực thi trong thế giới thực.

Trong lĩnh vực điều khiển robot, mô hình khuếch tán được dùng để học chính sách hành vi (behavior policy): thay vì sinh ảnh hay video, mô hình sinh chuỗi hành động liên tục mà robot cần thực hiện dựa trên quan sát hiện tại. Cách tiếp cận này được gọi là chính sách khuếch tán (diffusion policy).

Ưu điểm cốt lõi của chính sách khuếch tán so với các phương pháp học bắt chước (imitation learning) truyền thống là khả năng mô hình hóa phân phối hành động đa phương thức (multimodal action distribution): khi cùng một tình huống có nhiều hành động hợp lệ khác nhau (ví dụ, có thể gắp một vật từ nhiều góc độ khác nhau), các phương pháp truyền thống dùng hồi quy trực tiếp thường trả về trung bình của các hành động đó trong khi diffusion policy có thể lấy mẫu từ toàn bộ phân phối hành động hợp lệ.

Trong các mô hình thị giác-ngôn ngữ-hành động (vision-language-action, VLA) thế hệ mới, chính sách khuếch được tích hợp như một module sinh hành động chuyên biệt đi kèm với một mô hình ngôn ngữ-thị giác (VLM) lớn. Kiến trúc điển hình gồm hai phần: phần lý luận là một mô hình ngôn ngữ-thị giác mã hóa quan sát hình ảnh và lệnh ngôn ngữ thành biểu diễn ngữ nghĩa, phần sinh hành động là một DiT dùng flow matching để khử nhiễu chuỗi hành động liên tục được điều kiện hóa trên biểu diễn đó.

OpenAI là một trong những tổ chức đầu tiên phát triển các mô hình sinh ảnh từ văn bản quy mô lớn. Mô hình DALL-E đầu tiên vào năm 2021 không phải là mô hình khuếch tán mà dùng kiến trúc Transformer hồi quy tự động để sinh chuỗi token ảnh, sau đó giải mã bằng một VAE rời rạc; cùng lúc đó OpenAI cũng công bố CLIP để xếp hạng ảnh sinh ra theo độ phù hợp với văn bản. OpenAI chuyển sang mô hình khuếch tán với GLIDE vào năm 2022, một mô hình 3,5 tỷ tham số là mô hình khuếch tán đầu tiên của họ cho bài toán sinh ảnh từ văn bản, sử dụng cả hướng dẫn phân loại và hướng dẫn không phân loại.

DALL-E 2 được xây dựng cùng năm trên nền tảng đó với kỹ thuật "unCLIP": thay vì điều kiện hóa trực tiếp theo văn bản, mô hình dùng một mô hình "prior" để chuyển đổi biểu diễn văn bản CLIP thành biểu diễn ảnh CLIP, sau đó một bộ giải mã khuếch tán xếp tầng 3,5 tỷ tham số tạo ra ảnh từ biểu diễn ảnh đó. Một năm sau, DALL-E 3 cải thiện đáng kể khả năng bám sát văn bản mô tả bằng cách huấn luyện trên dữ liệu với chú thích chi tiết được sinh tự động bởi một mô hình ngôn ngữ lớn, thay vì dựa vào chú thích thô từ Internet.

Ngoài sinh ảnh, OpenAI mở rộng sang sinh video với Sora vào năm 2024, một mô hình DiT hoạt động trên các mảnh không-thời gian trong không gian tiềm ẩn, cho phép sinh video có độ phân giải cao và thời lượng lên đến một phút.

Black Forest Labs được thành lập năm 2024 bởi các tác giả chính của Stable Diffusion và Latent Diffusion, bao gồm Robin Rombach và Andreas Blattmann. Công ty ra mắt với họ mô hình FLUX.1—một rectified flow transformer 12 tỷ tham số kết hợp các khối Transformer đa phương thức xử lý đồng thời token ảnh và token văn bản với các khối Transformer song song chỉ xử lý token ảnh. Mô hình dùng nhúng vị trí xoay và các lớp attention song song để cải thiện hiệu năng và hiệu quả phần cứng. FLUX.1 có nhiều biến thể: FLUX.1 [pro] (thương mại), FLUX.1 [dev] (open-weight, phi thương mại), và FLUX.1 [schnell] (open-weight, thương mại, được chưng cất để sinh ảnh trong 1-4 bước).

Stable Diffusion là mô hình khuếch tán tiềm ẩn mã nguồn mở đầu tiên đạt chất lượng cạnh tranh với các mô hình thương mại. Mô hình gồm một mạng khử nhiễu U-Net với 860 triệu tham số, một VAE, và một bộ mã hóa văn bản CLIP; văn bản được đưa vào U-Net thông qua cơ chế cross-attention. Đến năm 2024, Stability AI ra mắt Stable Diffusion 3, thay thế U-Net bằng kiến trúc Transformer đa phương thức (Multimodal Diffusion Transformer, MMDiT)—một biến thể của DiT với các trọng số riêng biệt cho luồng ảnh và luồng văn bản, cho phép thông tin chảy hai chiều giữa hai phương thức—đồng thời chuyển từ DDPM sang rectified flow.

Google DeepMind phát triển hai nhánh mô hình khuếch tán song song: Imagen cho sinh ảnh và Veo cho sinh video. Trong đó, Imagen là mô hình khuếch tán xếp tầng gồm ba bước: một mô hình cơ sở 2 tỷ tham số sinh ảnh 64×64 có điều kiện theo biểu diễn văn bản từ T5-XXL, tiếp theo là một mô hình nâng độ phân giải 64×64→256×256 với 650 triệu tham số, và sau cùng là một mô hình nâng tiếp 256×256→1024×1024 với 400 triệu tham số; cả ba mạng khử nhiễu đều là U-Net. Hai năm sau, Imagen 3 cải thiện đáng kể về độ chân thực và khả năng bám sát các văn bản mô tả dài và phức tạp, được đánh giá là vượt trội so với các mô hình cùng thời.

Song song với đó, Google DeepMind phát triển dòng mô hình sinh video Veo. Phiên bản đầu tiên của nó dùng kiến trúc latent diffusion transformer: video được nén vào không gian tiềm ẩn không-thời gian bởi một bộ tự mã hóa, sau đó một mạng Transformer khử nhiễu học cách tái tạo video từ nhiễu Gaussian trong không gian tiềm ẩn đó, cho phép sinh video 1080p thời lượng hơn một phút có điều kiện theo văn bản và ảnh. Veo 2 cải thiện bộ tự mã hóa với VAE để bảo toàn tốt hơn các chi tiết bề mặt và chuyển động trong không gian tiềm ẩn, đồng thời tăng cường cơ chế attention thời gian để duy trì nhất quán ngoại hình của vật thể qua các khung hình dài hơn; mô hình có khả năng sinh video độ phân giải 4K và thời lượng có thể dài hơn hai phút. Bước tiến gần đây nhất là cho phiên bản thứ ba của Veo, khi quá trình khuếch tán được áp dụng đồng thời lên cả latent video không-thời gian lẫn latent âm thanh trong cùng một mô hình thống nhất: thay vì sinh video im lặng rồi ghép âm thanh vào sau, mô hình học các tương quan thống kê giữa hình ảnh và âm thanh trong quá trình huấn luyện, tạo ra đầu ra trong đó âm thanh, lời thoại và hiệu ứng tiếng động được đồng bộ tự nhiên với hình ảnh ngay từ bước sinh đầu tiên.

Meta phát triển hai kiến trúc đáng chú ý theo hai hướng khác nhau. Movie Gen năm 2024 là họ mô hình tạo sinh đa phương tiện gồm một mô hình sinh video DiT 30 tỷ tham số hoạt động trong không gian tiềm ẩn bằng flow matching và một mô hình sinh âm thanh 13 tỷ tham số; mô hình video có khả năng tạo ra video 1080p HD với âm thanh đồng bộ lên đến 16 giây và hỗ trợ chỉnh sửa video theo lệnh văn bản lẫn cá nhân hóa video theo ảnh người dùng. Theo hướng khác, Transfusion ra mắt cùng năm là một Transformer thống nhất kết hợp sinh văn bản hồi quy tự động với sinh ảnh bằng khuếch tán trong cùng một mô hình: văn bản được sinh theo cơ chế nhân quả, trong khi ảnh được sinh bằng cách khử nhiễu nhiều lần trên các token ảnh với cơ chế all-to-all attention.

NVIDIA phát triển hai dòng sản phẩm song song ứng dụng mô hình khuếch tán: nền tảng world model Cosmos và mô hình robot GR00T. Cosmos-Predict1 ra mắt năm 2025 là thế hệ đầu tiên của nền tảng Cosmos, gồm các mô hình khuếch tán và hồi quy tự động được huấn luyện trên 20 triệu giờ video tương tác thế giới thực bao gồm dữ liệu robot, xe tự lái và môi trường công nghiệp. Cosmos-Predict2.5 chuyển hoàn toàn sang kiến trúc flow matching và hợp nhất các tác vụ sinh video từ văn bản, ảnh và video vào một mô hình duy nhất thay vì ba mô hình riêng biệt như trước; bộ mã hóa văn bản T5 cũng được thay bằng Cosmos-Reason1 (một VLM chuyên biệt cho vật lý thế giới thực) giúp cung cấp biểu diễn văn bản phong phú hơn; mô hình được huấn luyện trên 200 triệu đoạn video và tinh chỉnh thêm bằng học tăng cường. Cosmos 3 mở rộng lên kiến trúc đa phương thức có khả năng sinh đồng thời văn bản, ảnh, video, âm thanh và chuỗi hành động, với mô-đun khuếch tán đảm nhận phần sinh nội dung có điều kiện trên đầu ra của mô-đun lý luận.

Về robotics, GR00T N1 kết hợp VLM Eagle-2 làm mạng xương sống với một DiT dùng flow matching làm module sinh hành động tần số cao, tạo ra chuỗi 16 hành động trong mỗi lần suy luận. Phiên bản GR00T N1.7 mới nhất cập nhật mạng xương sống lên Cosmos-Reason2 và mở rộng khả năng kiểm soát toàn thân và điều khiển ngón tay chi tiết; mô hình được tiền huấn luyện trên hơn 20.000 giờ video từ góc nhìn người.