Bài 34. AI và LLM trong bảo mật (1): model manipulation, poisoning, prompt injection, jailbreaking, evasion

Khóa học CompTIA Security+ SY0-801 · Phần 2: Mối đe dọa, lỗ hổng và tấn công · Bài 34 · 🎯 Objective 2.6 (mới trong V8) · ⏱️ Đọc khoảng 14 phút · 🧪 Không cần lab · 📝 5 câu bài tập cuối bài

🎯 Mục tiêu bài học

• Hiểu vì sao hệ thống AI và LLM (mô hình ngôn ngữ lớn) có bề mặt tấn công riêng.
• Mô tả model manipulation, data poisoning, prompt injection (trực tiếp và gián tiếp), jailbreaking và evasion.
• Biết biện pháp giảm thiểu ở từng giai đoạn: dữ liệu huấn luyện, mô hình, đầu vào lúc chạy.
• Nhận ra các nguyên tắc chung: không tin nội dung không kiểm soát, quyền tối thiểu cho AI, con người duyệt hành động quan trọng.

📎 Vị trí trong đề thi: đây là nội dung mới của SY0-801 theo mục lục khóa học. Đề dự kiến hỏi ở mức nhận biết khái niệm và chọn biện pháp phù hợp, không đi sâu vào toán học. Bài 35 tiếp tục với nhóm rủi ro còn lại.

💡 Liên hệ thực tế: trợ lý AI của công ty chị Lan

Thứ Tư, 15:00. Công ty chị Lan thử một trợ lý AI trả lời khách hàng và tóm tắt email. Nam được nhờ rà soát rủi ro. Đây là tình huống minh họa, không phải vụ việc có thật.

Chị Lan hỏi: "AI là phần mềm, vá lỗi là xong?" Nam trả lời: nhiều rủi ro của AI không phải lỗi mã mà là cách mô hình học và cách nó xử lý chữ. Không có "bản vá" đơn giản, mà cần thiết kế an toàn từ đầu.

🤖 Hình 34a. Dữ liệu huấn luyện, bản thân mô hình và đầu vào lúc chạy là ba chỗ khác nhau để tấn công.

📘 Kiến thức cốt lõi

🧠 AI và LLM: vài khái niệm cần nắm

• Mô hình (model) học các quy luật từ dữ liệu huấn luyện, rồi dự đoán hoặc sinh nội dung ở giai đoạn suy luận (inference).
• LLM sinh văn bản dựa trên chỉ dẫn (prompt) và ngữ cảnh. Nó coi mọi chữ trong ngữ cảnh (chỉ dẫn của nhà phát triển, câu hỏi người dùng, tài liệu được đọc) như nhau về hình thức. Đây là gốc của nhiều rủi ro.
• Trợ lý hay tác tử (agent) là LLM được nối với công cụ (đọc email, gọi API, chạy lệnh), nên hậu quả vượt ra ngoài văn bản (Bài 35).

🧪 Data poisoning (đầu độc dữ liệu)

Kẻ tấn công đưa dữ liệu xấu vào bộ dữ liệu huấn luyện để làm mô hình học sai hoặc cài cửa hậu (mô hình hoạt động bình thường, nhưng sai khi gặp một "kích hoạt" đặc biệt).

• Nguồn dễ bị làm bẩn: dữ liệu thu từ web, phản hồi do người dùng gửi, kho dữ liệu công cộng.
• Hậu quả: phân loại sai có chủ đích, thiên lệch, hành vi ẩn.

Giảm thiểu: kiểm soát nguồn dữ liệu, xác minh và làm sạch, theo dõi nguồn gốc (provenance), kiểm tra bất thường, hạn chế dữ liệu từ người dùng chưa kiểm duyệt, đánh giá mô hình định kỳ.

🔧 Model manipulation (can thiệp mô hình)

Tác động vào chính mô hình: sửa trọng số, thay bằng bản bị cài mã, hoặc đánh cắp mô hình. Gắn với chuỗi cung ứng (Bài 20): tải mô hình từ nguồn không tin cậy cũng như tải phần mềm không rõ nguồn.

Giảm thiểu: lấy mô hình từ nguồn tin cậy, kiểm tra chữ ký và hash, kiểm soát truy cập kho mô hình, theo dõi thay đổi, tách môi trường chạy.

💉 Prompt injection

Kẻ tấn công chèn chỉ dẫn vào nội dung để làm LLM làm điều không được phép, vì mô hình khó phân biệt "lệnh của chủ" với "dữ liệu cần xử lý".

Dạng gián tiếp nguy hiểm vì nạn nhân không hề gõ gì. Kẻ tấn công chỉ cần để nội dung ở nơi AI sẽ đọc.

💉 Hình 34b. Dữ liệu từ bên ngoài đi vào cùng chỗ với chỉ dẫn, nên chỉ dẫn xấu có thể được làm theo nếu không có lớp bảo vệ.

Giảm thiểu (không có một biện pháp tuyệt đối, cần nhiều lớp):

• Quyền tối thiểu cho AI: chỉ cấp công cụ và dữ liệu thật sự cần.
• Tách và đánh dấu nội dung không tin cậy, coi nó là dữ liệu, không phải lệnh.
• Lọc đầu vào và kiểm tra đầu ra (ví dụ chặn rò rỉ dữ liệu nhạy cảm).
• Con người duyệt các hành động quan trọng (gửi dữ liệu ra ngoài, chuyển tiền, xóa).
• Giám sát và ghi nhật ký các cuộc gọi công cụ.

🔓 Jailbreaking

Jailbreaking là cố vượt các giới hạn an toàn của mô hình (nội dung bị cấm, chính sách) bằng cách đặt tình huống, nhập vai hay diễn đạt lắt léo. Mục tiêu là làm mô hình tạo nội dung hoặc làm việc mà nhà cung cấp muốn chặn.

(Không nhầm với jailbreak iPhone ở Bài 26: đó là gỡ giới hạn của hệ điều hành.)

Giảm thiểu: nhiều lớp bảo vệ: huấn luyện an toàn, lọc đầu vào và đầu ra độc lập với mô hình, giới hạn tần suất, giám sát lạm dụng, kiểm thử đối kháng (red teaming) định kỳ. Không nên dựa vào "lời dặn trong prompt" làm biện pháp bảo mật duy nhất.

🎭 Evasion (né tránh)

Evasion là chế tạo đầu vào để mô hình nhận sai lúc suy luận, dù đầu vào trông bình thường với con người. Ví dụ chỉnh thư lừa đảo để bộ lọc AI cho qua, hoặc thêm nhiễu nhỏ vào ảnh để mô hình nhận dạng nhầm. Còn gọi là adversarial example (mẫu đối kháng).

Giảm thiểu: huấn luyện với mẫu đối kháng, kết hợp nhiều lớp phát hiện (không chỉ một mô hình), giám sát độ tin cậy dự đoán bất thường, cập nhật mô hình thường xuyên, và không để quyết định quan trọng phụ thuộc hoàn toàn vào AI.

🛡️ Bảng tổng hợp

🎯 Mẹo làm bài: nhìn chỗ tác động. "Làm bẩn dữ liệu dùng để huấn luyện" là poisoning. "Sửa hoặc thay mô hình" là model manipulation. "Chỉ dẫn xấu nằm trong email hay trang web mà AI đọc" là prompt injection gián tiếp. "Nhập vai để bỏ giới hạn" là jailbreaking. "Chỉnh đầu vào để mô hình nhận sai" là evasion. Biện pháp chung: quyền tối thiểu cho AI và con người duyệt hành động quan trọng.

🧠 Áp vào câu chuyện của Nam

📖 Thuật ngữ cần nhớ

📌 Tóm tắt nhanh

• Hệ thống AI có bề mặt tấn công ở dữ liệu, mô hình và đầu vào lúc chạy.
• Poisoning làm bẩn dữ liệu huấn luyện. Model manipulation can thiệp mô hình.
• Prompt injection chèn chỉ dẫn xấu. Dạng gián tiếp nằm trong dữ liệu AI đọc.
• Jailbreaking vượt giới hạn an toàn. Evasion chế đầu vào để mô hình nhận sai.
• Giảm thiểu: nhiều lớp, quyền tối thiểu, tách dữ liệu và lệnh, người duyệt hành động quan trọng, giám sát.

💬 Hỏi & Đáp nhanh

❓ Có thể "vá" prompt injection một lần là xong không? Không có biện pháp tuyệt đối. Vì mô hình xử lý mọi chữ trong ngữ cảnh gần như nhau, nên cần nhiều lớp: quyền tối thiểu, tách dữ liệu và lệnh, duyệt hành động quan trọng và giám sát.

❓ Prompt injection trực tiếp và gián tiếp khác nhau chỗ nào? Trực tiếp: chính người dùng gõ chỉ dẫn xấu. Gián tiếp: chỉ dẫn nằm trong nội dung bên ngoài (email, web, tệp) mà AI đọc, nạn nhân không gõ gì.

❓ Jailbreaking có giống jailbreak iPhone không? Chỉ giống tên gọi. Jailbreak iPhone gỡ giới hạn của hệ điều hành. Jailbreaking mô hình là vượt giới hạn an toàn của mô hình ngôn ngữ.

📝 Bài tập đánh giá

Tự chọn đáp án cho từng câu, rồi đối chiếu với phần đáp án ở cuối bài.

Câu 1. Một email chứa dòng chữ giấu yêu cầu trợ lý AI đang tóm tắt hộp thư gửi danh bạ ra ngoài. Đây là gì?

• A. Prompt injection gián tiếp
• B. Data poisoning
• C. SQL injection
• D. Evasion

Câu 2. Kẻ tấn công thêm nhiều mẫu sai có chủ đích vào dữ liệu mà một mô hình phân loại thư rác dùng để học. Đây là gì?

• A. Jailbreaking
• B. Data poisoning
• C. Replay
• D. Typosquatting

Câu 3. Người dùng đặt kịch bản nhập vai để ép mô hình bỏ qua các giới hạn nội dung của nó. Đây là gì?

• A. Jailbreaking
• B. Model manipulation
• C. Skimming
• D. DDoS

Câu 4. Biện pháp nào giúp giảm hậu quả khi trợ lý AI bị prompt injection?

• A. Cho AI quyền quản trị mọi hệ thống
• B. Cấp quyền tối thiểu cho AI, coi nội dung ngoài là dữ liệu và yêu cầu người duyệt hành động quan trọng
• C. Tắt nhật ký
• D. Chỉ dặn trong prompt "đừng làm điều xấu" và tin hoàn toàn

Câu 5. Nhóm tấn công nào chế tạo đầu vào trông bình thường nhưng làm mô hình nhận sai lúc suy luận?

• A. Evasion
• B. Data poisoning
• C. Model theft
• D. Log manipulation

👉 Đáp án

Câu 1: A — Chỉ dẫn nằm trong dữ liệu bên ngoài (email) mà AI đọc là prompt injection gián tiếp.

Câu 2: B — Làm bẩn dữ liệu huấn luyện là data poisoning.

Câu 3: A — Vượt giới hạn an toàn của mô hình bằng nhập vai hay diễn đạt lắt léo là jailbreaking.

Câu 4: B — Quyền tối thiểu, tách dữ liệu khỏi lệnh và người duyệt hành động quan trọng là các lớp bảo vệ chính. Chỉ dặn trong prompt không đủ.

Câu 5: A — Chế đầu vào để mô hình nhận sai ở giai đoạn suy luận là evasion.

📚 Bài viết thuộc khóa học CompTIA Security+ của VNExperts

🧭 Điều hướng