Nếu đặt quá nhiều điểm duyệt, quy trình trở nên chậm chạp và làm giảm hiệu quả tự động hóa. Ngược lại, nếu trao quyền quá rộng, AI có thể thực hiện những hành động sai lệch, gây tổn thất tài chính hoặc ảnh hưởng đến khách hàng mà không được phát hiện kịp thời.
Human-in-the-loop (HITL), hay con người trong vòng lặp, là nguyên tắc thiết kế hệ thống AI để con người tham gia tại những điểm quyết định quan trọng. Mục tiêu không phải là kiểm tra mọi hành động của AI, mà là đặt sự giám sát đúng chỗ để cân bằng giữa hiệu suất tự động hóa và khả năng kiểm soát rủi ro.
Trong bài viết này, HARS sẽ giúp doanh nghiệp hiểu rõ Human-in-the-loop, phân biệt ba mức độ tự chủ của AI Agent và xây dựng ma trận xác định khi nào AI được tự thực hiện, khi nào cần con người phê duyệt.
Điểm chính cần nắm
- Human-in-the-loop là gì: Nguyên tắc đưa con người vào các bước kiểm tra, điều chỉnh hoặc phê duyệt quyết định quan trọng của AI.
- Ba mức độ tự chủ: Human-in-the-loop, Human-on-the-loop và Human-out-of-the-loop.
- Ma trận quyết định: Phân loại công việc dựa trên mức độ ảnh hưởng và khả năng đảo ngược của hành động.
- Quy trình triển khai: Năm bước thiết kế điểm phê duyệt trong AI Harness.
- Ứng dụng thực tế: Cách doanh nghiệp phân công AI và con người để tự động hóa có kiểm soát.
1. Human-in-the-loop là gì?
Human-in-the-loop (HITL) là phương pháp thiết kế hệ thống AI trong đó con người tham gia vào quá trình xử lý tại những điểm cần kiểm tra, điều chỉnh hoặc phê duyệt trước khi hành động có hiệu lực.
Trong môi trường doanh nghiệp, HITL không có nghĩa là nhân viên phải theo dõi từng câu trả lời hoặc thao tác của AI. Thay vào đó, hệ thống xác định trước những trường hợp cần con người can thiệp, chẳng hạn như phê duyệt khoản chi lớn, xác nhận thay đổi hợp đồng hoặc xử lý khiếu nại có mức độ rủi ro cao.
Human-in-the-loop là một phần quan trọng của AI Harness — hệ thống bao quanh AI Agent, bao gồm ngữ cảnh, công cụ, quyền hạn, cơ chế kiểm chứng, bộ nhớ và các điểm giám sát của con người.
Chẳng hạn, một AI Agent chăm sóc khách hàng có thể tự trả lời câu hỏi thường gặp dựa trên kịch bản đã duyệt. Tuy nhiên, khi khách hàng yêu cầu hoàn tiền vượt hạn mức hoặc gửi khiếu nại nghiêm trọng, hệ thống sẽ chuyển yêu cầu cho người có thẩm quyền quyết định.
Trong mô hình này, AI xử lý phần việc lặp lại, còn con người tập trung vào những tình huống đòi hỏi phán đoán, trách nhiệm hoặc quyền quyết định cao hơn.
Nguyên tắc cốt lõi: Không phải mọi hành động của AI đều cần con người phê duyệt, nhưng mọi hành động có rủi ro đáng kể cần có cơ chế kiểm soát phù hợp.
[Ảnh minh họa: Con người và AI phối hợp trong vòng lặp ra quyết định — alt: Human-in-the-loop là gì và cách con người kiểm soát AI Agent]
2. Vì sao doanh nghiệp cần Human-in-the-loop?
2.1. Giảm rủi ro khi AI đưa ra quyết định sai
AI Agent có thể tạo ra câu trả lời hợp lý về mặt ngôn ngữ nhưng vẫn sai về dữ liệu, chính sách hoặc quy trình nội bộ. Nếu được trao quyền thực hiện hành động ngay lập tức, sai sót có thể lan sang các hệ thống khác hoặc ảnh hưởng trực tiếp đến khách hàng.
Human-in-the-loop tạo ra điểm kiểm soát trước khi các hành động quan trọng được thực hiện. Tuy nhiên, cơ chế này chỉ hiệu quả khi người duyệt có đủ thông tin, thẩm quyền và thời gian để đánh giá đề xuất của AI.
2.2. Xử lý những tình huống AI không thể tự giải quyết
Trong các tác vụ nhiều bước, AI có thể gặp lỗi, thiếu dữ liệu hoặc rơi vào trạng thái không thể tiếp tục. Hệ thống cần có cơ chế nhận biết tình huống bất thường và chuyển việc cho người phụ trách, thay vì tiếp tục thử nghiệm không giới hạn hoặc báo hoàn thành khi công việc chưa thực sự xong.
Kinh nghiệm từ các dự án sử dụng AI Agent để hiện đại hóa phần mềm cho thấy việc giới hạn phạm vi hoạt động, kiểm chứng kết quả và giữ con người tham gia ở những điểm quan trọng là những yếu tố thiết yếu để vận hành đáng tin cậy.
2.3. Xác định trách nhiệm và đáp ứng yêu cầu tuân thủ
Trong ngân hàng, bảo hiểm, y tế và khu vực công, quyết định sai có thể gây hậu quả đáng kể về tài chính, quyền lợi khách hàng hoặc tuân thủ quy định.
Doanh nghiệp cần xác định rõ ai có quyền phê duyệt, ai chịu trách nhiệm xử lý sự cố và những hành động nào phải được lưu vết. Human-in-the-loop hỗ trợ thiết lập các điểm kiểm soát này, nhưng không tự động thay thế các nghĩa vụ pháp lý hoặc yêu cầu tuân thủ chuyên ngành.
2.4. Tăng hiệu quả tự động hóa mà không mất quyền kiểm soát
Mục tiêu của HITL không phải là giữ con người trong mọi bước xử lý, mà là giải phóng nhân sự khỏi những công việc lặp lại để tập trung vào quyết định quan trọng.
Khi AI đã chứng minh được độ tin cậy trên một nhóm tác vụ có phạm vi rõ ràng, doanh nghiệp có thể chuyển từ phê duyệt từng trường hợp sang giám sát theo chỉ số và xử lý ngoại lệ. Việc mở rộng quyền cần dựa trên dữ liệu vận hành, không chỉ dựa vào kết quả của một bản demo.
Đọc thêm: Kiến thức ngành từ HARS.
3. Ba mức độ tự chủ của AI Agent
Khi triển khai AI Agent, doanh nghiệp có thể áp dụng ba mức độ tham gia của con người. Đây là một cách phân loại thực tiễn để thiết kế quy trình, không phải quy chuẩn bắt buộc cho mọi hệ thống.
| Mức độ | Cách vận hành | Khi nào phù hợp? | Ví dụ |
|---|---|---|---|
| Human-in-the-loop | AI đề xuất; con người kiểm tra và phê duyệt trước khi thực hiện hành động quan trọng. | Quyết định có ảnh hưởng lớn, rủi ro cao hoặc khó đảo ngược. | Duyệt khoản chi lớn, xác nhận thay đổi hợp đồng. |
| Human-on-the-loop | AI tự thực hiện trong phạm vi cho phép; con người theo dõi, nhận cảnh báo và can thiệp khi cần. | Công việc lặp lại, có quy tắc rõ và cơ chế phát hiện sai lệch. | Phân loại yêu cầu hỗ trợ, cập nhật trạng thái hồ sơ theo quy tắc. |
| Human-out-of-the-loop | AI hoạt động tự động mà không cần con người can thiệp trực tiếp vào từng giao dịch; hệ thống vẫn có thể ghi log và giám sát ở cấp độ khác. | Tác vụ rủi ro thấp, có giới hạn rõ và dễ khắc phục khi xảy ra lỗi. | Gắn nhãn tài liệu, phân loại nội dung nội bộ. |
Điểm cần lưu ý là Human-out-of-the-loop không đồng nghĩa với việc loại bỏ mọi cơ chế giám sát, lưu vết hoặc trách nhiệm quản trị. Với hệ thống doanh nghiệp, ngay cả các tác vụ tự động cũng nên có giới hạn quyền và phương án xử lý khi xảy ra sự cố.
Một doanh nghiệp có thể đồng thời sử dụng cả ba mức độ. Ví dụ, AI tự phân loại yêu cầu khách hàng, tự xử lý các câu hỏi phổ biến theo kịch bản đã duyệt, nhưng chuyển khiếu nại nghiêm trọng cho quản lý phê duyệt hướng xử lý.
Câu hỏi quan trọng không phải là “Có nên tin AI hay không?”, mà là “Loại công việc này nên được giao cho AI với mức độ tự chủ nào?”
4. Ma trận quyết định: Khi nào AI được tự làm, khi nào cần người duyệt?
Để phân loại công việc, doanh nghiệp nên bắt đầu với hai tiêu chí:
- Mức độ ảnh hưởng: Nếu AI làm sai, hậu quả đối với khách hàng, tài chính, dữ liệu hoặc hoạt động doanh nghiệp lớn đến đâu?
- Khả năng đảo ngược: Nếu hành động sai đã xảy ra, doanh nghiệp có thể khôi phục trạng thái ban đầu dễ dàng hay không?
Ma trận dưới đây là điểm khởi đầu. Doanh nghiệp cần điều chỉnh theo ngành nghề, chính sách nội bộ, quyền hạn được cấp và mức độ trưởng thành của hệ thống AI.
| Mức độ ảnh hưởng | Dễ đảo ngược | Khó hoặc không thể đảo ngược |
|---|---|---|
| Thấp | AI có thể tự thực hiện trong phạm vi được cấp quyền. Ví dụ: tra cứu quy trình, tóm tắt tài liệu, soạn nháp báo cáo. | AI có thể thực hiện nếu có giới hạn và lưu vết phù hợp. Ví dụ: gửi tin nhắn chăm sóc theo kịch bản đã duyệt, có giới hạn đối tượng và tần suất. |
| Cao | AI thực hiện có giám sát và cơ chế xử lý ngoại lệ. Ví dụ: phân loại, phân công khiếu nại hoặc đề xuất cập nhật hồ sơ khách hàng. | Yêu cầu con người phê duyệt trước khi thực hiện. Ví dụ: duyệt khoản chi lớn, ký kết hợp đồng, thay đổi chính sách giá hoặc xóa dữ liệu quan trọng. |
Cách áp dụng ma trận vào thực tế
Bước đầu tiên: Liệt kê các hành động cụ thể mà AI được phép thực hiện, thay vì phân loại chung chung theo phòng ban.
Bước thứ hai: Xác định hậu quả nếu hành động sai, bao gồm thiệt hại tài chính, tác động đến khách hàng, rủi ro bảo mật và khả năng vi phạm quy định.
Bước thứ ba: Xem xét khả năng hoàn tác. Một tin nhắn đã gửi có thể không thu hồi được; một bản nháp chưa gửi thì có thể sửa dễ dàng.
Bước thứ tư: Xác định cơ chế kiểm soát tương ứng: tự động thực hiện, thực hiện kèm giám sát, yêu cầu phê duyệt hoặc từ chối hành động.
Ngoài hai tiêu chí trên, doanh nghiệp cần xem xét thêm các yếu tố như mức độ nhạy cảm của dữ liệu, yêu cầu pháp lý và khả năng phát hiện sai sót. Với những hành động liên quan đến quyền lợi cá nhân hoặc quyết định có hậu quả nghiêm trọng, không nên chỉ dựa vào ma trận đơn giản để cho phép AI tự quyết.
[Ảnh minh họa: Ma trận phân loại quyết định theo mức độ ảnh hưởng và khả năng đảo ngược — alt: Ma trận quyết định Human-in-the-loop cho AI Agent doanh nghiệp]
5. Năm bước thiết kế điểm phê duyệt trong AI Harness
Bước 1. Liệt kê và phân loại các đầu việc
Lập danh sách những công việc AI sẽ thực hiện, từ trả lời câu hỏi, gửi thông báo đến cập nhật dữ liệu hoặc xử lý yêu cầu khách hàng.
Phân loại từng hành động theo mức độ ảnh hưởng, khả năng đảo ngược và yêu cầu tuân thủ. Mỗi loại việc cần có phạm vi quyền hạn rõ ràng, không nên chỉ giao quyền theo tên vai trò chung chung của AI Agent.
Bước 2. Xác định người có thẩm quyền phê duyệt
Mỗi điểm phê duyệt phải gắn với một vai trò cụ thể và có người chịu trách nhiệm.
Ví dụ:
- Trưởng nhóm chăm sóc khách hàng phê duyệt các trường hợp ngoại lệ trong chính sách hỗ trợ.
- Giám đốc tài chính hoặc người được ủy quyền phê duyệt khoản chi vượt hạn mức.
- Bộ phận pháp chế hoặc người có thẩm quyền rà soát những thay đổi hợp đồng thuộc phạm vi cần kiểm soát.
Doanh nghiệp cũng cần xác định người thay thế khi người duyệt vắng mặt, thời hạn phản hồi và phương án xử lý khi không có quyết định kịp thời.
Bước 3. Cung cấp đủ thông tin cho người duyệt
Một yêu cầu phê duyệt tốt không chỉ hiển thị nút “Đồng ý” hoặc “Từ chối”. Người duyệt cần biết:
- AI đang đề xuất hành động gì?
- Đề xuất dựa trên dữ liệu và quy tắc nào?
- Hành động sẽ ảnh hưởng đến đối tượng hoặc hệ thống nào?
- Rủi ro có thể xảy ra là gì?
- Có phương án thay thế hoặc cách hoàn tác hay không?
Thông tin phải ngắn gọn, dễ kiểm tra và có thể truy xuất nguồn gốc. Nếu người duyệt không đủ dữ liệu để đánh giá, phê duyệt có thể trở thành thao tác hình thức thay vì một cơ chế kiểm soát thực chất.
Bước 4. Thiết lập cảnh báo và cơ chế chuyển cấp
Hệ thống cần tự động chuyển việc cho người phụ trách khi xảy ra các tình huống như:
- AI không có đủ dữ liệu để đưa ra quyết định.
- Kết quả kiểm chứng không đạt yêu cầu.
- Công việc quá hạn hoặc vượt ngưỡng rủi ro.
- Hành động nằm ngoài phạm vi quyền được cấp.
- Chỉ số chất lượng hoặc hiệu suất giảm dưới ngưỡng cho phép.
Cơ chế chuyển cấp phải xác định rõ người nhận, thời hạn xử lý và hành vi mặc định khi chưa có phản hồi. Với hành động rủi ro cao, hệ thống nên dừng thực hiện thay vì tự động tiếp tục khi chưa được phê duyệt.
Bước 5. Rà soát và điều chỉnh quyền tự chủ dựa trên dữ liệu
Doanh nghiệp nên định kỳ đánh giá hiệu suất của AI theo từng loại tác vụ, thay vì dùng một tỷ lệ chính xác chung cho toàn bộ hệ thống.
Các chỉ số có thể theo dõi gồm:
- Tỷ lệ hành động được xác nhận là đúng.
- Tỷ lệ lỗi nghiêm trọng và lỗi cần con người sửa.
- Số trường hợp phải chuyển cấp.
- Thời gian chờ phê duyệt.
- Tỷ lệ khiếu nại hoặc sự cố sau khi AI xử lý.
- Chi phí vận hành và hiệu quả đạt được.
Khi một nhóm tác vụ có kết quả ổn định, doanh nghiệp có thể cân nhắc giảm số lần phê duyệt trực tiếp và chuyển sang giám sát theo ngoại lệ. Ngược lại, nếu tỷ lệ lỗi tăng hoặc quy trình thay đổi, quyền tự chủ cần được thu hẹp cho đến khi kiểm soát được rủi ro.
Việc mở rộng quyền phải có điều kiện, có giới hạn và có khả năng quay lại mức kiểm soát chặt hơn.
6. HARS và Kimmy: Giữ con người ở đúng vị trí trong quy trình AI
Mục tiêu của Human-in-the-loop không phải là làm chậm AI bằng quá nhiều bước duyệt, mà là để AI xử lý công việc lặp lại trong phạm vi cho phép và chuyển những tình huống quan trọng đến đúng người có thẩm quyền.
HARS phát triển nhân sự số Kimmy theo định hướng hỗ trợ doanh nghiệp chuẩn hóa quy trình, kết nối tri thức và đưa AI vào vận hành có kiểm soát.
AI xử lý công việc lặp lại theo quy trình đã duyệt
Kimmy có thể hỗ trợ hoạt động trực chat, chăm sóc khách hàng và phân luồng yêu cầu theo kịch bản, quy tắc và phạm vi được cấu hình. Những trường hợp vượt ngoài quy trình cần được chuyển đến người phụ trách thay vì để AI tự xử lý không giới hạn.
Con người kiểm soát các quyết định quan trọng
Với các quy trình như xử lý khiếu nại, quản lý công việc hoặc phối hợp giữa các bộ phận, doanh nghiệp cần xác định rõ người chịu trách nhiệm, điều kiện chuyển cấp và các bước cần phê duyệt. Việc lưu lại lịch sử xử lý giúp người quản lý có cơ sở theo dõi và rà soát khi cần.
Cảnh báo giúp phát hiện vấn đề sớm
Các chỉ số vận hành, chất lượng dịch vụ và hiệu suất có thể được dùng để xác định thời điểm cần con người can thiệp. Quy trình rà soát định kỳ giúp doanh nghiệp cập nhật kịch bản khi chính sách, nhu cầu khách hàng hoặc mục tiêu hoạt động thay đổi.
Giá trị của giải pháp không chỉ nằm ở khả năng tự động hóa, mà còn ở việc thiết kế rõ ràng cách phối hợp giữa AI, nhân viên và người quản lý.
Tìm hiểu thêm về sự khác biệt của HARS và danh mục sản phẩm từ A–Z.
[Ảnh minh họa: Kimmy chuyển cảnh báo đến người quản lý — alt: Nhân sự số Kimmy hỗ trợ giám sát và phê duyệt AI Agent]
7. Những sai lầm thường gặp khi triển khai Human-in-the-loop
Phê duyệt mọi hành động của AI
Khi mọi thao tác đều cần người duyệt, nhân sự dễ bị quá tải và có xu hướng phê duyệt theo thói quen. Hãy ưu tiên kiểm soát những hành động có ảnh hưởng lớn hoặc khó đảo ngược.
Trao toàn quyền cho AI quá sớm
Một bản demo chạy tốt không chứng minh AI đã sẵn sàng xử lý mọi trường hợp thực tế. Doanh nghiệp nên bắt đầu với phạm vi quyền hạn giới hạn, kiểm chứng kết quả và chỉ mở rộng khi có đủ dữ liệu.
Người duyệt không có đủ thông tin
Nếu chỉ hiển thị kết quả mà không cung cấp dữ liệu liên quan, căn cứ đề xuất và mức độ rủi ro, người duyệt khó đưa ra quyết định có trách nhiệm.
Không xác định người chịu trách nhiệm cuối cùng
Một quy trình có nút phê duyệt nhưng không có người chịu trách nhiệm, thời hạn phản hồi hoặc phương án chuyển cấp vẫn có thể bị đình trệ. Mỗi điểm kiểm soát cần có chủ sở hữu rõ ràng.
Không bao giờ điều chỉnh quyền tự chủ
Giữ mọi tác vụ ở chế độ phê duyệt thủ công dù AI đã hoạt động ổn định có thể làm tăng chi phí không cần thiết. Ngược lại, nới quyền mà không theo dõi dữ liệu sẽ tạo ra rủi ro. Cần rà soát thường xuyên để tìm được mức kiểm soát phù hợp.
8. Câu hỏi thường gặp về Human-in-the-loop
Human-in-the-loop là gì?
Human-in-the-loop là nguyên tắc thiết kế hệ thống AI trong đó con người tham gia kiểm tra, điều chỉnh hoặc phê duyệt tại những bước quan trọng trước khi hành động có hiệu lực.
Human-in-the-loop và Human-on-the-loop khác nhau thế nào?
Với Human-in-the-loop, con người thường phải phê duyệt trước khi một hành động quan trọng được thực hiện. Với Human-on-the-loop, AI tự thực hiện trong phạm vi cho phép, còn con người giám sát và can thiệp khi phát hiện vấn đề.
Human-out-of-the-loop có nghĩa là AI không cần giám sát?
Không nhất thiết. Khái niệm này nói đến việc con người không trực tiếp tham gia từng hành động. Hệ thống vẫn có thể cần giới hạn quyền, lưu nhật ký, giám sát chỉ số và cơ chế dừng khi phát hiện bất thường.
Doanh nghiệp nhỏ có cần Human-in-the-loop không?
Có, nếu AI được giao các công việc có thể ảnh hưởng đến khách hàng, dữ liệu hoặc tài chính. Doanh nghiệp nhỏ không nhất thiết phải xây hệ thống phức tạp ngay từ đầu, nhưng cần xác định rõ quyền hạn, người chịu trách nhiệm và các trường hợp phải chuyển cấp.
Khi nào có thể cho AI tự chủ nhiều hơn?
Khi dữ liệu vận hành cho thấy AI xử lý ổn định trên một nhóm tác vụ cụ thể, các cơ chế kiểm chứng hoạt động hiệu quả và doanh nghiệp có thể phát hiện, khắc phục sự cố. Quyền tự chủ nên được mở rộng từng bước và có thể thu hẹp lại khi rủi ro tăng.
Làm thế nào để thiết kế điểm phê duyệt hiệu quả?
Bắt đầu bằng việc phân loại tác vụ theo mức độ ảnh hưởng và khả năng đảo ngược. Sau đó, xác định người duyệt, cung cấp đủ thông tin, thiết lập cơ chế chuyển cấp và đo lường hiệu quả để điều chỉnh theo dữ liệu thực tế.
9. Kết luận
Human-in-the-loop không phải là biểu hiện của sự thiếu tin tưởng vào AI, mà là cách phân chia trách nhiệm hợp lý giữa con người và hệ thống tự động.
AI có thể xử lý nhanh những công việc lặp lại trong phạm vi được cấp quyền. Con người cần tập trung vào các quyết định quan trọng, những trường hợp ngoại lệ và các tình huống đòi hỏi trách nhiệm rõ ràng.
Để triển khai hiệu quả, doanh nghiệp nên bắt đầu với ma trận phân loại công việc, xác định người phê duyệt, cung cấp đủ thông tin cho mỗi quyết định và liên tục điều chỉnh quyền tự chủ dựa trên dữ liệu vận hành.
Doanh nghiệp của bạn đã xác định được công việc nào có thể giao cho AI và công việc nào cần con người phê duyệt chưa?
Hãy đăng ký khảo sát AI miễn phí cùng HARS hoặc liên hệ đội ngũ chuyên gia để tìm hiểu lộ trình ứng dụng AI phù hợp với quy trình doanh nghiệp.
Hotline/Zalo: 0365 599 599
Nguồn tham khảo
- OpenAI — Harness engineering: leveraging Codex in an agent-first world.
- Mistral — Modernizing complex legacy code with AI agents.
- Martin Fowler — Harness engineering for coding agent users.
- deepset — Harness Engineering.
Too many approval gates slow down workflows and undermine automation. Too few can expose the business to unexpected errors, financial losses or customer harm before anyone has a chance to intervene.
Human-in-the-loop (HITL) is an AI design principle that keeps people involved at critical decision points. The goal is not to review every AI action, but to place human oversight where it can balance automation efficiency with effective risk control.
In this article, HARS explains the human-in-the-loop approach, the three levels of AI agent autonomy and how to build a decision matrix that determines when an AI agent can act independently and when human approval is required.
Key takeaways
- What human-in-the-loop means: Involving people in reviewing, adjusting or approving important AI decisions.
- Three levels of autonomy: Human-in-the-loop, human-on-the-loop and human-out-of-the-loop.
- A decision matrix: Classifying tasks by impact and reversibility.
- An implementation roadmap: Five steps to design approval gates in an AI harness.
- Practical application: How businesses can divide responsibilities between AI and people while keeping automation under control.
1. What Is Human-in-the-Loop?
Human-in-the-loop (HITL) is an approach to AI system design in which people review, adjust or approve actions at critical points before those actions take effect.
In an enterprise environment, HITL does not mean employees must monitor every AI response or operation. Instead, the system defines in advance when human intervention is required—for example, approving a large expense, confirming a contract change or handling a high-risk customer complaint.
Human-in-the-loop is an important part of an AI harness: the system surrounding an AI agent, including context, tools, permissions, verification, memory and human oversight.
For example, an AI customer service agent may answer frequently asked questions using approved scripts. However, if a customer requests a refund above the permitted limit or submits a serious complaint, the system should escalate the case to an authorized person.
In this model, AI handles repetitive work, while people focus on situations requiring judgment, accountability or higher-level authority.
The core principle: Not every AI action needs human approval, but every action with significant risk needs an appropriate control mechanism.
[Image: People and AI working together in a decision loop — alt: What human-in-the-loop means and how people control AI agents]
2. Why Do Businesses Need Human-in-the-Loop?
2.1. Reduce the risk of incorrect AI decisions
An AI agent can produce a fluent, convincing response that is still wrong about company data, policies or procedures. If it has permission to act immediately, an error may spread to other systems or directly affect customers.
Human-in-the-loop introduces checkpoints before important actions take place. However, these checkpoints work only when reviewers have sufficient information, authority and time to evaluate the AI's proposal.
2.2. Handle situations AI cannot resolve independently
During complex, multi-step tasks, an AI agent may encounter errors, missing data or a problem it cannot resolve. The system needs a way to detect these situations and escalate them to a responsible person rather than retrying indefinitely or claiming that an incomplete task has been finished.
Experience from AI-assisted software modernization shows the value of bounded workflows, result verification and human involvement at critical decision points.
2.3. Establish accountability and support compliance
In banking, insurance, healthcare and the public sector, an incorrect decision can have significant financial consequences, affect customer rights or create compliance risks.
Businesses need to define who can approve an action, who handles incidents and which actions must be recorded. Human-in-the-loop helps establish these controls, but it does not automatically replace legal obligations or industry-specific compliance requirements.
2.4. Improve automation without losing control
The goal of HITL is not to keep people involved in every step. It is to free employees from repetitive work so they can focus on important decisions.
Once AI demonstrates reliable performance on a clearly defined set of tasks, a business may move from approving every case to monitoring metrics and handling exceptions. Greater autonomy should be based on operational evidence, not just a successful demo.
Read more: Industry insights from HARS.
3. Three Levels of AI Agent Autonomy
Businesses can use three practical levels of human involvement when deploying AI agents. This is a useful way to design workflows, not a mandatory standard for every system.
| Level | How it works | Best suited for | Example |
|---|---|---|---|
| Human-in-the-loop | AI proposes an action; a person reviews and approves it before a critical action is executed. | High-impact, high-risk or difficult-to-reverse decisions. | Approving a large expense or confirming a contract change. |
| Human-on-the-loop | AI acts within its permitted scope; people monitor performance, receive alerts and intervene when needed. | Repetitive tasks with clear rules and effective error detection. | Classifying support requests or updating case statuses under defined rules. |
| Human-out-of-the-loop | AI operates without direct human involvement in each transaction; logging and higher-level monitoring may still be in place. | Low-risk tasks with clear limits and straightforward recovery. | Tagging documents or classifying internal content. |
Human-out-of-the-loop does not mean removing every form of monitoring, logging or accountability. Even fully automated enterprise workflows should have permission boundaries and incident-handling procedures.
A business may use all three levels at the same time. For example, AI can classify incoming customer requests, answer common questions using approved scripts and escalate serious complaints to a manager for a decision.
The important question is not "Should we trust AI?" but "What level of autonomy is appropriate for this task?"
4. Decision Matrix: When Can AI Act Alone, and When Is Approval Required?
Businesses can start by evaluating two criteria:
- Impact: How serious would the consequences be if the AI made a mistake, affecting customers, finances, data or business operations?
- Reversibility: If the action went wrong, how easily could the business restore the previous state?
The matrix below is a starting point. Organizations should adapt it to their industry, internal policies, assigned permissions and AI maturity.
| Impact level | Easy to reverse | Difficult or impossible to reverse |
|---|---|---|
| Low | AI may act independently within its assigned permissions. Examples: looking up procedures, summarizing documents and drafting reports. | AI may act with appropriate limits and logging. Example: sending customer care messages using approved scripts, with recipient and frequency limits. |
| High | AI acts under monitoring with an exception-handling mechanism. Examples: classifying and routing complaints or proposing customer record updates. | Require human approval before execution. Examples: approving large expenses, signing contracts, changing pricing policies or deleting important data. |
How to apply the matrix
Step 1: List specific actions the AI may perform rather than assigning a general autonomy level to an entire department.
Step 2: Assess the consequences of an error, including financial loss, customer impact, security exposure and potential regulatory violations.
Step 3: Determine whether the action can be undone. A sent message may not be recoverable, while an unsent draft can usually be edited easily.
Step 4: Select the appropriate control: independent execution, monitored execution, mandatory approval or a prohibition on the action.
Beyond these two criteria, businesses should also consider data sensitivity, legal requirements and the ability to detect errors. For decisions affecting individual rights or carrying serious consequences, a simple matrix alone is not sufficient to justify autonomous AI decision-making.
[Image: Decision matrix based on impact and reversibility — alt: Human-in-the-loop decision matrix for enterprise AI agents]
5. Five Steps to Design Approval Gates in an AI Harness
Step 1. List and classify tasks
Create an inventory of the work AI will perform, from answering questions and sending notifications to updating records or handling customer requests.
Classify each action by impact, reversibility and compliance requirements. Every task type needs a clearly defined permission scope rather than broad permissions based only on an agent's general role.
Step 2. Assign an authorized approver
Each approval gate needs a specific role and an accountable owner.
For example:
- A customer service team lead approves exceptions to support policies.
- The finance director or an authorized delegate approves spending above a defined threshold.
- Legal or another authorized reviewer checks contract changes that require additional oversight.
Businesses should also define backup approvers, response deadlines and fallback procedures when a decision is not made in time.
Step 3. Give approvers enough information
An effective approval request should provide more than an "Approve" or "Reject" button. Reviewers need to know:
- What action is the AI proposing?
- Which data and rules support the proposal?
- Which people, records or systems will be affected?
- What risks could arise?
- Is there an alternative or a way to reverse the action?
Information should be concise, easy to verify and traceable to its source. Without enough context, approval can become a rubber-stamping exercise rather than a meaningful control.
Step 4. Set up alerts and escalation paths
The system should automatically escalate work when:
- The AI lacks sufficient information to make a decision.
- Verification checks fail.
- A task exceeds its deadline or risk threshold.
- An action falls outside the agent's permissions.
- Quality or performance metrics drop below an acceptable threshold.
Escalation rules should specify the recipient, response deadline and default behavior if no one responds. For high-risk actions, the system should stop execution rather than proceed without the required approval.
Step 5. Adjust autonomy based on operational evidence
Businesses should evaluate AI performance by task type rather than relying on a single accuracy score for the entire system.
Useful metrics include:
- The percentage of actions confirmed as correct.
- The rate of critical errors and human corrections.
- The number of escalations.
- Approval waiting time.
- Customer complaints or incidents following AI actions.
- Operating costs and business outcomes.
When a task category performs consistently, the business may consider reducing direct approvals and moving to exception-based monitoring. If error rates rise or workflows change, autonomy should be restricted until the risks are under control.
Greater autonomy should be conditional, bounded and reversible.
6. HARS and Kimmy: Keeping People in the Right Place in the AI Workflow
The purpose of human-in-the-loop is not to slow AI down with excessive approvals. It is to let AI handle repetitive work within defined boundaries while routing important cases to the right decision-maker.
HARS develops Kimmy, a digital workforce solution designed to help businesses standardize processes, connect organizational knowledge and introduce AI into controlled operations.
AI handles repetitive work under approved procedures
Kimmy can support live chat, customer service and request routing using configured scripts, rules and permissions. Cases outside the approved workflow should be escalated to a responsible person instead of being handled without limits.
People retain control over important decisions
For workflows such as complaint handling, task management and cross-team coordination, businesses need clear ownership, escalation criteria and approval requirements. Keeping an interaction history helps managers review actions and investigate issues when necessary.
Alerts help people identify problems early
Operational, service-quality and performance metrics can help determine when human intervention is needed. Regular reviews allow businesses to update scripts as policies, customer needs and operational objectives change.
The value of a solution lies not only in automation, but also in clearly defining how AI, employees and managers work together.
Learn more about what makes HARS different and explore the A–Z product catalog.
[Image: Kimmy escalating an alert to a manager — alt: Kimmy digital workforce supporting AI agent monitoring and approval]
7. Common Human-in-the-Loop Implementation Mistakes
Requiring approval for every AI action
When every operation needs human approval, employees can become overloaded and start approving requests out of habit. Focus controls on high-impact or difficult-to-reverse actions.
Giving AI full autonomy too early
A successful demo does not prove that an AI agent is ready for every real-world scenario. Start with limited permissions, verify results and expand autonomy only when sufficient evidence is available.
Giving approvers insufficient information
If reviewers see only the final result without supporting data, the basis for the recommendation or the associated risks, they cannot make an informed decision.
Failing to assign clear accountability
An approval button is not enough if no one owns the decision, response deadlines are undefined or there is no escalation path. Every control point needs a clearly accountable owner.
Never adjusting autonomy
Keeping every task under manual approval even after the AI has demonstrated stable performance can increase unnecessary costs. On the other hand, expanding permissions without monitoring creates risk. Review the system regularly to maintain the right level of control.
8. Frequently Asked Questions About Human-in-the-Loop
What is human-in-the-loop?
Human-in-the-loop is an AI design principle in which people review, adjust or approve important actions before they take effect.
What is the difference between human-in-the-loop and human-on-the-loop?
With human-in-the-loop, a person typically approves a critical action before execution. With human-on-the-loop, AI acts within its permitted scope while a person monitors performance and intervenes when necessary.
Does human-out-of-the-loop mean AI needs no monitoring?
Not necessarily. The term refers to the absence of direct human involvement in each individual action. The system may still require permission limits, logs, performance monitoring and safeguards that stop operations when something goes wrong.
Do small businesses need human-in-the-loop?
Yes, when AI performs tasks that could affect customers, data or finances. Small businesses do not need to build a complex system from day one, but they should define permissions, accountability and escalation rules.
When can AI be given more autonomy?
When operational data shows reliable performance on a specific category of tasks, verification mechanisms work effectively and the business can detect and recover from incidents. Autonomy should expand gradually and be reduced again if risk increases.
How can businesses design effective approval gates?
Start by classifying tasks according to impact and reversibility. Then assign approvers, provide the information needed to make decisions, establish escalation paths and measure results to refine the process using operational evidence.
9. Conclusion
Human-in-the-loop is not a sign of distrust in AI. It is a practical way to divide responsibilities between people and automated systems.
AI can handle repetitive work quickly within its assigned permissions. People should focus on important decisions, exceptions and situations that require clear accountability.
To implement human-in-the-loop effectively, businesses should start with a task classification matrix, assign approvers, provide the context needed for each decision and continuously adjust AI autonomy based on operational evidence.
Has your business identified which tasks AI can handle independently and which require human approval?
Sign up for a free AI assessment with HARS or contact our experts to explore an AI adoption roadmap suited to your business processes.
Hotline/Zalo: 0365 599 599
References
- OpenAI — Harness engineering: leveraging Codex in an agent-first world.
- Mistral — Modernizing complex legacy code with AI agents.
- Martin Fowler — Harness engineering for coding agent users.
- deepset — Harness Engineering.


