Khi incident xảy ra, vấn đề không chỉ là biết có lỗi
2 giờ sáng. PagerDuty phát cảnh báo, tỷ lệ lỗi 5XX tăng mạnh và một incident bắt đầu diễn ra trong khi phần lớn mọi người đang ngủ. Một kỹ sư on-call lập tức mở laptop, vào war room và bắt đầu kiểm tra dashboard, log, metrics và những thay đổi gần nhất. Nhưng trong một tình huống cần phản ứng nhanh, việc tìm ra nguyên nhân thực sự có thể mất nhiều thời gian, đặc biệt khi người điều tra đang phải xử lý một lượng lớn thông tin trong điều kiện không thuận lợi nhất.
Đây là một thực tế khá khó chịu của incident response hiện nay. Sự cố không quan tâm đến giờ làm việc, trong khi con người thì có; và ngay cả khi đã có người phản ứng, monitoring cũng thường chỉ giúp trả lời nhanh câu hỏi “cái gì đang gặp vấn đề”, chứ hiếm khi chỉ ra ngay “vì sao nó xảy ra”. Kỹ sư vẫn phải lần theo các tín hiệu rời rạc, kết nối thông tin từ nhiều nguồn, đặt giả thuyết rồi kiểm chứng từng hướng một trước khi có thể xác định root cause.
Vậy nếu có một “first responder” luôn sẵn sàng khi incident xảy ra thì sao? Một hệ thống không cần ngủ, không cần nghỉ và có thể bắt đầu quá trình điều tra ngay khi cảnh báo xuất hiện, thay vì chỉ thông báo rằng có một sự cố đang xảy ra. Đây chính là ý tưởng đằng sau First Responder, giải pháp AI do Thoughtworks Vietnam phát triển để hỗ trợ kỹ sư trong quá trình điều tra và xử lý incident.
Thay vì chỉ tổng hợp những dữ liệu đã có và đưa ra một câu trả lời, First Responder có thể chủ động lần theo các tín hiệu, hình thành và kiểm chứng giả thuyết, rồi tiếp tục điều tra cho đến khi có đủ bằng chứng để đi đến một kết luận đáng tin cậy.
First Responder hoạt động như thế nào?
First Responder được xây dựng dựa trên một cách tiếp cận đơn giản nhưng khác biệt: điều tra incident không phải là một câu hỏi có một câu trả lời duy nhất, mà là một quá trình liên tục khám phá và kiểm chứng. Khi nhận được một cảnh báo, hệ thống bắt đầu bằng việc quan sát các tín hiệu liên quan, từ đó xác định những hướng có khả năng giải thích vấn đề.
Từ các giả thuyết ban đầu, First Responder tiếp tục tìm kiếm thông tin để kiểm chứng. Một giả thuyết có thể được củng cố bởi những bằng chứng mới, nhưng cũng có thể bị loại bỏ nếu dữ liệu không ủng hộ. Khi đó, hệ thống chuyển sang hướng điều tra khác và tiếp tục lặp lại quá trình này. Cách tiếp cận đó được Thoughtworks Vietnam gọi là Loop Engineering: Quan sát → Đặt giả thuyết → Điều tra → Kiểm chứng → Điều chỉnh → Lặp lại.
Điểm quan trọng là First Responder không dừng lại ở câu trả lời đầu tiên chỉ vì câu trả lời đó nghe có vẻ hợp lý. Hệ thống được thiết kế để tiếp tục điều tra, kết nối các manh mối và kiểm chứng các giả thuyết, với mục tiêu tiến gần hơn đến root cause thay vì chỉ đưa ra một bản tóm tắt về những gì đã xảy ra.
Điều gì khiến First Responder khác biệt?
Một incident có thể bao gồm nhiều vấn đề và nhiều hướng điều tra khác nhau. Có những bước kiểm tra tương đối đơn giản và có thể xử lý nhanh, nhưng cũng có những tình huống đòi hỏi phải kết nối thông tin từ nhiều phần của hệ thống và cần reasoning sâu hơn. First Responder được thiết kế để phân chia và điều phối các công việc trong quá trình điều tra, thay vì sử dụng một cách xử lý duy nhất cho mọi tình huống. Nhờ đó, hệ thống có thể dành mức độ xử lý phù hợp cho từng phần của quá trình điều tra.
Một điểm khác biệt khác nằm ở khả năng tận dụng những gì đã được tích lũy từ các lần điều tra trước. Một incident không chỉ để lại root cause mà còn để lại cả quá trình đi đến kết luận đó: những gì đã được kiểm tra, những giả thuyết nào bị loại bỏ và hướng nào cuối cùng dẫn đến kết quả. Việc giữ lại những context này mở ra khả năng để các incident trong tương lai không phải luôn bắt đầu từ một trang giấy trắng.
Cuối cùng, First Responder không hướng đến việc thay thế kỹ sư. Giá trị của hệ thống nằm ở việc giảm bớt phần công việc điều tra lặp lại và tốn thời gian, để kỹ sư có thể tập trung vào những phần đòi hỏi đánh giá của con người, từ đánh giá bằng chứng đến đưa ra quyết định xử lý. Nói cách khác, mục tiêu không phải để AI xử lý mọi incident thay con người, mà để kỹ sư không phải bắt đầu mọi cuộc điều tra từ con số 0.
Xem First Responder hoạt động trực tiếp tại XConf Vietnam
Nhưng một hệ thống có thể điều tra incident trên lý thuyết không có nghĩa là nó sẽ xử lý được một incident thực tế. Câu hỏi thú vị hơn là điều gì xảy ra khi First Responder phải đối mặt với một sự cố đang diễn ra, với những tín hiệu chưa rõ ràng và nguyên nhân chưa được xác định.
Tại XConf Vietnam vào ngày 10/10/2026, Thoughtworks Vietnam lần đầu tiên đưa hệ thống First Responder lên sân khấu trong một buổi minh họa trực tiếp. Một ứng dụng đang chạy sẽ được chủ động tạo lỗi, sau đó First Responder sẽ bắt đầu quá trình điều tra theo thời gian thực. Người tham dự có thể theo dõi cách hệ thống lần theo từng manh mối, kiểm chứng các giả thuyết và tiến tới root cause, thay vì chỉ xem một demo với kết quả đã được xác định từ trước.
Đây cũng là cơ hội để các kỹ sư và doanh nghiệp khám phá rõ hơn cách Thoughtworks Vietnam đang tiếp cận AI-powered incident response và Loop Engineering trong thực tế, từ cách hệ thống điều phối quá trình điều tra đến những cơ chế cần thiết để AI hoạt động trong phạm vi được kiểm soát.
Đăng ký tham dự XConf Vietnam MIỄN PHÍ tại đây: https://tinyurl.com/xconfvietnam
Nội dung và hình ảnh thuộc về Thoughtworks Vietnam.
Nguồn trích dẫn website: https://itviec.com/blog/first-responder-khi-ai-tro-thanh-nguoi-dau-tien-di-tim-su-co/
