Với mong muốn đảm bảo dịch vụ thông suốt cho khách hàng và tiết kiệm tối đa nguồn lực cũng như thời gian xử lý sự cố, Trung tâm Phát triển và Quản lý hạ tầng (INF) FPT Telecom quyết định xây dựng giải pháp phân tích và tự động phát hiện lỗi tập điểm, sau thời gian dài bị động tiếp nhận các cuộc gọi báo lỗi từ khách hàng, giúp giảm thời gian phát hiện sự cố từ 8h xuống 3 phút.
Tập điểm là thành phần quan trọng trên hạ tầng của một ISP (Internet Service Provider – Nhà cung cấp dịch vụ Internet), là phần tử hạ tầng cuối cùng kết nối với khách hàng. Số lượng sự cố của phần tử tập điểm chiếm đến 75% tổng số lượng sự cố ngoại vi của toàn bộ hạ tầng. Tuy nhiên tập điểm lại là một phần tử thụ động (không cần nguồn để chạy) nên không có các phương án giám sát chủ động thông qua các giao thức giám sát mạng với các phần tử chủ động khác như switch, OLT, router…
Trước khi có giải pháp, chỉ có cách duy nhất xác định được lỗi phần tử là khi khách hàng mất kết nối sau đó báo lên hệ thống Tổng đài (Call Center), nhân sự TIN/PNC sẽ tiếp nhận thông tin từ SCC (Đơn vị giám sát và thông báo sự cố) để kiểm tra tại nhà khách hàng từ cáp thuê bao, tập điểm. Sau khi phát hiện được lỗi tập điểm sẽ tạo ticket để ghi nhận sự cố đó. (Ticket là hệ thống cảnh bảo sự cố, gán cho từng đơn vị quản lý phần tử để đơn vị đi xử lý).
Toàn bộ quá trình kể từ khi khách hàng mất kết nối cho đến khi được phát hiện và xử lý trung bình kéo dài khoảng 8 tiếng. Đây thực sự là khoảng thời gian dài, gây ảnh hưởng đến chất lượng dịch vụ cung cấp và sự hài lòng của khách hàng trong thời đại internet hiện nay.
“FPT Telecom có đến hàng triệu hộp cable (cáp) tập điểm kết nối tới toàn bộ khách hàng. Trước đó, các lỗi kết nối từ khách hàng đến hộp, từ hộp đến thiết bị tại trạm của FPT Telecom thì hệ thống không nhận diện được. Chỉ đến khi khách hàng báo tới tổng đài Chăm sóc khách hàng (CSKH) thì hệ thống mới ghi nhận lỗi và thực hiện quy trình xử lý sự cố. Từng đơn vị từ Call Center, SCC đến INF, TIN, PNC đều sẽ tham gia để xác định lỗi và đi xử lý. Thời gian gián đoạn dịch vụ kéo dài ảnh hưởng tới chất lượng và trải nghiệm dịch vụ của khách hàng, chỉ tiêu kết nối liên tục mà FPT Telecom luôn đặt hàng đầu khi cung cấp dịch vụ tới từng khách hàng”, anh Nguyễn Thanh Tuấn (Phòng Kỹ thuật Hệ thống, FPT Telecom) – thành viên dự án, chia sẻ.
Sau khi đánh giá được vấn đề trên, INF đã kết hợp cùng đơn vị CADS, SCC để xây dựng một giải pháp giám sát phần tử tập điểm dựa trên công nghệ Big Data và AI. Tháng 2/2021 hình thành ý tưởng và xây dựng giải pháp, mất 8 tháng nghiên cứu, hoàn thiện giải pháp và chạy thử, thêm 8 tháng triển khai thử nghiệm, chỉnh sửa và đánh giá hiệu quả. Đến tháng 4/2023, chính thức áp dụng giải pháp trên phạm vi toàn quốc.
Đối tượng thụ hưởng lớn nhất là đơn vị CSKH của FPT Telecom. Nếu như trước đây, đơn vị chỉ biết có sự cố khi nhận thông tin trực tiếp từ khách hàng. Thì hiện tại, hệ thống tự phát hiện lỗi trước khi khách hàng thông báo, tự gửi ticket cho đơn vị xử lý. Cùng lúc, hệ thống sẽ gửi thông tin đến bộ phận CSKH để trả lời tự động nếu khách hàng gọi lên hoặc chủ động gửi thông tin về sự cố cho khách. Giải pháp giúp tiết kiệm tối đa nguồn lực và thời gian nghe nhận các cuộc gọi hay tạo ticket như trước kia.
“Giải pháp sử dụng công nghệ AI, Machine Learning để phân tích và dự đoán sự cố. Bài toán lớn nhất liên quan đến dữ liệu đầu vào và lượng dữ liệu lớn. Hạ tầng ngoại vi là các thiết bị không chạy bằng điện. Vì vậy, lấy được tất cả log dữ liệu theo thời gian thực để đánh giá, phân tích là việc không dễ. Sau đó, đội dự án vẫn phải tiếp tục làm sạch dữ liệu”, anh Tuấn chia sẻ.
Cụ thể, hệ thống ghi nhận trung bình có đến 425GB dữ liệu và 1,84 tỷ bản ghi được ghi nhận và xử lý trong 1 tháng. Giải pháp áp dụng công nghệ xử lý Hadoop và Spark, cùng với công nghệ phân tích Analytics (Rule-base), AI NLP, model Deep Learning và kích hoạt tổng đài chăm sóc khách hàng tự động, Autoticket và Autocall để dự đoán, phân tích và thông báo lỗi.
Giải pháp từng bước chuẩn đoán lỗi, loại bỏ nhiễu tín hiệu, phân tích bất thường dựa vào lần đăng nhập cuối của người dùng, sau đó gom nhóm các sự cố liên quan (theo khu vực, phần từ…) rồi tiến hành thông báo sự cố nhanh chóng với tính chính xác cao.
Với việc áp dụng các giải pháp đồng bộ và toàn trình như trên, tổng thời gian phát hiện sự cố của khách hàng giảm từ 8h xuống còn 3 phút. Toàn bộ quy trình từ khi phát hiện lỗi, phân tích và thông báo lỗi đến đơn vị xử lý được thực hiện hoàn toàn tự động. Thay vì tiếp nhận sự cố bị động từ phía khách hàng như trước, nay FPT Telecom chuyển sang chủ động chăm sóc khách hàng dựa trên dữ liệu.
Dự án chuyển đổi số của Trung tâm Phát triển và Quản lý hạ tầng (INF) giúp giám sát được phần tử thụ động một cách tự động với thời gian thực, giảm tối đa thời gian phát hiện sự cố (từ 8h xuống 3 phút). Điều này giúp giảm thời gian bị ảnh hưởng của khách hàng và tăng trải nghiệm tích cực của họ với dịch vụ của FPT Telecom.
Giải pháp giúp tiết kiệm mỗi năm 19 man-month nhân sự (man-month là khối lượng công việc mà một nhân viên phải hoàn thành trong 1 tháng, dùng thường xuyên trong các dự án công nghệ thông tin) dựa trên ước tính thời gian tiếp nhận cuộc gọi bị động và thời gian tạo ticket. Bên cạnh đó, còn giúp tiết kiệm đến 7,2 tỷ đồng (ước tính dựa trên tỷ lệ khách hàng rời bỏ mạng trước kia).
Theo anh Tuấn, tỷ lệ đáp ứng của giải pháp đang ở mức 98%, các sự cố gần như được phát hiện tự động. Trong thời gian tới, đội dự án sẽ tiếp tục nâng cao tỷ lệ lên tối đa với mong muốn đảm bảo dịch vụ thông suốt cho khách hàng.
Theo Chungta
