Chất lượng dữ liệu khách hàng: khử trùng lặp, chuẩn hóa số điện thoại và email, cách đo và duy trì

Một khách hàng có thể nằm trong CRM thành 3 dòng: số 0912345678, số +84912345678 và một email gõ sai một chữ. Báo cáo đếm ra 3 khách, chiến dịch gửi 3 lần, và không ai biết dòng nào đúng.

Bài này trình bày các chiều chất lượng dữ liệu khách hàng, cách chuẩn hóa số điện thoại và email, khử trùng lặp, chỉ số có công thức và cách chặn lỗi từ lúc nhập. Nguồn gồm tài liệu của GOV.UK, Google, IETF, OWASP, PostgreSQL, Splink, Quyết định 798/QĐ-BTTTT và Luật 91/2025/QH15 (qua bản chép), đối chiếu 22/10/2026.

Click Star đã có bài riêng về hợp nhất dữ liệu khách hàng từ biểu mẫu, Zalo, Facebook và cuộc gọi; bài này không lặp phần đó. Click Star làm dịch vụ CRM, CDP và dashboard dữ liệu, nên có lợi ích liên quan.

Điểm chính

• GOV.UK (24/6/2021), theo khung DAMA UK, khuyến nghị 6 chiều: chính xác, đầy đủ, duy nhất, nhất quán, kịp thời, hợp lệ. Hợp lệ chưa chắc là đúng. ISO/IEC 25012 có 15 đặc tính.
• Theo Quyết định 798/QĐ-BTTTT, gọi song song kết thúc ngày 14/11/2018; từ 15/11/2018 cuộc gọi tới mã cũ chỉ nghe âm thông báo, kéo dài đến 30/6/2019. Số 11 chữ số của thuê bao di động thông thường còn trong CRM là dữ liệu cũ.
• Cú pháp email chỉ là bước lọc thô. Chỉ liên kết xác nhận gửi qua thư mới chứng minh quyền kiểm soát hộp thư; không nên đoán hay tự sửa địa chỉ.
• Khử trùng lặp cân bằng giữa gộp sót và gộp nhầm: chỉ tự gộp ở khóa chắc chắn, tự đặt ngưỡng khớp mờ, và ghi nhật ký để hoàn tác.
• Mỗi chỉ số cần công thức và người phụ trách. Bài không nêu mức chuẩn vì không tìm thấy nguồn mở.

Chất lượng dữ liệu khách hàng gồm những chiều nào

Theo Government Data Quality Hub trên GOV.UK (24/6/2021), chất lượng dữ liệu được chia thành các chiều, một chiều đơn lẻ không đủ, và cần chọn chiều hợp với mục đích dùng.

6 chiều theo DAMA UK: chính xác là dữ liệu phản ánh thực tế; đầy đủ là có đủ dữ liệu cần cho mục đích, không phải 100% số trường; duy nhất đo số bản trùng; nhất quán là không mâu thuẫn trong hồ sơ hay giữa các tập dữ liệu; kịp thời là dữ liệu sẵn sàng khi cần; hợp lệ là đúng định dạng, kiểu và phạm vi.

Bài GOV.UK có 3 ý đáng nhớ. Đầy đủ phụ thuộc mục đích. Bản ghi vẫn là bản trùng dù vài trường khác nhau, như 2 hồ sơ khác địa chỉ nhưng cùng một người. Hợp lệ không bảo đảm đúng (ví dụ của bài là màu mắt); ví dụ của Click Star là số đúng định dạng nhưng đã đổi chủ.

Theo trang IEC Webstore, ISO/IEC 25012:2008 là mô hình chất lượng cho dữ liệu có cấu trúc, gồm 15 đặc tính theo 2 góc nhìn: vốn có và phụ thuộc hệ thống.

Theo iso25000.com (nguồn thứ cấp, không ghi ngày), 5 đặc tính vốn có (như Accuracy), 7 thuộc cả hai nhóm (như Traceability) và 3 phụ thuộc hệ thống (như Recoverability). Click Star không đọc được toàn văn vì chuẩn bán có phí, nên dùng 6 chiều DAMA UK làm khung đo.

Chuẩn hóa số điện thoại Việt Nam

Nguyên tắc: lưu một dạng chuẩn để so sánh và giữ nguyên bản khách nhập.

Đổi mã mạng 2018. Click Star đọc bản chép tiếng Anh của Quyết định 798/QĐ-BTTTT (Bộ Thông tin và Truyền thông ký 25/5/2018) trên english.luatvietnam.vn, không phải cổng chính thức. Kế hoạch đổi 21 mã mạng 11 chữ số sang 21 mã 10 chữ số, 7 số cuối giữ nguyên.

Ví dụ: MobiFone 120, 121, 122, 126, 128 thành 70, 79, 77, 76, 78; VinaPhone 123, 124, 125, 127, 129 thành 83, 84, 85, 81, 82; Viettel 162 đến 169 thành 32 đến 39; Vietnamobile 186, 188 thành 56, 58; Gmobile 199 thành 59.

Mốc thời gian: bắt đầu 00:00 ngày 15/9/2018; gọi song song mã cũ và mới đến 23:59 ngày 14/11/2018; từ 15/11/2018 cuộc gọi tới mã cũ chỉ nghe âm thông báo, kéo dài đến 23:59 ngày 30/6/2019, sau đó chỉ gọi được bằng mã mới.

Nội dung chính của bản chép (mục 2.4) ghi nhầm năm 2019 ở mốc bắt đầu gọi song song; phụ lục và báo chí ghi 2018, nên Click Star lấy năm 2018.

Ý nghĩa với dữ liệu. Số 11 chữ số của thuê bao di động thông thường còn trong CRM không còn gọi được. Văn bản ghi mã không có số 0 đầu; trong CRM số thường có 0 đứng trước, như 0123 4567890 thành 083 4567890. Hãy thử đổi đầu số theo bảng trên và đánh dấu "chưa xác minh", vì bảng đổi không cho biết thuê bao còn dùng không.

Thuê bao máy (M2M) theo lộ trình riêng: bản chép để nhà mạng chuyển dần sang mã 1x từ 1/7/2018 đến 31/12/2020. Bài này không kết luận cho nhóm đó.

Thư viện kiểm tra. README của libphonenumber (Google) mô tả isPossibleNumber (đoán nhanh chỉ theo độ dài) và isValidNumber (kiểm tra theo độ dài và đầu số), cùng getNumberType, isNumberMatch và AsYouTypeFormatter. Thư viện chỉ cho biết nhà mạng gốc của dải số, và có bản phát hành chỉ đổi metadata, nên cần cập nhật định kỳ.

Email: cú pháp ở mức cần thiết, xác thực bằng gửi thư

Kiểm tra cú pháp chỉ loại lỗi gõ rõ ràng; địa chỉ có thật và do đúng người kiểm soát phải xác nhận bằng gửi thư. RFC 5321 (IETF, 10/2008) đặt giới hạn phần trước @ tối đa 64 octet và tên miền tối đa 255 octet.

OWASP (cheat sheet, không ghi ngày) khuyên dùng thư viện đã kiểm thử thay cho biểu thức chính quy tự viết và chỉ từ chối địa chỉ rõ ràng sai.

So sánh. RFC 5321 nói tên miền không phân biệt hoa thường, còn phần trước @ phải xử lý như có phân biệt nhưng khai thác điều này bị khuyên không nên. OWASP khuyên lưu cả bản gốc và bản chuẩn, hạ chữ thường phần miền, và tránh quy tắc riêng của nhà cung cấp (như bỏ dấu chấm của Gmail).

Đề xuất của Click Star: khóa so sánh dùng chữ thường toàn bộ để tìm ứng viên trùng, giữ bản gốc, ghi chính sách thành văn bản, và không dùng cho đăng nhập vì rủi ro nhầm tài khoản.

Xác thực. OWASP yêu cầu mã xác minh ngẫu nhiên, dùng một lần và có thời hạn. Click Star đề xuất, với marketing, chỉ tính email "đã xác nhận" khi người nhận bấm liên kết. Click Star không khuyên tự sửa "gmial.com" thành "gmail.com"; nếu muốn gợi ý, hãy hỏi người nhập.

Khử trùng lặp: khóa chắc chắn, khớp mờ, hợp nhất

Khử trùng lặp là tìm các hồ sơ cùng chỉ một người rồi quyết định gộp hay giữ riêng. Theo tài liệu Splink, cách xác định dùng quy tắc, rẻ, chính xác cao nhưng dễ bỏ sót; cách xác suất cộng bằng chứng từ nhiều trường và cho điểm.

Với cách xác suất, người dùng tự chọn ngưỡng: ít gộp nhầm thì đặt cao, ít bỏ sót thì đặt thấp, và tài liệu không đưa ngưỡng chung.

Khóa chắc chắn. Trường gần như chỉ thuộc một người, đã chuẩn hóa và xác minh, như số E.164 hoặc email xác nhận.

Chặn khối. So mọi cặp thì số phép so tăng rất nhanh. Splink chỉ so các cặp có chung vài trường, với nhiều quy tắc chặt thay cho ít quy tắc lỏng.

Khớp mờ. PostgreSQL có module pg_trgm so chuỗi theo bộ 3 ký tự, có chỉ mục GIN hoặc GiST, ngưỡng mặc định 0,3 của toán tử %. Số 0,3 là mặc định của module, không phải chuẩn chất lượng; hãy thử trên mẫu của mình.

Dấu tiếng Việt. Unicode có 2 cách biểu diễn cùng một chữ có dấu. UAX #15 (Unicode 18.0.0, 12/8/2026) gọi đó là tương đương chính tắc; dạng NFC dùng ký tự dựng sẵn. Hãy đưa tên về NFC trước khi so.

Suy luận của Click Star: bỏ dấu chỉ để sinh ứng viên, không để tự gộp, vì 2 tên khác dấu có thể là 2 người.

Chặn ở cơ sở dữ liệu. Theo tài liệu PostgreSQL 18, chỉ mục duy nhất không cho 2 dòng cùng giá trị, và giá trị rỗng mặc định không coi là bằng nhau. Chỉ mục trên lower(email) cấm cả 2 địa chỉ chỉ khác hoa thường.

Hợp nhất có nhật ký. Đề xuất của Click Star, không lấy từ nguồn ngoài: không xóa hồ sơ gốc mà đánh dấu đã gộp, ghi quy tắc, điểm, thời điểm, người duyệt để hoàn tác, và giữ trạng thái đồng ý theo từng mục đích.

Đo chất lượng bằng chỉ số có công thức

GOV.UK nói mỗi tổ chức nên đo và theo dõi chất lượng dữ liệu quan trọng theo các chiều phù hợp, và việc này liên tục. Bộ chỉ số sau là khung tham khảo của Click Star, không phải số đo, không lấy từ nguồn ngoài.

• Tỷ lệ thiếu trường bắt buộc = hồ sơ thiếu ít nhất một trường bắt buộc ÷ tổng hồ sơ.
• Tỷ lệ số điện thoại hợp lệ = hồ sơ có số qua isValidNumber ÷ hồ sơ có số.
• Tỷ lệ email đã xác nhận = hồ sơ có email đã bấm liên kết ÷ hồ sơ có email.
• Tỷ lệ thư trả về vĩnh viễn (hard bounce) = thư trả về vĩnh viễn ÷ thư đã gửi, theo chiến dịch.
• Tỷ lệ hồ sơ nghi trùng = hồ sơ thuộc nhóm nghi trùng ÷ tổng hồ sơ.
• Tỷ lệ gộp nhầm = cặp gộp sai ÷ cặp đã gộp trong mẫu kiểm tay.
• Tỷ lệ hồ sơ còn mới = hồ sơ được xác nhận trong N ngày ÷ tổng hồ sơ, N do doanh nghiệp chọn.

Click Star không nêu mức "đạt" vì không có nguồn mở nào đưa mức chuẩn. Hãy đo lần đầu, đặt mục tiêu theo xu hướng và chi phí sai sót.

Chiều chính xác cần mẫu gọi xác minh.

Chặn lỗi từ lúc nhập và dọn định kỳ

Sửa lỗi lúc nhập tránh lỗi lan sang báo cáo và chiến dịch. Click Star đề xuất 5 lớp (khung tham khảo).

1. Biểu mẫu: định dạng số khi gõ (AsYouTypeFormatter), báo lỗi rõ, chỉ chặn khi sai hẳn.
2. API và máy chủ: kiểm tra lại, vì OWASP nói kiểm tra phía trình duyệt có thể bị vượt qua.
3. Cơ sở dữ liệu: chỉ mục duy nhất trên giá trị chuẩn hóa.
4. Xác minh: gửi liên kết xác nhận tới email.
5. Dọn định kỳ và chỉ số: kiểm tra hằng ngày, lấy mẫu hằng tháng, nhóm nghi trùng vào hàng duyệt.

Vòng đời dữ liệu và quyền của chủ thể

Click Star đọc Luật Bảo vệ dữ liệu cá nhân số 91/2025/QH15 (ngày 26/6/2025, hiệu lực 1/1/2026) qua bản chép trên ketoananpha.vn. Cần đối chiếu văn bản gốc; đây không phải tư vấn pháp lý.

Theo bản chép, Điều 3 khoản 3 yêu cầu bảo đảm tính chính xác, chỉnh sửa, cập nhật khi cần và lưu trữ phù hợp mục đích. Điều 10 khoản 1 cho phép yêu cầu hạn chế xử lý khi nghi ngờ tính chính xác.

Điều 13 khoản 2 nêu bên kiểm soát phải chỉnh sửa sau yêu cầu và yêu cầu bên xử lý, bên thứ ba chỉnh sửa theo. Cách đọc của Click Star, không phải ý kiến pháp lý: lần sửa phải đến được hồ sơ gộp và mọi bản sao, nên mỗi trường cần ghi nguồn và thời điểm nhập.

Đánh giá của Click Star. Doanh nghiệp nhỏ thường được lợi nhiều nhất từ 3 việc: 1 hàm chuẩn hóa dùng chung, 1 chỉ mục duy nhất trên giá trị chuẩn và bảng 7 chỉ số xem hằng tuần.

Lộ trình 30 ngày

Đây là khung tham khảo của Click Star, không lấy từ nguồn ngoài.

• Tuần 1: chọn 5 trường quan trọng, viết hàm chuẩn hóa, lưu bản gốc và bản chuẩn, đo lần đầu 7 chỉ số.
• Tuần 2: đưa hàm vào mọi đường nhập (biểu mẫu, nhập tay, tệp, tích hợp), thêm chỉ mục duy nhất, xử lý số 11 chữ số cũ.
• Tuần 3: khử trùng lặp trên bản sao dữ liệu, tự gộp ở khóa chắc chắn, còn lại vào hàng duyệt.
• Tuần 4: bật kiểm tra hằng ngày, lấy mẫu gộp nhầm, gửi liên kết xác nhận, giao người phụ trách từng chỉ số.

Điều chưa biết

Click Star không tìm thấy mức chuẩn mở cho tỷ lệ trùng, thiếu trường hay số hợp lệ, và không có số đo cho doanh nghiệp Việt Nam. Chưa đọc toàn văn ISO/IEC 25012.

Chưa mở được Quyết định 798/QĐ-BTTTT trên cổng chính thức; Luật 91/2025/QH15 cũng qua bản chép. Chưa đọc quy tắc đầu số số cố định, chưa kiểm metadata Việt Nam của libphonenumber, và chưa có nguồn về gộp nhầm khi so tên tiếng Việt.

Những sai lầm thường gặp

1. Coi hợp lệ là đúng, dù số hay email đúng định dạng vẫn có thể sai người.
2. Chuẩn hóa mỗi nơi một kiểu, nên cùng một khách ra nhiều khóa.
3. Ghi đè bản gốc bằng bản chuẩn hóa, mất khả năng truy vết và sửa theo yêu cầu của khách.
4. Tự động gộp khi chỉ trùng tên, hoặc dùng ngưỡng khớp mờ mặc định chưa thử trên mẫu.
5. Tự sửa email theo đoán thay vì hỏi lại người nhập.
6. Bỏ qua số 11 chữ số cũ, hoặc dùng số vừa đổi đầu số khi chưa xác minh.