BA024. Sự tiến hóa của EXAWin Bayesian Engine: Ngày dữ liệu tự điều chỉnh tham số

Đã sáu tháng kể từ khi EXA Bayesian Engine (BA020) xua tan màn sương mù xác suất thắng trong kinh doanh (BA020. [EXA Bayesian Inference] Bàn tay vô hình của Sales: Canh bạc 60 ngày). Phó Tổng Giám đốc Kinh doanh đã tin tưởng vào phán đoán của hệ thống, và đội ngũ đã quen với việc ra quyết định dựa trên dữ liệu. Nhưng khi các deal chồng chất và thời gian trôi đi, ông phải đối mặt với một sự thật khó chịu — "giá trị cài đặt ban đầu" của engine vẫn là những con số ông đã nhập bằng trực giác.

Đây là câu chuyện về khoảnh khắc một engine kinh doanh tiến hóa từ "trực giác con người" sang "tự học từ dữ liệu." Tên của sự tiến hóa ấy là Auto-Tuner.

Chương 1. Vết nứt

Đó là một chiều thứ Sáu tháng Ba, mưa xuân gõ nhẹ lên cửa kính.

Phó Tổng Giám đốc Kinh doanh — giờ đây được gọi là "người tiên phong bán hàng bằng dữ liệu" trong công ty — vừa kết thúc buổi đánh giá quý và quay về bàn làm việc. Gương mặt ông không tốt lắm. Mới chỉ ba mươi phút kể từ bài thuyết trình tự tin trước CEO, nhưng có gì đó vẫn cứ gặm nhấm bên trong.

Sau thành công của dự án EnergyA, mười hai deal nữa đã đi qua hệ thống. Kết quả? Tám deal thắng, bốn deal thua. Tỷ lệ thành công 67%. Không tệ. Nhưng vấn đề không nằm ở thành công — mà ở thất bại.

Trong bốn deal thua, ba deal hệ thống đều hiển thị xác suất thắng trên 60% cho đến giai đoạn cuối cùng. Rồi thua.

"Anh Phước, anh xem cái này đi."

Ông đặt chiếc tablet xuống bàn bên cạnh.

"Dự án Delta, thua ở xác suất 68%. Dự án Gamma, thua ở 72%. Engine nói 'được' mà kết quả là 'không.'"

Anh Phước nhíu mày. "Engine bị lỗi à sếp?"

"Không phải lỗi." Phó Tổng uống một ngụm cà phê. "Engine chạy đúng. Vấn đề là... giá trị cài đặt ban đầu mà tôi đưa vào."

Ông nhớ lại sáu tháng trước. Khi hệ thống lần đầu triển khai, ông tự tay thiết lập trọng số (T-value) cho từng giai đoạn bán hàng (Stage) và độ nhạy tín hiệu (k-value). Dựa trên cơ sở nào? Hai mươi năm kinh nghiệm và "cảm giác."

T-value cho Discovery: 0.3. Qualification: 0.6. Solution-Fit: 0.8.

Những con số đó là tác phẩm điêu khắc từ trực giác của ông. Và vào thời điểm đó, chúng là lựa chọn tốt nhất.

Nhưng giờ đây, hơn 100 giao dịch lịch sử đã được tích lũy trong hệ thống. 50 deal thắng và 50 deal thua — cuốn sách giáo khoa trung thực nhất, ghi lại rõ ràng các pattern thành công và thất bại. Nhưng engine vẫn đang chạy với tham số được đặt bằng "cảm giác" từ sáu tháng trước.

Giống như lái xe hơn một năm mà gương chiếu hậu vẫn ở góc do đại lý chỉnh lúc giao xe. Lái được. Nhưng có điểm mù.

"Liệu T-value và k-value chúng ta đặt có không khớp với dữ liệu thực tế không?"

Anh Phước gật đầu. "Nhưng... làm sao tìm ra giá trị đúng? Có cả ngàn tổ hợp mà."

Phó Tổng chạm vào màn hình. Phía bên trái dashboard, một nút mới xuất hiện — sáu tháng trước chưa có. Phát sáng nhẹ màu tím, một biểu tượng chưa từng thấy.

[Auto-Tuner]

Chương 2. Ba ngàn ngã rẽ — Grid Search

Ông nhấn nút, màn hình tối đi và một giao diện mới mở ra. Giữa màn hình hiện lên một dòng chữ ngắn gọn.

Auto-Tuner học từ dữ liệu kinh doanh lịch sử của quý công ty để tính toán tham số Bayesian tối ưu. Đã phát hiện 106 giao dịch tích lũy. Bạn có muốn bắt đầu tối ưu hóa không?

Ông nhấn [Bắt đầu] không chút do dự.

Giai đoạn đầu tiên khởi động. Trên màn hình hiện ra một lưới (Grid). Giống như ảnh chụp trên không trung tâm Seoul, hàng ngàn điểm xếp kín trên một mặt phẳng hai chiều.

Phase 1: Grid Search — Đang tìm kiếm tham số tối ưu

Đang quét: 3,240 tổ hợp tham số T/k

"Cái này là gì vậy sếp?" Anh Phước hỏi.

Phó Tổng đọc phần mô tả. Grid Search. Hệ thống đang quét có hệ thống mọi tổ hợp khả dĩ của T-value (trọng số giai đoạn) và k-value (độ nhạy tín hiệu). Giống như cầm máy dò kim loại quét bãi biển từng centimét một, tìm kiếm Sweet Spot tối ưu.

Các điểm trên lưới bắt đầu đổi màu từng cái một. Xanh dương là độ chính xác thấp. Xanh lá là trung bình. Càng đỏ càng chính xác cao. Ở một góc màn hình, chỉ số Youden's J Index đang nhảy theo thời gian thực.

"Chỉ số J là cái gì?"

Phó Tổng chỉ vào tooltip trên màn hình.

"Là tổng của khả năng nhận đúng 'deal thắng thật sự' (Sensitivity) và khả năng lọc đúng 'deal sẽ thua' (Specificity). Tìm tổ hợp tham số tối đa hóa cả hai cùng lúc."

Trên lưới, một vùng bắt đầu nhuộm đỏ đậm đặc biệt. Trong 3,240 tổ hợp, toán học đang chỉ vào đó.

Ba mươi giây. Đó là toàn bộ thời gian Grid Search cần để tìm ra "ứng viên tối ưu."

Grid Search Hoàn tất

Ứng viên tối ưu: T(Discovery)=0.22, T(Qualification)=0.51, T(Solution-Fit)=0.87, k=1.34

Youden's J = 0.74

Chuyển sang Phase 2.

Phó Tổng so sánh các con số. T(Discovery)=0.30 mà ông đặt bằng "cảm giác" sáu tháng trước, so với 0.22 mà dữ liệu tìm ra. Ý nghĩa thật rõ ràng.

"Tôi đã đánh giá quá cao giai đoạn Discovery. Khi buổi gặp đầu tiên có phản hồi tốt, tôi phấn khích nghĩ 'deal này chắc thắng.' Nhưng dữ liệu đang nói — phản ứng ở giai đoạn Discovery đóng góp vào việc thắng deal ít hơn tôi tưởng rất nhiều."

Ngược lại, trọng số giai đoạn Solution-Fit tăng từ 0.80 lên 0.87. Tín hiệu từ giai đoạn kiểm chứng sự phù hợp kỹ thuật mới là yếu tố quyết định — sự thật được chứng minh bởi 100 giao dịch.

Chương 3. Bão hạt — MCMC Ensemble Sampling

Nhưng Grid Search mới chỉ là khởi đầu. Màn hình chuyển cảnh, giai đoạn thứ hai mở ra.

Phase 2: MCMC Ensemble Sampling — Suy luận phân phối hậu nghiệm

Emcee Ensemble Sampler khởi động. Số Walker: 256

Màn hình tối đi, hàng trăm hạt sáng (Particle) rải khắp màn hình. Giống như hàng trăm con đom đóm đồng loạt bay lên bầu trời đêm.

"Cái này lại là gì?" Anh Kim không biết từ lúc nào đã đứng bên cạnh, miệng há hốc hỏi.

"MCMC. Markov Chain Monte Carlo." Phó Tổng đọc to. "Hàng trăm 'Walker' đồng thời khám phá không gian tham số. Nếu Grid Search tìm ra 'điểm tốt nhất,' thì bước này xác minh 'điểm đó chắc chắn đến mức nào.'"

Các hạt bắt đầu di chuyển. Ban đầu trông hỗn loạn. Có hạt bay lên, có hạt bay xuống, tản mác về mọi hướng. Nhưng theo thời gian, một pattern xuất hiện. Các hạt bắt đầu từ từ hội tụ về một vùng.

"Thấy không? Mấy hạt đang tụ lại chỗ đó."

Nơi anh Phước chỉ, mật độ hạt đang ngày càng dày đặc. Giống như tinh vân nơi các ngôi sao đang hình thành (Nebula), hàng trăm quỹ đạo xoắn ốc vào một tâm duy nhất.

Phía dưới màn hình hiện ra các con số.

Chẩn đoán hội tụ (R-hat)

T(Discovery): R̂ = 1.002

T(Qualification): R̂ = 1.004

T(Solution-Fit): R̂ = 1.001

k: R̂ = 1.003

"R-hat toàn 1.00 thì có gì tốt?"

Phó Tổng mỉm cười. "Nghĩa là toán học đang bảo đảm 'bạn có thể tin vào kết quả này.' 256 nhà thám hiểm, mỗi người đi từ một lối khác nhau, cuối cùng tất cả đều đến cùng một vị trí kho báu. Không phải một hai người — tất cả 256 người đều đồng thuận."

Và đó chính là cốt lõi của quy trình. Nếu Grid Search cho bạn biết "ngọn đồi này cao nhất," thì MCMC xác nhận "và chiều cao của ngọn đồi này chính xác là 87.3 mét, được bảo đảm với 95% độ tin cậy."

Kết quả cuối cùng hiện lên màn hình.

HDI 95% Khoảng tin cậy

T(Discovery): 0.19 ~ 0.25 (Tối ưu: 0.22)

T(Solution-Fit): 0.83 ~ 0.91 (Tối ưu: 0.87)

k: 1.28 ~ 1.41 (Tối ưu: 1.34)

"Khoảng tin cậy..." Phó Tổng lẩm bẩm.

Đó không chỉ là một "câu trả lời" — mà là "phạm vi của câu trả lời." T(Discovery) tối ưu là 0.22, nhưng bất cứ đâu trong khoảng 0.19 đến 0.25 đều an toàn với xác suất 95%. Engine không cố chấp vào một đáp án duy nhất; nó cho bạn biết cả "phạm vi đáng tin cậy." Đó chính là sức nặng quyết định của sự tin tưởng mà MCMC đặt lên trên Grid Search.

Chương 4. Tấm gương — Cross-Validation

Khi giai đoạn thứ ba bắt đầu, tông màu của màn hình thay đổi. Từ tím ấm sang xanh ngọc lạnh. Như ánh đèn phòng phẫu thuật.

Phase 3: 5-Fold Cross-Validation — Kiểm tra Overfitting

"Overfitting là gì ạ?" Anh Kim nghiêng đầu.

Phó Tổng giải thích. "Tưởng tượng một sinh viên học thuộc đáp án thi được 100 điểm, và một người thực sự hiểu bài được 80 điểm. Overfitting là trường hợp đầu. Tham số quá khít với dữ liệu quá khứ có thể sai khi gặp deal mới."

Hệ thống chia 106 giao dịch thành năm nhóm (Fold). Học trên bốn nhóm, kiểm tra trên nhóm còn lại. Quy trình lặp lại năm lần. Giống như thử nghiệm lâm sàng trong y học — xác minh liệu cùng một loại thuốc có hiệu quả trên các nhóm bệnh nhân khác nhau không.

Kết quả Cross-Validation

Fold 1: Độ chính xác 76.2%

Fold 2: Độ chính xác 74.8%

Fold 3: Độ chính xác 73.9%

Fold 4: Độ chính xác 77.1%

Fold 5: Độ chính xác 75.4%

Độ chính xác trung bình: 75.5% (±1.2%)

✅ Không phát hiện overfitting — Khả năng tổng quát hóa tốt

Phương sai chỉ 1.2%. Dù loại ra nhóm dữ liệu nào, hiệu suất gần như không đổi. Bằng chứng cho thấy engine không "quá thích ứng" với quá khứ.

Nhưng bước ngoặt thực sự đến ngay sau đó.

Phân tích Signal Lift — Mức đóng góp theo tín hiệu

Biểu đồ cột xuất hiện trên màn hình. 12 tín hiệu đăng ký trong hệ thống xếp theo thứ tự, mức đóng góp của mỗi tín hiệu vào xác suất thắng được thể hiện qua màu sắc và chiều cao.

"Nhìn cái này."

Anh Phước chỉ vào màn hình. Cột "Chia sẻ thông tin đối thủ" cao vượt trội. Lift: +3.2. Khi khách hàng tiết lộ giá hoặc đề xuất của đối thủ, xác suất thắng tăng 3.2 lần.

Trong khi đó, cột "Số người tham gia cuộc họp tăng" gần như nằm sát đáy. Lift: +0.3.

"Em cứ nghĩ nhiều người đến họp là họ quan tâm..." Anh Kim cười ngượng.

"Đó chính là 'ảo giác.'" Phó Tổng nói. "Mười người đến họp không có nghĩa bạn sẽ thắng deal. Dữ liệu nói rất rõ — đông người chỉ là khán giả. Tín hiệu thực sự là khi khách hàng kín đáo cho bạn xem lá bài của đối thủ."

Và cuối cùng, hệ thống đưa ra một cảnh báo.

⚠️ Mismatch Alert

Tín hiệu "Phê duyệt ngân sách" có Impact Score hiện tại (2.5) không nhất quán với giá trị khuyến nghị từ dữ liệu (1.7).

Tham số đặt quá cao có thể tạo ra False Positive (kỳ vọng sai lầm).

"Ngân sách đã duyệt thì gần như chắc chắn rồi chứ?"

Phó Tổng lắc đầu. "Ngày trước thì đúng. Nhưng gần đây, deal đổ sau khi duyệt ngân sách ngày càng nhiều. Tái cơ cấu tổ chức, thay đổi chiến lược. Dữ liệu đã bắt được điều đó."

Chương 5. Hiệu chỉnh

Ba giai đoạn — Grid Search, MCMC, Cross-Validation — đã hoàn tất. Kết quả cuối cùng hiện lên giữa màn hình.

Auto-Tuner Tối ưu hóa Hoàn tất

Tham số dựa trên dữ liệu vs tham số hiện có

Youden's J Index: 0.52 → 0.74 (cải thiện 42%)

Bạn có muốn áp dụng các tham số này không?

Phó Tổng lướt mắt chậm rãi qua các con số. Bảng so sánh phơi bày rõ ràng bản chất thực sự của sự sai lệch tinh vi mà ông đã mang theo suốt sáu tháng.

Đánh giá quá cao Discovery khiến đội ngũ cảm thấy deal "đã thắng" khi buổi gặp đầu tiên suôn sẻ. Đặt k quá cao khiến mỗi tín hiệu tích cực nhỏ đều làm xác suất nhảy quá mức. Kết quả: những deal được tin là "chắc chắn" ở giai đoạn giữa và cuối đã sụp đổ.

"Áp dụng."

Ông nhấn nút. Các biểu đồ trên màn hình vẽ lại theo thời gian thực. Khi tham số mới được hồi tố áp dụng lên toàn bộ 106 giao dịch, ba deal thua (Delta, Gamma, Sigma) — từng hiển thị 68%, 72%, 61% — được tính lại là 45%, 38%, 42%.

"Thấy chưa?" Ông quay sang anh Phước. "Với tham số mới, mấy deal này không đạt nổi 50%. Hệ thống đã chỉ chính xác 'nguy hiểm.' Chúng ta đã không rơi vào bẫy lạc quan."

Lời kết. Engine tự tiến hóa

Tối hôm đó, một mình trong văn phòng, Phó Tổng nhìn ánh đèn thành phố qua cửa sổ và suy nghĩ.

Sáu tháng trước, ông đã hô 80% chỉ bằng trực giác, rồi bị engine vả cho một cú 26.4%. Ông tin engine, và thắng deal. Nhưng ngay cả engine đó cũng đang chạy trên tham số do "trực giác con người" thiết lập — sự thật mà mãi đến hôm nay ông mới nhận ra.

Điều Auto-Tuner làm rất đơn giản. Xác minh tham số do con người đặt bằng dữ liệu do con người tạo ra, rồi để toán học tìm ra giá trị tối ưu. Trong quá trình đó, những thiên kiến (Bias) vô hình với mắt người đã lộ ra, và dữ liệu đã hiệu chỉnh chúng.

Grid Search quét 3,240 khả năng để tìm ứng viên tối ưu. 256 Walker của MCMC xác minh nghiêm ngặt ứng viên đó. 5-Fold Cross-Validation kiểm tra liệu nó có còn hiệu quả trong tương lai.

Ba công cụ, trả lời cùng một câu hỏi:

"Thế giới mà engine của bạn đang nhìn thấy, giống thế giới thực đến mức nào?"

Phó Tổng gập chiếc tablet và tự lẩm bẩm.

"Sáu tháng trước, tôi điều chỉnh engine. Từ hôm nay, dữ liệu điều chỉnh engine. Và tôi... chỉ cần bẻ lái theo hướng engine chỉ."

Ngay cả trong bóng tối của màn hình đã tắt, hàng trăm hạt vô hình vẫn đang chuyển động. Chờ đợi dữ liệu của deal tiếp theo, chuẩn bị vẽ một bản đồ xác suất chính xác hơn nữa.

[Phụ lục kỹ thuật] Ba trụ cột của Auto-Tuner

Auto-Tuner hoạt động thông qua sự phối hợp của ba engine toán học.

1. Grid Search Optimization

• Quét có hệ thống tất cả tổ hợp trọng số giai đoạn (T) và độ nhạy tín hiệu (k).
• Xác định tổ hợp tối đa hóa Youden's J Index (Sensitivity + Specificity - 1).
• Tìm kiếm toàn diện trên không gian tham số, tránh mắc kẹt tại nghiệm tối ưu cục bộ (Local Optimum).

2. MCMC Ensemble Sampling (Emcee)

• Sử dụng Affine Invariant Ensemble Sampler của Goodman-Weare.
• 256 Walker song song khám phá toàn bộ địa hình Posterior Distribution (phân phối hậu nghiệm).
• Chẩn đoán hội tụ R-hat bảo đảm độ tin cậy; cung cấp khoảng tin cậy HDI (Highest Density Interval) 95%.

3. 5-Fold Cross-Validation & Diagnostics

• Chia dữ liệu thành 5 phần, luân phiên giữa huấn luyện và kiểm tra.
• Phân tích Signal Lift đo mức đóng góp thực tế của từng tín hiệu.
• Mismatch Alert cảnh báo sự khác biệt giữa giá trị người dùng đặt và giá trị tối ưu từ dữ liệu.

📡 Tập tiếp theo

BA025. Tìm kiếm ranh giới tối ưu — Toán học đằng sau Grid Search và Youden's J

Trên 3,240 điểm lưới, engine tìm ra ranh giới tối ưu giữa "deal sẽ thắng" và "deal sẽ thua" như thế nào? Cuộc kéo co giữa Sensitivity và Specificity, Sweet Spot trên đường cong ROC, và nguyên lý toán học của Youden's J Index điều chỉnh tham số kinh doanh.

BA026. Sự đồng thuận của các hạt — Toán học MCMC Ensemble và Cross-Validation

256 Walker khám phá địa hình Posterior Distribution bằng thuật toán Emcee như thế nào. R̂ convergence diagnostics bảo đảm điều gì. Và 5-Fold Cross-Validation trừ khử bóng ma overfitting ra sao. Nếu câu chuyện hỏi "tại sao," thì hai tập này trả lời "bằng cách nào."