[RUN] Suite24 started 2026-09-25T10:28:47+00:00 [RUN] code=/root/disk_3tb/earlywarning/30072026/suite24_target_conditioned_structural_residual [RUN] log=/root/disk_3tb/earlywarning/30072026/log/suite24_target_conditioned_structural_residual.log ============================================================================================================== SUITE24 FINAL ENVIRONMENT CHECK ============================================================================================================== python= 3.13.5 | packaged by Anaconda, Inc. | (main, Jun 12 2025, 16:09:02) [GCC 11.2.0] executable= /root/miniconda3/envs/Huy/bin/python3 [OK] numpy 2.2.6 [OK] pandas 2.3.1 [OK] sklearn 1.7.1 [OK] joblib 1.5.1 [OK] torch 2.7.1+cu118 [CUDA] available=True device=Tesla V100-SXM2-32GB [OK] canonical cache complete for 14 faculties x 7 folds [OK] raw evidence source /root/disk_3tb/earlywarning/30072026/results/suite12_structured_cache/raw_index/course_history.joblib [OK] raw evidence source /root/disk_3tb/earlywarning/30072026/results/suite12_structured_cache/raw_index/course_static.joblib [OK] raw evidence source /root/disk_3tb/earlywarning/30072026/results/suite12_structured_cache/raw_index/course_edges.joblib [REF] Suite18 FOUND /root/disk_3tb/earlywarning/30072026/results/suite18_fmm_forward_specialist_boosting [REF] Suite21 FOUND /root/disk_3tb/earlywarning/30072026/results/suite21_guarded_temporal_residual [REF] Suite22 FOUND /root/disk_3tb/earlywarning/30072026/results/suite22_sftr_tabm [REF] Suite23 FOUND /root/disk_3tb/earlywarning/30072026/results/suite23_cs_hagt [REF] Council FOUND /root/disk_3tb/earlywarning/30072026/results/suite4/2_competence_council [REF] V2 FOUND /root/disk_3tb/earlywarning/30072026/results/final_train_v2 [PASS] Suite24 environment is ready. ============================================================================================================================================================================ SUITE24 — TARGET-CONDITIONED STRUCTURAL RESIDUAL NETWORK (TCSR) student-history paths | direct prerequisite/structural paths | Committee-anchored bounded corrections | row-wise evidence authority | standalone relational head ============================================================================================================================================================================ [ENV] device=cuda torch=2.7.1+cu118 faculties=14 folds=[1, 2, 3, 4, 5, 6, 7] dev=[1, 2, 3, 4, 5] holdout=[6, 7] [SCIENTIFIC CONTRACT] A=history residual; B=history+direct structural residual; C=evidence-conditioned bounded residual (PRIMARY); graph is target-conditioned/local, not global propagation; no cohorts/groups/faculty graph/time module; Committee is an anchor inside C, not a post-hoc fusion. Standalone head and simple blend are ablations. F6/F7 never select model/epoch/calibration/scale/blend. [EVIDENCE INDEX] interactions=1,037,637 students=28,208 courses=1,708 course_relations=3,670 ============================================================================================================================================================================ SUITE24 TARGET FOLD 1 ============================================================================================================================================================================ [DATA] history=240,672 fail=4,445 (1.85%) train=141,668 validation=99,004 target=45,800 fail=1,083 (2.36%) [EVIDENCE CACHE] history... [EVIDENCE CACHE] 25,000/240,672 [EVIDENCE CACHE] 50,000/240,672 [EVIDENCE CACHE] 75,000/240,672 [EVIDENCE CACHE] 100,000/240,672 [EVIDENCE CACHE] 125,000/240,672 [EVIDENCE CACHE] 150,000/240,672 [EVIDENCE CACHE] 175,000/240,672 [EVIDENCE CACHE] 200,000/240,672 [EVIDENCE CACHE] 225,000/240,672 [EVIDENCE CACHE] target... [EVIDENCE CACHE] 25,000/45,800 FOLD 1 SUITE24 EVIDENCE SUPPORT — TARGET -------------------------------------------------------------------------------- faculty rows prevalence history_courses_mean structural_courses_mean related_history_mean same_course_history_mean failed_history_mean direct_structural_mean history_zero_rate structural_zero_rate khoa_cong_nghe_thong_tin 5222 0.036193 13.186327 2.014171 0.134048 0.056300 0.937763 1.114133 0.0 0.213903 khoa_quan_tri_kinh_doanh_va_du_lich 5672 0.038611 13.341502 4.312588 0.535614 0.072638 1.209274 2.846262 0.0 0.091855 khoa_quoc_te_hoc 2363 0.013119 13.302581 5.163352 0.665256 0.055861 0.840880 3.678798 0.0 0.062632 khoa_tieng_anh 8164 0.018128 15.993998 1.813694 0.312224 0.016414 0.381676 0.933733 0.0 0.428466 khoa_tieng_bo_dao_nha 768 0.039062 15.854167 2.020833 0.503906 0.066406 1.425781 1.122396 0.0 0.335938 khoa_tieng_duc 1900 0.024211 15.947368 0.714737 0.129474 0.034211 0.912105 0.444737 0.0 0.766842 khoa_tieng_han_quoc 2904 0.006887 15.968320 1.609848 0.351240 0.015152 0.384298 0.940771 0.0 0.483815 khoa_tieng_italia 2166 0.051247 15.894275 2.161127 0.672207 0.057710 1.514312 1.198984 0.0 0.313019 khoa_tieng_nga 1588 0.064232 15.767632 2.978589 0.694584 0.066751 1.266373 1.855164 0.0 0.143577 khoa_tieng_nhat 2840 0.005986 15.990141 3.237676 0.732394 0.012676 0.220423 1.813380 0.0 0.144366 khoa_tieng_phap 2606 0.016117 15.685725 2.646969 0.657329 0.031466 0.830775 1.412893 0.0 0.215272 khoa_tieng_tay_ban_nha 1401 0.044968 15.910778 4.501784 1.060671 0.067809 1.017844 2.978587 0.0 0.071378 khoa_tieng_trung_quoc 7393 0.004734 15.967266 2.244150 0.670770 0.008386 0.181117 1.295009 0.0 0.248073 khoa_viet_nam_hoc 813 0.036900 14.849938 0.130381 0.000000 0.089791 1.809348 0.125461 0.0 0.937269 [CHRONOLOGY AUDIT] violations=0 / 286,472 | strict historical interaction semester < query semester ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_history_residual] [SELECT HISTORY] epoch=01/10 loss=0.16303 macroAP=0.2875 F2@20=0.2452 Brier=0.0158 corr=0.3135 gate=0.5000 best=01 [SELECT HISTORY] epoch=02/10 loss=0.14240 macroAP=0.2792 F2@20=0.2415 Brier=0.0161 corr=0.3929 gate=0.5000 best=01 [SELECT HISTORY] epoch=03/10 loss=0.14027 macroAP=0.2856 F2@20=0.2459 Brier=0.0159 corr=0.4123 gate=0.5000 best=01 [SELECT HISTORY] epoch=04/10 loss=0.14190 macroAP=0.2890 F2@20=0.2500 Brier=0.0160 corr=0.4432 gate=0.5000 best=04 [SELECT HISTORY] epoch=05/10 loss=0.13177 macroAP=0.2746 F2@20=0.2435 Brier=0.0160 corr=0.4309 gate=0.5000 best=04 [SELECT HISTORY] epoch=06/10 loss=0.13171 macroAP=0.2801 F2@20=0.2403 Brier=0.0160 corr=0.4389 gate=0.5000 best=04 [SELECT HISTORY] epoch=07/10 loss=0.12966 macroAP=0.2744 F2@20=0.2416 Brier=0.0161 corr=0.4382 gate=0.5000 best=04 [REFIT HISTORY] epoch=01/4 loss=0.15297 corr=0.3213 [REFIT HISTORY] epoch=04/4 loss=0.12816 corr=0.4277 [VARIANT suite24_history_residual] selected_epochs=4 target macroAP=0.2352 ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_structural_residual] [SELECT STRUCTURAL] epoch=01/10 loss=0.15829 macroAP=0.2936 F2@20=0.2446 Brier=0.0164 corr=0.4554 gate=0.8361 best=01 [SELECT STRUCTURAL] epoch=02/10 loss=0.14191 macroAP=0.2932 F2@20=0.2509 Brier=0.0164 corr=0.5082 gate=0.8356 best=01 [SELECT STRUCTURAL] epoch=03/10 loss=0.13609 macroAP=0.2948 F2@20=0.2514 Brier=0.0160 corr=0.5567 gate=0.8357 best=03 [SELECT STRUCTURAL] epoch=04/10 loss=0.12929 macroAP=0.2852 F2@20=0.2510 Brier=0.0161 corr=0.5865 gate=0.8348 best=03 [SELECT STRUCTURAL] epoch=05/10 loss=0.12665 macroAP=0.2716 F2@20=0.2450 Brier=0.0166 corr=0.6138 gate=0.8356 best=03 [SELECT STRUCTURAL] epoch=06/10 loss=0.12071 macroAP=0.2761 F2@20=0.2442 Brier=0.0166 corr=0.6415 gate=0.8353 best=03 [REFIT STRUCTURAL] epoch=01/3 loss=0.14983 corr=0.4342 [REFIT STRUCTURAL] epoch=03/3 loss=0.12809 corr=0.5319 [VARIANT suite24_structural_residual] selected_epochs=3 target macroAP=0.2254 ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_evidence_residual] [SELECT EVIDENCE] epoch=01/10 loss=0.16725 macroAP=0.2893 F2@20=0.2412 Brier=0.0159 corr=0.1469 gate=0.3172 best=01 [SELECT EVIDENCE] epoch=02/10 loss=0.14976 macroAP=0.2875 F2@20=0.2410 Brier=0.0159 corr=0.2352 gate=0.3547 best=01 [SELECT EVIDENCE] epoch=03/10 loss=0.14600 macroAP=0.2873 F2@20=0.2431 Brier=0.0159 corr=0.2891 gate=0.3914 best=01 [SELECT EVIDENCE] epoch=04/10 loss=0.13874 macroAP=0.2908 F2@20=0.2441 Brier=0.0158 corr=0.3415 gate=0.4261 best=04 [SELECT EVIDENCE] epoch=05/10 loss=0.13546 macroAP=0.2777 F2@20=0.2430 Brier=0.0159 corr=0.4007 gate=0.4587 best=04 [SELECT EVIDENCE] epoch=06/10 loss=0.13816 macroAP=0.2861 F2@20=0.2443 Brier=0.0159 corr=0.4367 gate=0.4857 best=04 [SELECT EVIDENCE] epoch=07/10 loss=0.13198 macroAP=0.2839 F2@20=0.2430 Brier=0.0157 corr=0.4782 gate=0.5134 best=04 [REFIT EVIDENCE] epoch=01/4 loss=0.15126 corr=0.1637 [REFIT EVIDENCE] epoch=04/4 loss=0.13113 corr=0.3806 [VARIANT suite24_evidence_residual] selected_epochs=4 target macroAP=0.2278 [SAFE SCALE] selected lambda=1.00 policyAP=0.3718 policyF2=0.2769 [POSTHOC BLEND ABLATION] selected alpha=0.25 policyAP=0.3533 SUITE24 TARGET FOLD 1 — NEW + AVAILABLE REFERENCE RESULTS -------------------------------------------------------------------------------- fold faculty model rows failures prevalence ap auc brier ece10 mean_score calibration_gap precision_at_10 recall_at_10 f1_at_10 fbeta_at_10 precision_at_15 recall_at_15 f1_at_15 fbeta_at_15 precision_at_20 recall_at_20 f1_at_20 fbeta_at_20 precision_at_25 recall_at_25 f1_at_25 fbeta_at_25 1 khoa_cong_nghe_thong_tin committee 5222 189 0.036193 0.203171 0.751852 0.032053 0.003231 0.033469 -0.002724 0.155172 0.428571 0.227848 0.316901 0.132822 0.550265 0.213992 0.337882 0.119732 0.661376 0.202758 0.347222 0.101838 0.703704 0.177926 0.322502 1 khoa_cong_nghe_thong_tin council 5222 189 0.036193 0.260592 0.801039 0.030963 0.015802 0.043946 0.007753 0.199234 0.550265 0.292546 0.406886 0.151980 0.629630 0.244856 0.386615 0.122605 0.677249 0.207624 0.355556 0.105666 0.730159 0.184615 0.334627 1 khoa_cong_nghe_thong_tin suite14 5222 189 0.036193 0.203171 0.751852 0.032053 0.003231 0.033469 -0.002724 0.155172 0.428571 0.227848 0.316901 0.132822 0.550265 0.213992 0.337882 0.119732 0.661376 0.202758 0.347222 0.101838 0.703704 0.177926 0.322502 1 khoa_cong_nghe_thong_tin suite16 5222 189 0.036193 0.232711 0.786823 0.040898 0.059310 0.095503 0.059310 0.191571 0.529101 0.281294 0.391236 0.155811 0.645503 0.251029 0.396361 0.121648 0.671958 0.206002 0.352778 0.101072 0.698413 0.176589 0.320078 1 khoa_cong_nghe_thong_tin suite17 5222 189 0.036193 0.239934 0.793674 0.031565 0.005195 0.033913 -0.002280 0.187739 0.518519 0.275668 0.383412 0.157088 0.650794 0.253086 0.399610 0.126437 0.698413 0.214112 0.366667 0.103369 0.714286 0.180602 0.327352 1 khoa_cong_nghe_thong_tin suite18 5222 189 0.036193 0.234042 0.783887 0.031605 0.005751 0.034022 -0.002171 0.181992 0.502646 0.267229 0.371674 0.153257 0.634921 0.246914 0.389864 0.120690 0.666667 0.204380 0.350000 0.104135 0.719577 0.181940 0.329777 1 khoa_cong_nghe_thong_tin suite20 5222 189 0.036193 0.155602 0.827000 0.058503 0.057068 0.088409 0.052216 0.168582 0.465608 0.247539 0.344288 0.144317 0.597884 0.232510 0.367122 0.121648 0.671958 0.206002 0.352778 0.101838 0.703704 0.177926 0.322502 1 khoa_cong_nghe_thong_tin suite21 5222 189 0.036193 0.230687 0.760843 0.031478 0.005320 0.030951 -0.005242 0.172414 0.476190 0.253165 0.352113 0.143040 0.592593 0.230453 0.363873 0.121648 0.671958 0.206002 0.352778 0.101838 0.703704 0.177926 0.322502 1 khoa_cong_nghe_thong_tin suite22 5222 189 0.036193 0.249648 0.775627 0.031410 0.006286 0.034437 -0.001756 0.193487 0.534392 0.284107 0.395149 0.157088 0.650794 0.253086 0.399610 0.125479 0.693122 0.212490 0.363889 0.101838 0.703704 0.177926 0.322502 1 khoa_cong_nghe_thong_tin suite22_primary 5222 189 0.036193 0.302205 0.821158 0.030412 0.013439 0.045165 0.008972 0.189655 0.523810 0.278481 0.387324 0.153257 0.634921 0.246914 0.389864 0.123563 0.682540 0.209246 0.358333 0.104900 0.724868 0.183278 0.332202 1 khoa_cong_nghe_thong_tin suite22_relational 5222 189 0.036193 0.253188 0.770428 0.032030 0.023443 0.012750 -0.023443 0.216475 0.597884 0.317862 0.442097 0.154534 0.640212 0.248971 0.393112 0.123563 0.682540 0.209246 0.358333 0.099541 0.687831 0.173913 0.315228 1 khoa_cong_nghe_thong_tin suite23 5222 189 0.036193 0.241861 0.823590 0.031793 0.013566 0.022627 -0.013566 0.178161 0.492063 0.261603 0.363850 0.140485 0.582011 0.226337 0.357375 0.119732 0.661376 0.202758 0.347222 0.107963 0.746032 0.188629 0.341901 1 khoa_cong_nghe_thong_tin suite23_graph 5222 189 0.036193 0.228183 0.841801 0.031897 0.016805 0.019388 -0.016805 0.180077 0.497354 0.264416 0.367762 0.149425 0.619048 0.240741 0.380117 0.125479 0.693122 0.212490 0.363889 0.111792 0.772487 0.195318 0.354025 1 khoa_cong_nghe_thong_tin suite24_evidence_residual 5222 189 0.036193 0.195138 0.773340 0.032335 0.016983 0.020370 -0.015823 0.141762 0.391534 0.208158 0.289515 0.117497 0.486772 0.189300 0.298895 0.108238 0.597884 0.183293 0.313889 0.099541 0.687831 0.173913 0.315228 1 khoa_cong_nghe_thong_tin suite24_graph_standalone 5222 189 0.036193 0.255143 0.802855 0.032227 0.017734 0.018459 -0.017734 0.174330 0.481481 0.255977 0.356025 0.135377 0.560847 0.218107 0.344379 0.111111 0.613757 0.188159 0.322222 0.098009 0.677249 0.171237 0.310378 1 khoa_cong_nghe_thong_tin suite24_history_residual 5222 189 0.036193 0.207305 0.756394 0.031895 0.014490 0.022168 -0.014025 0.181992 0.502646 0.267229 0.371674 0.143040 0.592593 0.230453 0.363873 0.116858 0.645503 0.197891 0.338889 0.100306 0.693122 0.175251 0.317653 1 khoa_cong_nghe_thong_tin suite24_posthoc_blend 5222 189 0.036193 0.231553 0.780281 0.031930 0.009309 0.026884 -0.009309 0.176245 0.486772 0.258790 0.359937 0.148148 0.613757 0.238683 0.376868 0.119732 0.661376 0.202758 0.347222 0.102603 0.708995 0.179264 0.324927 1 khoa_cong_nghe_thong_tin suite24_safe_scale 5222 189 0.036193 0.195138 0.773340 0.032335 0.016983 0.020370 -0.015823 0.141762 0.391534 0.208158 0.289515 0.117497 0.486772 0.189300 0.298895 0.108238 0.597884 0.183293 0.313889 0.099541 0.687831 0.173913 0.315228 1 khoa_cong_nghe_thong_tin suite24_structural_residual 5222 189 0.036193 0.187623 0.779172 0.032140 0.009941 0.030222 -0.005971 0.147510 0.407407 0.216596 0.301252 0.120051 0.497354 0.193416 0.305393 0.103448 0.571429 0.175182 0.300000 0.095712 0.661376 0.167224 0.303104 1 khoa_cong_nghe_thong_tin v2 5222 189 0.036193 0.269994 0.826255 0.033188 0.027855 0.064048 0.027855 0.181992 0.502646 0.267229 0.371674 0.153257 0.634921 0.246914 0.389864 0.125479 0.693122 0.212490 0.363889 0.104135 0.719577 0.181940 0.329777 1 khoa_quan_tri_kinh_doanh_va_du_lich committee 5672 219 0.038611 0.517408 0.916837 0.028132 0.013695 0.028453 -0.010158 0.294533 0.762557 0.424936 0.578656 0.212691 0.826484 0.338318 0.524030 0.168430 0.872146 0.282336 0.475124 0.136812 0.885845 0.237019 0.422842 1 khoa_quan_tri_kinh_doanh_va_du_lich suite14 5672 219 0.038611 0.568782 0.929170 0.023901 0.013153 0.035785 -0.002826 0.319224 0.826484 0.460560 0.627166 0.226792 0.881279 0.360748 0.558772 0.172840 0.894977 0.289727 0.487562 0.140339 0.908676 0.243128 0.433740 1 khoa_quan_tri_kinh_doanh_va_du_lich suite16 5672 219 0.038611 0.547260 0.920354 0.031167 0.052708 0.091319 0.052708 0.298060 0.771689 0.430025 0.585586 0.219741 0.853881 0.349533 0.541401 0.169312 0.876712 0.283814 0.477612 0.137518 0.890411 0.238241 0.425022 1 khoa_quan_tri_kinh_doanh_va_du_lich suite17 5672 219 0.038611 0.533732 0.924074 0.027221 0.016528 0.031484 -0.007126 0.303351 0.785388 0.437659 0.595981 0.217391 0.844749 0.345794 0.535611 0.168430 0.872146 0.282336 0.475124 0.138223 0.894977 0.239462 0.427201 1 khoa_quan_tri_kinh_doanh_va_du_lich suite18 5672 219 0.038611 0.529385 0.921796 0.027443 0.016228 0.031402 -0.007209 0.296296 0.767123 0.427481 0.582121 0.218566 0.849315 0.347664 0.538506 0.167549 0.867580 0.280857 0.472637 0.136812 0.885845 0.237019 0.422842 1 khoa_quan_tri_kinh_doanh_va_du_lich suite20 5672 219 0.038611 0.465948 0.908196 0.041868 0.065865 0.104475 0.065865 0.276896 0.716895 0.399491 0.544006 0.198590 0.771689 0.315888 0.489288 0.160494 0.831050 0.269032 0.452736 0.134697 0.872146 0.233354 0.416303 1 khoa_quan_tri_kinh_doanh_va_du_lich suite21 5672 219 0.038611 0.525659 0.919990 0.027084 0.012730 0.030314 -0.008297 0.298060 0.771689 0.430025 0.585586 0.211516 0.821918 0.336449 0.521135 0.169312 0.876712 0.283814 0.477612 0.136812 0.885845 0.237019 0.422842 1 khoa_quan_tri_kinh_doanh_va_du_lich suite22 5672 219 0.038611 0.558310 0.920988 0.027168 0.017882 0.031869 -0.006742 0.298060 0.771689 0.430025 0.585586 0.222092 0.863014 0.353271 0.547192 0.168430 0.872146 0.282336 0.475124 0.137518 0.890411 0.238241 0.425022 1 khoa_quan_tri_kinh_doanh_va_du_lich suite22_primary 5672 219 0.038611 0.551608 0.903228 0.026579 0.027022 0.054700 0.016089 0.264550 0.684932 0.381679 0.519751 0.206816 0.803653 0.328972 0.509554 0.163139 0.844749 0.273466 0.460199 0.135402 0.876712 0.234575 0.418483 1 khoa_quan_tri_kinh_doanh_va_du_lich suite22_relational 5672 219 0.038611 0.579215 0.917549 0.025320 0.015737 0.022874 -0.015737 0.287478 0.744292 0.414758 0.564796 0.215041 0.835616 0.342056 0.529820 0.165785 0.858447 0.277901 0.467662 0.136107 0.881279 0.235797 0.420663 1 khoa_quan_tri_kinh_doanh_va_du_lich suite23 5672 219 0.038611 0.554444 0.926391 0.028466 0.016097 0.022513 -0.016097 0.298060 0.771689 0.430025 0.585586 0.218566 0.849315 0.347664 0.538506 0.168430 0.872146 0.282336 0.475124 0.137518 0.890411 0.238241 0.425022 1 khoa_quan_tri_kinh_doanh_va_du_lich suite23_graph 5672 219 0.038611 0.529173 0.916634 0.029681 0.019532 0.019079 -0.019532 0.285714 0.739726 0.412214 0.561331 0.205640 0.799087 0.327103 0.506659 0.159612 0.826484 0.267554 0.450249 0.135402 0.876712 0.234575 0.418483 1 khoa_quan_tri_kinh_doanh_va_du_lich suite24_evidence_residual 5672 219 0.038611 0.525034 0.913017 0.027051 0.015735 0.023096 -0.015514 0.292769 0.757991 0.422392 0.575191 0.209166 0.812785 0.332710 0.515345 0.164903 0.853881 0.276423 0.465174 0.135402 0.876712 0.234575 0.418483 1 khoa_quan_tri_kinh_doanh_va_du_lich suite24_graph_standalone 5672 219 0.038611 0.505294 0.903437 0.029037 0.015474 0.029289 -0.009322 0.282187 0.730594 0.407125 0.554401 0.199765 0.776256 0.317757 0.492183 0.157848 0.817352 0.264597 0.445274 0.129760 0.840183 0.224801 0.401046 1 khoa_quan_tri_kinh_doanh_va_du_lich suite24_history_residual 5672 219 0.038611 0.541023 0.916559 0.026525 0.014323 0.024729 -0.013882 0.296296 0.767123 0.427481 0.582121 0.212691 0.826484 0.338318 0.524030 0.168430 0.872146 0.282336 0.475124 0.138223 0.894977 0.239462 0.427201 1 khoa_quan_tri_kinh_doanh_va_du_lich suite24_posthoc_blend 5672 219 0.038611 0.548302 0.922988 0.028143 0.013649 0.027057 -0.011554 0.298060 0.771689 0.430025 0.585586 0.218566 0.849315 0.347664 0.538506 0.170194 0.881279 0.285292 0.480100 0.136107 0.881279 0.235797 0.420663 1 khoa_quan_tri_kinh_doanh_va_du_lich suite24_safe_scale 5672 219 0.038611 0.525034 0.913017 0.027051 0.015735 0.023096 -0.015514 0.292769 0.757991 0.422392 0.575191 0.209166 0.812785 0.332710 0.515345 0.164903 0.853881 0.276423 0.465174 0.135402 0.876712 0.234575 0.418483 1 khoa_quan_tri_kinh_doanh_va_du_lich suite24_structural_residual 5672 219 0.038611 0.509050 0.916540 0.026481 0.008798 0.032007 -0.006604 0.273369 0.707763 0.394402 0.537076 0.199765 0.776256 0.317757 0.492183 0.162257 0.840183 0.271988 0.457711 0.138223 0.894977 0.239462 0.427201 1 khoa_quoc_te_hoc committee 2363 31 0.013119 0.070421 0.804799 0.012689 0.001499 0.012298 -0.000821 0.059322 0.451613 0.104869 0.194444 0.050847 0.580645 0.093506 0.188285 0.046512 0.709677 0.087302 0.184255 0.042301 0.806452 0.080386 0.174825 1 khoa_quoc_te_hoc suite14 2363 31 0.013119 0.136266 0.810906 0.012556 0.004186 0.013356 0.000237 0.072034 0.548387 0.127341 0.236111 0.053672 0.612903 0.098701 0.198745 0.044397 0.677419 0.083333 0.175879 0.037225 0.709677 0.070740 0.153846 1 khoa_quoc_te_hoc suite16 2363 31 0.013119 0.080492 0.857688 0.015745 0.026091 0.039210 0.026091 0.076271 0.580645 0.134831 0.250000 0.059322 0.677419 0.109091 0.219665 0.059197 0.903226 0.111111 0.234506 0.047377 0.903226 0.090032 0.195804 1 khoa_quoc_te_hoc suite17 2363 31 0.013119 0.093149 0.837174 0.012489 0.000909 0.012919 -0.000200 0.084746 0.645161 0.149813 0.277778 0.056497 0.645161 0.103896 0.209205 0.046512 0.709677 0.087302 0.184255 0.047377 0.903226 0.090032 0.195804 1 khoa_quoc_te_hoc suite18 2363 31 0.013119 0.098277 0.835929 0.012474 0.001027 0.012747 -0.000372 0.084746 0.645161 0.149813 0.277778 0.059322 0.677419 0.109091 0.219665 0.048626 0.741935 0.091270 0.192630 0.042301 0.806452 0.080386 0.174825 1 khoa_quoc_te_hoc suite20 2363 31 0.013119 0.057113 0.803097 0.025640 0.024555 0.030343 0.017224 0.042373 0.322581 0.074906 0.138889 0.045198 0.516129 0.083117 0.167364 0.042283 0.645161 0.079365 0.167504 0.035533 0.677419 0.067524 0.146853 1 khoa_quoc_te_hoc suite21 2363 31 0.013119 0.077027 0.805725 0.012681 0.002059 0.013996 0.000877 0.063559 0.483871 0.112360 0.208333 0.056497 0.645161 0.103896 0.209205 0.044397 0.677419 0.083333 0.175879 0.038917 0.741935 0.073955 0.160839 1 khoa_quoc_te_hoc suite22 2363 31 0.013119 0.084852 0.818140 0.012575 0.001647 0.013129 0.000010 0.080508 0.612903 0.142322 0.263889 0.059322 0.677419 0.109091 0.219665 0.048626 0.741935 0.091270 0.192630 0.040609 0.774194 0.077170 0.167832 1 khoa_quoc_te_hoc suite22_primary 2363 31 0.013119 0.091890 0.811542 0.012965 0.010700 0.022335 0.009217 0.067797 0.516129 0.119850 0.222222 0.050847 0.580645 0.093506 0.188285 0.040169 0.612903 0.075397 0.159129 0.033841 0.645161 0.064309 0.139860 1 khoa_quoc_te_hoc suite22_relational 2363 31 0.013119 0.062392 0.769214 0.014182 0.006064 0.015912 0.002793 0.072034 0.548387 0.127341 0.236111 0.050847 0.580645 0.093506 0.188285 0.042283 0.645161 0.079365 0.167504 0.037225 0.709677 0.070740 0.153846 1 khoa_quoc_te_hoc suite23 2363 31 0.013119 0.126171 0.859362 0.012519 0.005130 0.008664 -0.004455 0.093220 0.709677 0.164794 0.305556 0.067797 0.774194 0.124675 0.251046 0.052854 0.806452 0.099206 0.209380 0.045685 0.870968 0.086817 0.188811 1 khoa_quoc_te_hoc suite23_graph 2363 31 0.013119 0.138396 0.865753 0.012382 0.006482 0.008160 -0.004959 0.088983 0.677419 0.157303 0.291667 0.067797 0.774194 0.124675 0.251046 0.050740 0.774194 0.095238 0.201005 0.040609 0.774194 0.077170 0.167832 1 khoa_quoc_te_hoc suite24_evidence_residual 2363 31 0.013119 0.075142 0.800628 0.012820 0.006994 0.007369 -0.005750 0.050847 0.387097 0.089888 0.166667 0.048023 0.548387 0.088312 0.177824 0.044397 0.677419 0.083333 0.175879 0.040609 0.774194 0.077170 0.167832 1 khoa_quoc_te_hoc suite24_graph_standalone 2363 31 0.013119 0.070029 0.817407 0.012667 0.002915 0.011277 -0.001842 0.050847 0.387097 0.089888 0.166667 0.045198 0.516129 0.083117 0.167364 0.038055 0.580645 0.071429 0.150754 0.032149 0.612903 0.061093 0.132867 1 khoa_quoc_te_hoc suite24_history_residual 2363 31 0.013119 0.075306 0.824061 0.012785 0.006510 0.008567 -0.004552 0.067797 0.516129 0.119850 0.222222 0.064972 0.741935 0.119481 0.240586 0.052854 0.806452 0.099206 0.209380 0.043993 0.838710 0.083601 0.181818 1 khoa_quoc_te_hoc suite24_posthoc_blend 2363 31 0.013119 0.090232 0.821211 0.012600 0.002972 0.010826 -0.002293 0.055085 0.419355 0.097378 0.180556 0.050847 0.580645 0.093506 0.188285 0.050740 0.774194 0.095238 0.201005 0.047377 0.903226 0.090032 0.195804 1 khoa_quoc_te_hoc suite24_safe_scale 2363 31 0.013119 0.075142 0.800628 0.012820 0.006994 0.007369 -0.005750 0.050847 0.387097 0.089888 0.166667 0.048023 0.548387 0.088312 0.177824 0.044397 0.677419 0.083333 0.175879 0.040609 0.774194 0.077170 0.167832 1 khoa_quoc_te_hoc suite24_structural_residual 2363 31 0.013119 0.051150 0.794306 0.013177 0.004500 0.013736 0.000617 0.055085 0.419355 0.097378 0.180556 0.050847 0.580645 0.093506 0.188285 0.046512 0.709677 0.087302 0.184255 0.042301 0.806452 0.080386 0.174825 1 khoa_tieng_anh committee 8164 148 0.018128 0.585634 0.935329 0.010839 0.009783 0.027345 0.009217 0.142157 0.783784 0.240664 0.411932 0.101224 0.837838 0.180626 0.341222 0.083282 0.918919 0.152723 0.305618 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite14 8164 148 0.018128 0.585634 0.935329 0.010839 0.009783 0.027345 0.009217 0.142157 0.783784 0.240664 0.411932 0.101224 0.837838 0.180626 0.341222 0.083282 0.918919 0.152723 0.305618 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite16 8164 148 0.018128 0.563973 0.935080 0.042991 0.073238 0.091367 0.073238 0.134804 0.743243 0.228216 0.390625 0.097143 0.804054 0.173343 0.327463 0.080220 0.885135 0.147108 0.294382 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite17 8164 148 0.018128 0.593823 0.945404 0.011560 0.014720 0.032108 0.013980 0.131127 0.722973 0.221992 0.379972 0.108571 0.898649 0.193736 0.365988 0.085119 0.939189 0.156092 0.312360 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite18 8164 148 0.018128 0.596286 0.946807 0.011537 0.014877 0.032205 0.014077 0.142157 0.783784 0.240664 0.411932 0.109388 0.905405 0.195193 0.368740 0.082670 0.912162 0.151600 0.303371 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite20 8164 148 0.018128 0.444902 0.924603 0.066536 0.099254 0.117383 0.099254 0.136029 0.750000 0.230290 0.394176 0.097959 0.810811 0.174800 0.330215 0.076546 0.844595 0.140371 0.280899 0.063694 0.878378 0.118776 0.246867 1 khoa_tieng_anh suite21 8164 148 0.018128 0.597129 0.934807 0.010850 0.010472 0.028113 0.009984 0.144608 0.797297 0.244813 0.419034 0.099592 0.824324 0.177713 0.335718 0.080220 0.885135 0.147108 0.294382 0.069084 0.952703 0.128826 0.267755 1 khoa_tieng_anh suite22 8164 148 0.018128 0.603047 0.941635 0.010240 0.007993 0.024260 0.006132 0.138480 0.763514 0.234440 0.401278 0.104490 0.864865 0.186453 0.352229 0.080833 0.891892 0.148231 0.296629 0.069084 0.952703 0.128826 0.267755 1 khoa_tieng_anh suite22_primary 8164 148 0.018128 0.612509 0.941173 0.010979 0.007779 0.019143 0.001015 0.143382 0.790541 0.242739 0.415483 0.098776 0.817568 0.176256 0.332966 0.082058 0.905405 0.150477 0.301124 0.066144 0.912162 0.123344 0.256362 1 khoa_tieng_anh suite22_relational 8164 148 0.018128 0.608846 0.934922 0.010119 0.004218 0.017594 -0.000534 0.132353 0.729730 0.224066 0.383523 0.094694 0.783784 0.168973 0.319207 0.077771 0.858108 0.142617 0.285393 0.066634 0.918919 0.124258 0.258261 1 khoa_tieng_anh suite23 8164 148 0.018128 0.636268 0.940064 0.010046 0.003044 0.016617 -0.001511 0.142157 0.783784 0.240664 0.411932 0.102857 0.851351 0.183540 0.346725 0.082058 0.905405 0.150477 0.301124 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite23_graph 8164 148 0.018128 0.587473 0.932650 0.012376 0.008161 0.009968 -0.008161 0.144608 0.797297 0.244813 0.419034 0.101224 0.837838 0.180626 0.341222 0.080833 0.891892 0.148231 0.296629 0.066144 0.912162 0.123344 0.256362 1 khoa_tieng_anh suite24_evidence_residual 8164 148 0.018128 0.585455 0.935446 0.010317 0.002137 0.017518 -0.000610 0.143382 0.790541 0.242739 0.415483 0.102041 0.844595 0.182083 0.343974 0.082058 0.905405 0.150477 0.301124 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite24_graph_standalone 8164 148 0.018128 0.395509 0.926283 0.014673 0.006549 0.011579 -0.006549 0.131127 0.722973 0.221992 0.379972 0.098776 0.817568 0.176256 0.332966 0.078996 0.871622 0.144862 0.289888 0.064674 0.891892 0.120603 0.250665 1 khoa_tieng_anh suite24_history_residual 8164 148 0.018128 0.604180 0.938945 0.010302 0.004478 0.022033 0.003904 0.143382 0.790541 0.242739 0.415483 0.105306 0.871622 0.187910 0.354981 0.083895 0.925676 0.153846 0.307865 0.069084 0.952703 0.128826 0.267755 1 khoa_tieng_anh suite24_posthoc_blend 8164 148 0.018128 0.588349 0.938507 0.010431 0.006200 0.021966 0.003838 0.142157 0.783784 0.240664 0.411932 0.100408 0.831081 0.179170 0.338470 0.080220 0.885135 0.147108 0.294382 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite24_safe_scale 8164 148 0.018128 0.585455 0.935446 0.010317 0.002137 0.017518 -0.000610 0.143382 0.790541 0.242739 0.415483 0.102041 0.844595 0.182083 0.343974 0.082058 0.905405 0.150477 0.301124 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite24_structural_residual 8164 148 0.018128 0.585376 0.935253 0.010592 0.004289 0.021879 0.003751 0.144608 0.797297 0.244813 0.419034 0.102857 0.851351 0.183540 0.346725 0.082058 0.905405 0.150477 0.301124 0.068104 0.939189 0.126999 0.263957 1 khoa_tieng_bo_dao_nha committee 768 30 0.039062 0.314553 0.820009 0.033639 0.010775 0.028288 -0.010775 0.220779 0.566667 0.317757 0.431472 0.147826 0.566667 0.234483 0.361702 0.110390 0.566667 0.184783 0.310219 0.098958 0.633333 0.171171 0.304487 1 khoa_tieng_bo_dao_nha suite14 768 30 0.039062 0.314553 0.820009 0.033639 0.010775 0.028288 -0.010775 0.220779 0.566667 0.317757 0.431472 0.147826 0.566667 0.234483 0.361702 0.110390 0.566667 0.184783 0.310219 0.098958 0.633333 0.171171 0.304487 1 khoa_tieng_bo_dao_nha suite16 768 30 0.039062 0.404727 0.819896 0.048855 0.071608 0.110168 0.071105 0.220779 0.566667 0.317757 0.431472 0.147826 0.566667 0.234483 0.361702 0.123377 0.633333 0.206522 0.346715 0.098958 0.633333 0.171171 0.304487 1 khoa_tieng_bo_dao_nha suite17 768 30 0.039062 0.317570 0.810614 0.033542 0.011819 0.031572 -0.007491 0.168831 0.433333 0.242991 0.329949 0.165217 0.633333 0.262069 0.404255 0.123377 0.633333 0.206522 0.346715 0.098958 0.633333 0.171171 0.304487 1 khoa_tieng_bo_dao_nha suite18 768 30 0.039062 0.308444 0.807136 0.033623 0.008538 0.032087 -0.006975 0.194805 0.500000 0.280374 0.380711 0.156522 0.600000 0.248276 0.382979 0.123377 0.633333 0.206522 0.346715 0.109375 0.700000 0.189189 0.336538 1 khoa_tieng_bo_dao_nha suite20 768 30 0.039062 0.218305 0.811789 0.045179 0.037549 0.075337 0.036274 0.220779 0.566667 0.317757 0.431472 0.173913 0.666667 0.275862 0.425532 0.129870 0.666667 0.217391 0.364964 0.114583 0.733333 0.198198 0.352564 1 khoa_tieng_bo_dao_nha suite21 768 30 0.039062 0.266359 0.835908 0.033465 0.007324 0.033857 -0.005206 0.220779 0.566667 0.317757 0.431472 0.147826 0.566667 0.234483 0.361702 0.116883 0.600000 0.195652 0.328467 0.104167 0.666667 0.180180 0.320513 1 khoa_tieng_bo_dao_nha suite22 768 30 0.039062 0.281342 0.821816 0.033743 0.007427 0.031635 -0.007427 0.207792 0.533333 0.299065 0.406091 0.147826 0.566667 0.234483 0.361702 0.123377 0.633333 0.206522 0.346715 0.104167 0.666667 0.180180 0.320513 1 khoa_tieng_bo_dao_nha suite22_primary 768 30 0.039062 0.146014 0.787579 0.036689 0.017483 0.056545 0.017483 0.142857 0.366667 0.205607 0.279188 0.121739 0.466667 0.193103 0.297872 0.116883 0.600000 0.195652 0.328467 0.098958 0.633333 0.171171 0.304487 1 khoa_tieng_bo_dao_nha suite22_relational 768 30 0.039062 0.164269 0.752800 0.036745 0.031965 0.014183 -0.024880 0.155844 0.400000 0.224299 0.304569 0.139130 0.533333 0.220690 0.340426 0.110390 0.566667 0.184783 0.310219 0.098958 0.633333 0.171171 0.304487 1 khoa_tieng_bo_dao_nha suite23 768 30 0.039062 0.314553 0.820009 0.033639 0.010775 0.028288 -0.010775 0.220779 0.566667 0.317757 0.431472 0.147826 0.566667 0.234483 0.361702 0.110390 0.566667 0.184783 0.310219 0.098958 0.633333 0.171171 0.304487 1 khoa_tieng_bo_dao_nha suite23_graph 768 30 0.039062 0.187110 0.753884 0.035641 0.019687 0.019376 -0.019687 0.168831 0.433333 0.242991 0.329949 0.139130 0.533333 0.220690 0.340426 0.103896 0.533333 0.173913 0.291971 0.093750 0.600000 0.162162 0.288462 1 khoa_tieng_bo_dao_nha suite24_evidence_residual 768 30 0.039062 0.222563 0.826197 0.035772 0.027245 0.012642 -0.026420 0.194805 0.500000 0.280374 0.380711 0.156522 0.600000 0.248276 0.382979 0.116883 0.600000 0.195652 0.328467 0.114583 0.733333 0.198198 0.352564 1 khoa_tieng_bo_dao_nha suite24_graph_standalone 768 30 0.039062 0.155179 0.767525 0.037294 0.030193 0.009485 -0.029578 0.142857 0.366667 0.205607 0.279188 0.130435 0.500000 0.206897 0.319149 0.110390 0.566667 0.184783 0.310219 0.098958 0.633333 0.171171 0.304487 1 khoa_tieng_bo_dao_nha suite24_history_residual 768 30 0.039062 0.241060 0.833062 0.035753 0.025461 0.013602 -0.025461 0.181818 0.466667 0.261682 0.355330 0.165217 0.633333 0.262069 0.404255 0.123377 0.633333 0.206522 0.346715 0.109375 0.700000 0.189189 0.336538 1 khoa_tieng_bo_dao_nha suite24_posthoc_blend 768 30 0.039062 0.270155 0.817977 0.034822 0.019025 0.020038 -0.019025 0.168831 0.433333 0.242991 0.329949 0.147826 0.566667 0.234483 0.361702 0.123377 0.633333 0.206522 0.346715 0.109375 0.700000 0.189189 0.336538 1 khoa_tieng_bo_dao_nha suite24_safe_scale 768 30 0.039062 0.222563 0.826197 0.035772 0.027245 0.012642 -0.026420 0.194805 0.500000 0.280374 0.380711 0.156522 0.600000 0.248276 0.382979 0.116883 0.600000 0.195652 0.328467 0.114583 0.733333 0.198198 0.352564 1 khoa_tieng_bo_dao_nha suite24_structural_residual 768 30 0.039062 0.157918 0.803749 0.036227 0.025715 0.015245 -0.023818 0.181818 0.466667 0.261682 0.355330 0.130435 0.500000 0.206897 0.319149 0.110390 0.566667 0.184783 0.310219 0.093750 0.600000 0.162162 0.288462 1 khoa_tieng_duc committee 1900 46 0.024211 0.262205 0.866341 0.021155 0.007888 0.016322 -0.007888 0.178947 0.739130 0.288136 0.454545 0.122807 0.760870 0.211480 0.373134 0.092105 0.760870 0.164319 0.310284 0.073684 0.760870 0.134357 0.265554 1 khoa_tieng_duc suite14 1900 46 0.024211 0.262205 0.866341 0.021155 0.007888 0.016322 -0.007888 0.178947 0.739130 0.288136 0.454545 0.122807 0.760870 0.211480 0.373134 0.092105 0.760870 0.164319 0.310284 0.073684 0.760870 0.134357 0.265554 1 khoa_tieng_duc suite16 1900 46 0.024211 0.222958 0.872708 0.026407 0.037269 0.061479 0.037269 0.168421 0.695652 0.271186 0.427807 0.122807 0.760870 0.211480 0.373134 0.092105 0.760870 0.164319 0.310284 0.080000 0.826087 0.145873 0.288316 1 khoa_tieng_duc suite17 1900 46 0.024211 0.262291 0.884762 0.020845 0.006354 0.017857 -0.006354 0.173684 0.717391 0.279661 0.441176 0.122807 0.760870 0.211480 0.373134 0.100000 0.826087 0.178404 0.336879 0.084211 0.869565 0.153551 0.303490 1 khoa_tieng_duc suite18 1900 46 0.024211 0.259268 0.877668 0.020892 0.006573 0.017638 -0.006573 0.178947 0.739130 0.288136 0.454545 0.122807 0.760870 0.211480 0.373134 0.092105 0.760870 0.164319 0.310284 0.073684 0.760870 0.134357 0.265554 1 khoa_tieng_duc suite20 1900 46 0.024211 0.196697 0.863140 0.052895 0.066602 0.090812 0.066602 0.142105 0.586957 0.228814 0.360963 0.115789 0.717391 0.199396 0.351812 0.092105 0.760870 0.164319 0.310284 0.075789 0.782609 0.138196 0.273141 1 khoa_tieng_duc suite21 1900 46 0.024211 0.260797 0.883577 0.021018 0.007140 0.018131 -0.006079 0.168421 0.695652 0.271186 0.427807 0.119298 0.739130 0.205438 0.362473 0.097368 0.804348 0.173709 0.328014 0.082105 0.847826 0.149712 0.295903 1 khoa_tieng_duc suite22 1900 46 0.024211 0.251881 0.883683 0.021093 0.005769 0.018441 -0.005769 0.163158 0.673913 0.262712 0.414439 0.122807 0.760870 0.211480 0.373134 0.094737 0.782609 0.169014 0.319149 0.080000 0.826087 0.145873 0.288316 1 khoa_tieng_duc suite22_primary 1900 46 0.024211 0.145951 0.858156 0.022329 0.012476 0.035129 0.010919 0.121053 0.500000 0.194915 0.307487 0.108772 0.673913 0.187311 0.330490 0.092105 0.760870 0.164319 0.310284 0.073684 0.760870 0.134357 0.265554 1 khoa_tieng_duc suite22_relational 1900 46 0.024211 0.132936 0.832395 0.022656 0.014204 0.011180 -0.013031 0.110526 0.456522 0.177966 0.280749 0.105263 0.652174 0.181269 0.319829 0.100000 0.826087 0.178404 0.336879 0.082105 0.847826 0.149712 0.295903 1 khoa_tieng_duc suite23 1900 46 0.024211 0.242981 0.874173 0.021643 0.010992 0.013219 -0.010992 0.163158 0.673913 0.262712 0.414439 0.133333 0.826087 0.229607 0.405117 0.102632 0.847826 0.183099 0.345745 0.082105 0.847826 0.149712 0.295903 1 khoa_tieng_duc suite23_graph 1900 46 0.024211 0.166678 0.836863 0.022171 0.011465 0.013687 -0.010523 0.136842 0.565217 0.220339 0.347594 0.115789 0.717391 0.199396 0.351812 0.100000 0.826087 0.178404 0.336879 0.082105 0.847826 0.149712 0.295903 1 khoa_tieng_duc suite24_evidence_residual 1900 46 0.024211 0.214684 0.876436 0.022289 0.015590 0.008979 -0.015232 0.157895 0.652174 0.254237 0.401070 0.119298 0.739130 0.205438 0.362473 0.097368 0.804348 0.173709 0.328014 0.082105 0.847826 0.149712 0.295903 1 khoa_tieng_duc suite24_graph_standalone 1900 46 0.024211 0.120944 0.838915 0.023309 0.018234 0.006196 -0.018014 0.105263 0.434783 0.169492 0.267380 0.091228 0.565217 0.157100 0.277186 0.086842 0.717391 0.154930 0.292553 0.080000 0.826087 0.145873 0.288316 1 khoa_tieng_duc suite24_history_residual 1900 46 0.024211 0.204053 0.892383 0.021985 0.012924 0.011286 -0.012924 0.147368 0.608696 0.237288 0.374332 0.115789 0.717391 0.199396 0.351812 0.100000 0.826087 0.178404 0.336879 0.084211 0.869565 0.153551 0.303490 1 khoa_tieng_duc suite24_posthoc_blend 1900 46 0.024211 0.235735 0.887822 0.021937 0.012699 0.011511 -0.012699 0.163158 0.673913 0.262712 0.414439 0.126316 0.782609 0.217523 0.383795 0.097368 0.804348 0.173709 0.328014 0.080000 0.826087 0.145873 0.288316 1 khoa_tieng_duc suite24_safe_scale 1900 46 0.024211 0.214684 0.876436 0.022289 0.015590 0.008979 -0.015232 0.157895 0.652174 0.254237 0.401070 0.119298 0.739130 0.205438 0.362473 0.097368 0.804348 0.173709 0.328014 0.082105 0.847826 0.149712 0.295903 1 khoa_tieng_duc suite24_structural_residual 1900 46 0.024211 0.234261 0.876952 0.021710 0.012314 0.011896 -0.012314 0.147368 0.608696 0.237288 0.374332 0.115789 0.717391 0.199396 0.351812 0.100000 0.826087 0.178404 0.336879 0.080000 0.826087 0.145873 0.288316 1 khoa_tieng_han_quoc committee 2904 20 0.006887 0.054434 0.847911 0.006740 0.004092 0.003509 -0.003378 0.031034 0.450000 0.058065 0.121622 0.029817 0.650000 0.057018 0.125969 0.027539 0.800000 0.053245 0.121029 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite14 2904 20 0.006887 0.054434 0.847911 0.006740 0.004092 0.003509 -0.003378 0.031034 0.450000 0.058065 0.121622 0.029817 0.650000 0.057018 0.125969 0.027539 0.800000 0.053245 0.121029 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite16 2904 20 0.006887 0.050131 0.813428 0.008840 0.010221 0.014437 0.007550 0.034483 0.500000 0.064516 0.135135 0.027523 0.600000 0.052632 0.116279 0.025818 0.750000 0.049917 0.113464 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite17 2904 20 0.006887 0.056916 0.850763 0.006751 0.002635 0.004538 -0.002349 0.031034 0.450000 0.058065 0.121622 0.034404 0.750000 0.065789 0.145349 0.027539 0.800000 0.053245 0.121029 0.023416 0.850000 0.045576 0.105459 1 khoa_tieng_han_quoc suite18 2904 20 0.006887 0.053584 0.840751 0.006763 0.002700 0.004474 -0.002413 0.031034 0.450000 0.058065 0.121622 0.034404 0.750000 0.065789 0.145349 0.027539 0.800000 0.053245 0.121029 0.023416 0.850000 0.045576 0.105459 1 khoa_tieng_han_quoc suite20 2904 20 0.006887 0.030231 0.865257 0.033917 0.040344 0.047231 0.040344 0.034483 0.500000 0.064516 0.135135 0.027523 0.600000 0.052632 0.116279 0.027539 0.800000 0.053245 0.121029 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite21 2904 20 0.006887 0.055603 0.850468 0.006730 0.004347 0.003223 -0.003664 0.031034 0.450000 0.058065 0.121622 0.032110 0.700000 0.061404 0.135659 0.025818 0.750000 0.049917 0.113464 0.023416 0.850000 0.045576 0.105459 1 khoa_tieng_han_quoc suite22 2904 20 0.006887 0.060096 0.857732 0.006711 0.004179 0.003420 -0.003467 0.034483 0.500000 0.064516 0.135135 0.032110 0.700000 0.061404 0.135659 0.025818 0.750000 0.049917 0.113464 0.023416 0.850000 0.045576 0.105459 1 khoa_tieng_han_quoc suite22_primary 2904 20 0.006887 0.073684 0.875399 0.006685 0.002708 0.004742 -0.002145 0.037931 0.550000 0.070968 0.148649 0.036697 0.800000 0.070175 0.155039 0.027539 0.800000 0.053245 0.121029 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite22_relational 2904 20 0.006887 0.051553 0.879022 0.006832 0.005079 0.002988 -0.003899 0.034483 0.500000 0.064516 0.135135 0.032110 0.700000 0.061404 0.135659 0.025818 0.750000 0.049917 0.113464 0.023416 0.850000 0.045576 0.105459 1 khoa_tieng_han_quoc suite23 2904 20 0.006887 0.056485 0.851404 0.006740 0.004065 0.003212 -0.003676 0.034483 0.500000 0.064516 0.135135 0.032110 0.700000 0.061404 0.135659 0.025818 0.750000 0.049917 0.113464 0.020661 0.750000 0.040214 0.093052 1 khoa_tieng_han_quoc suite23_graph 2904 20 0.006887 0.045593 0.820319 0.006935 0.004578 0.004445 -0.002442 0.034483 0.500000 0.064516 0.135135 0.029817 0.650000 0.057018 0.125969 0.025818 0.750000 0.049917 0.113464 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite24_evidence_residual 2904 20 0.006887 0.049279 0.843464 0.006787 0.005340 0.001819 -0.005068 0.034483 0.500000 0.064516 0.135135 0.032110 0.700000 0.061404 0.135659 0.024096 0.700000 0.046589 0.105900 0.020661 0.750000 0.040214 0.093052 1 khoa_tieng_han_quoc suite24_graph_standalone 2904 20 0.006887 0.037133 0.760974 0.006812 0.004904 0.002153 -0.004734 0.031034 0.450000 0.058065 0.121622 0.025229 0.550000 0.048246 0.106589 0.022375 0.650000 0.043261 0.098336 0.017906 0.650000 0.034853 0.080645 1 khoa_tieng_han_quoc suite24_history_residual 2904 20 0.006887 0.051165 0.847781 0.006791 0.005414 0.002178 -0.004709 0.034483 0.500000 0.064516 0.135135 0.032110 0.700000 0.061404 0.135659 0.024096 0.700000 0.046589 0.105900 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite24_posthoc_blend 2904 20 0.006887 0.051767 0.843100 0.006753 0.004379 0.002681 -0.004206 0.034483 0.500000 0.064516 0.135135 0.029817 0.650000 0.057018 0.125969 0.024096 0.700000 0.046589 0.105900 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite24_safe_scale 2904 20 0.006887 0.049279 0.843464 0.006787 0.005340 0.001819 -0.005068 0.034483 0.500000 0.064516 0.135135 0.032110 0.700000 0.061404 0.135659 0.024096 0.700000 0.046589 0.105900 0.020661 0.750000 0.040214 0.093052 1 khoa_tieng_han_quoc suite24_structural_residual 2904 20 0.006887 0.041639 0.835194 0.006798 0.004879 0.002008 -0.004879 0.037931 0.550000 0.070968 0.148649 0.025229 0.550000 0.048246 0.106589 0.024096 0.700000 0.046589 0.105900 0.023416 0.850000 0.045576 0.105459 1 khoa_tieng_italia committee 2166 111 0.051247 0.259779 0.766770 0.045673 0.022167 0.029080 -0.022167 0.225806 0.441441 0.298780 0.370651 0.160000 0.468468 0.238532 0.338101 0.138568 0.540541 0.220588 0.342075 0.123616 0.603604 0.205207 0.339757 1 khoa_tieng_italia suite14 2166 111 0.051247 0.259779 0.766770 0.045673 0.022167 0.029080 -0.022167 0.225806 0.441441 0.298780 0.370651 0.160000 0.468468 0.238532 0.338101 0.138568 0.540541 0.220588 0.342075 0.123616 0.603604 0.205207 0.339757 1 khoa_tieng_italia suite16 2166 111 0.051247 0.289203 0.807010 0.053068 0.065406 0.116652 0.065406 0.230415 0.450450 0.304878 0.378215 0.190769 0.558559 0.284404 0.403121 0.152425 0.594595 0.242647 0.376283 0.136531 0.666667 0.226646 0.375254 1 khoa_tieng_italia suite17 2166 111 0.051247 0.263282 0.786682 0.045246 0.020825 0.030422 -0.020825 0.225806 0.441441 0.298780 0.370651 0.175385 0.513514 0.261468 0.370611 0.152425 0.594595 0.242647 0.376283 0.132841 0.648649 0.220521 0.365112 1 khoa_tieng_italia suite18 2166 111 0.051247 0.260884 0.781285 0.045371 0.020907 0.030339 -0.020907 0.221198 0.432432 0.292683 0.363086 0.193846 0.567568 0.288991 0.409623 0.157044 0.612613 0.250000 0.387685 0.127306 0.621622 0.211332 0.349899 1 khoa_tieng_italia suite20 2166 111 0.051247 0.202054 0.816703 0.073737 0.067929 0.114586 0.063339 0.170507 0.333333 0.225610 0.279879 0.141538 0.414414 0.211009 0.299090 0.136259 0.531532 0.216912 0.336374 0.130996 0.639640 0.217458 0.360041 1 khoa_tieng_italia suite21 2166 111 0.051247 0.286900 0.780965 0.044292 0.019532 0.031715 -0.019532 0.225806 0.441441 0.298780 0.370651 0.178462 0.522523 0.266055 0.377113 0.143187 0.558559 0.227941 0.353478 0.129151 0.630631 0.214395 0.354970 1 khoa_tieng_italia suite22 2166 111 0.051247 0.288870 0.819057 0.044874 0.021910 0.029337 -0.021910 0.225806 0.441441 0.298780 0.370651 0.196923 0.576577 0.293578 0.416125 0.161663 0.630631 0.257353 0.399088 0.138376 0.675676 0.229709 0.380325 1 khoa_tieng_italia suite22_primary 2166 111 0.051247 0.266221 0.874523 0.042625 0.013116 0.038131 -0.013116 0.271889 0.531532 0.359756 0.446293 0.233846 0.684685 0.348624 0.494148 0.187067 0.729730 0.297794 0.461802 0.160517 0.783784 0.266462 0.441176 1 khoa_tieng_italia suite22_relational 2166 111 0.051247 0.265822 0.820473 0.044241 0.030076 0.022514 -0.028733 0.267281 0.522523 0.353659 0.438729 0.203077 0.594595 0.302752 0.429129 0.163972 0.639640 0.261029 0.404789 0.132841 0.648649 0.220521 0.365112 1 khoa_tieng_italia suite23 2166 111 0.051247 0.264571 0.813915 0.046651 0.034871 0.016376 -0.034871 0.221198 0.432432 0.292683 0.363086 0.187692 0.549550 0.279817 0.396619 0.168591 0.657658 0.268382 0.416192 0.149446 0.729730 0.248086 0.410751 1 khoa_tieng_italia suite23_graph 2166 111 0.051247 0.223334 0.797611 0.047383 0.039152 0.012374 -0.038872 0.230415 0.450450 0.304878 0.378215 0.181538 0.531532 0.270642 0.383615 0.150115 0.585586 0.238971 0.370582 0.138376 0.675676 0.229709 0.380325 1 khoa_tieng_italia suite24_evidence_residual 2166 111 0.051247 0.239605 0.773429 0.047732 0.039226 0.012507 -0.038740 0.216590 0.423423 0.286585 0.355522 0.178462 0.522523 0.266055 0.377113 0.143187 0.558559 0.227941 0.353478 0.119926 0.585586 0.199081 0.329615 1 khoa_tieng_italia suite24_graph_standalone 2166 111 0.051247 0.195186 0.789518 0.048439 0.041027 0.010219 -0.041027 0.188940 0.369369 0.250000 0.310136 0.160000 0.468468 0.238532 0.338101 0.138568 0.540541 0.220588 0.342075 0.136531 0.666667 0.226646 0.375254 1 khoa_tieng_italia suite24_history_residual 2166 111 0.051247 0.300795 0.769974 0.046366 0.036554 0.015123 -0.036124 0.258065 0.504505 0.341463 0.423601 0.181538 0.531532 0.270642 0.383615 0.138568 0.540541 0.220588 0.342075 0.121771 0.594595 0.202144 0.334686 1 khoa_tieng_italia suite24_posthoc_blend 2166 111 0.051247 0.263450 0.789290 0.046489 0.030540 0.020707 -0.030540 0.216590 0.423423 0.286585 0.355522 0.175385 0.513514 0.261468 0.370611 0.154734 0.603604 0.246324 0.381984 0.130996 0.639640 0.217458 0.360041 1 khoa_tieng_italia suite24_safe_scale 2166 111 0.051247 0.239605 0.773429 0.047732 0.039226 0.012507 -0.038740 0.216590 0.423423 0.286585 0.355522 0.178462 0.522523 0.266055 0.377113 0.143187 0.558559 0.227941 0.353478 0.119926 0.585586 0.199081 0.329615 1 khoa_tieng_italia suite24_structural_residual 2166 111 0.051247 0.266191 0.814143 0.045978 0.034133 0.017114 -0.034133 0.244240 0.477477 0.323171 0.400908 0.193846 0.567568 0.288991 0.409623 0.175520 0.684685 0.279412 0.433295 0.145756 0.711712 0.241960 0.400609 1 khoa_tieng_nga committee 1588 102 0.064232 0.347619 0.807359 0.053203 0.028689 0.035543 -0.028689 0.320755 0.500000 0.390805 0.449735 0.222689 0.519608 0.311765 0.410217 0.188679 0.588235 0.285714 0.413223 0.161209 0.627451 0.256513 0.397516 1 khoa_tieng_nga suite14 1588 102 0.064232 0.350810 0.826373 0.052277 0.027242 0.037558 -0.026674 0.320755 0.500000 0.390805 0.449735 0.247899 0.578431 0.347059 0.456656 0.204403 0.637255 0.309524 0.447658 0.176322 0.686275 0.280561 0.434783 1 khoa_tieng_nga suite16 1588 102 0.064232 0.319234 0.779326 0.064654 0.064976 0.128859 0.064627 0.308176 0.480392 0.375479 0.432099 0.231092 0.539216 0.323529 0.425697 0.185535 0.578431 0.280952 0.406336 0.148615 0.578431 0.236473 0.366460 1 khoa_tieng_nga suite17 1588 102 0.064232 0.352796 0.782730 0.054630 0.029405 0.034827 -0.029405 0.320755 0.500000 0.390805 0.449735 0.218487 0.509804 0.305882 0.402477 0.172956 0.539216 0.261905 0.378788 0.148615 0.578431 0.236473 0.366460 1 khoa_tieng_nga suite18 1588 102 0.064232 0.351772 0.780362 0.054648 0.029455 0.034777 -0.029455 0.308176 0.480392 0.375479 0.432099 0.218487 0.509804 0.305882 0.402477 0.179245 0.558824 0.271429 0.392562 0.148615 0.578431 0.236473 0.366460 1 khoa_tieng_nga suite20 1588 102 0.064232 0.318589 0.808230 0.071203 0.062132 0.091944 0.027712 0.301887 0.470588 0.367816 0.423280 0.247899 0.578431 0.347059 0.456656 0.210692 0.656863 0.319048 0.461433 0.176322 0.686275 0.280561 0.434783 1 khoa_tieng_nga suite21 1588 102 0.064232 0.354472 0.830279 0.052158 0.026033 0.038428 -0.025804 0.327044 0.509804 0.398467 0.458554 0.239496 0.558824 0.335294 0.441176 0.201258 0.627451 0.304762 0.440771 0.183879 0.715686 0.292585 0.453416 1 khoa_tieng_nga suite22 1588 102 0.064232 0.349892 0.818192 0.052607 0.022914 0.041318 -0.022914 0.320755 0.500000 0.390805 0.449735 0.239496 0.558824 0.335294 0.441176 0.194969 0.607843 0.295238 0.426997 0.173804 0.676471 0.276553 0.428571 1 khoa_tieng_nga suite22_primary 1588 102 0.064232 0.270463 0.791683 0.054491 0.014410 0.075483 0.011252 0.245283 0.382353 0.298851 0.343915 0.226891 0.529412 0.317647 0.417957 0.204403 0.637255 0.309524 0.447658 0.178841 0.696078 0.284569 0.440994 1 khoa_tieng_nga suite22_relational 1588 102 0.064232 0.218604 0.755674 0.061229 0.048256 0.043331 -0.020901 0.220126 0.343137 0.268199 0.308642 0.210084 0.490196 0.294118 0.386997 0.182390 0.568627 0.276190 0.399449 0.166247 0.647059 0.264529 0.409938 1 khoa_tieng_nga suite23 1588 102 0.064232 0.383897 0.857315 0.055997 0.041410 0.022822 -0.041410 0.327044 0.509804 0.398467 0.458554 0.264706 0.617647 0.370588 0.487616 0.229560 0.715686 0.347619 0.502755 0.191436 0.745098 0.304609 0.472050 1 khoa_tieng_nga suite23_graph 1588 102 0.064232 0.314046 0.820587 0.057552 0.045890 0.018342 -0.045890 0.270440 0.421569 0.329502 0.379189 0.218487 0.509804 0.305882 0.402477 0.182390 0.568627 0.276190 0.399449 0.178841 0.696078 0.284569 0.440994 1 khoa_tieng_nga suite24_evidence_residual 1588 102 0.064232 0.360795 0.801395 0.054824 0.044934 0.019775 -0.044457 0.339623 0.529412 0.413793 0.476190 0.247899 0.578431 0.347059 0.456656 0.191824 0.598039 0.290476 0.420110 0.158690 0.617647 0.252505 0.391304 1 khoa_tieng_nga suite24_graph_standalone 1588 102 0.064232 0.231309 0.757013 0.058728 0.050213 0.017267 -0.046965 0.245283 0.382353 0.298851 0.343915 0.205882 0.480392 0.288235 0.379257 0.182390 0.568627 0.276190 0.399449 0.148615 0.578431 0.236473 0.366460 1 khoa_tieng_nga suite24_history_residual 1588 102 0.064232 0.338159 0.803994 0.055486 0.043389 0.021155 -0.043077 0.327044 0.509804 0.398467 0.458554 0.247899 0.578431 0.347059 0.456656 0.191824 0.598039 0.290476 0.420110 0.163728 0.637255 0.260521 0.403727 1 khoa_tieng_nga suite24_posthoc_blend 1588 102 0.064232 0.339840 0.812742 0.054927 0.036976 0.027256 -0.036976 0.320755 0.500000 0.390805 0.449735 0.243697 0.568627 0.341176 0.448916 0.198113 0.617647 0.300000 0.433884 0.173804 0.676471 0.276553 0.428571 1 khoa_tieng_nga suite24_safe_scale 1588 102 0.064232 0.360795 0.801395 0.054824 0.044934 0.019775 -0.044457 0.339623 0.529412 0.413793 0.476190 0.247899 0.578431 0.347059 0.456656 0.191824 0.598039 0.290476 0.420110 0.158690 0.617647 0.252505 0.391304 1 khoa_tieng_nga suite24_structural_residual 1588 102 0.064232 0.369942 0.812070 0.054004 0.041899 0.022333 -0.041899 0.327044 0.509804 0.398467 0.458554 0.252101 0.588235 0.352941 0.464396 0.198113 0.617647 0.300000 0.433884 0.166247 0.647059 0.264529 0.409938 1 khoa_tieng_nhat committee 2840 17 0.005986 0.502424 0.930070 0.005352 0.008406 0.009915 0.003930 0.045775 0.764706 0.086379 0.184659 0.030516 0.764706 0.058691 0.131579 0.024648 0.823529 0.047863 0.110063 0.022535 0.941176 0.044017 0.102828 1 khoa_tieng_nhat suite14 2840 17 0.005986 0.522380 0.930070 0.004647 0.007362 0.009417 0.003431 0.045775 0.764706 0.086379 0.184659 0.030516 0.764706 0.058691 0.131579 0.024648 0.823529 0.047863 0.110063 0.022535 0.941176 0.044017 0.102828 1 khoa_tieng_nhat suite16 2840 17 0.005986 0.491383 0.955367 0.005981 0.020683 0.025610 0.019624 0.045775 0.764706 0.086379 0.184659 0.032864 0.823529 0.063205 0.141700 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite17 2840 17 0.005986 0.546766 0.958742 0.004743 0.009625 0.011514 0.005529 0.045775 0.764706 0.086379 0.184659 0.037559 0.941176 0.072235 0.161943 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite18 2840 17 0.005986 0.559295 0.948282 0.004763 0.009291 0.011549 0.005563 0.045775 0.764706 0.086379 0.184659 0.030516 0.764706 0.058691 0.131579 0.024648 0.823529 0.047863 0.110063 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite20 2840 17 0.005986 0.109582 0.945031 0.015798 0.031215 0.037201 0.031215 0.045775 0.764706 0.086379 0.184659 0.037559 0.941176 0.072235 0.161943 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite21 2840 17 0.005986 0.476964 0.938113 0.005075 0.007320 0.008458 0.002472 0.045775 0.764706 0.086379 0.184659 0.030516 0.764706 0.058691 0.131579 0.024648 0.823529 0.047863 0.110063 0.022535 0.941176 0.044017 0.102828 1 khoa_tieng_nhat suite22 2840 17 0.005986 0.549821 0.960451 0.005156 0.005783 0.007199 0.001213 0.045775 0.764706 0.086379 0.184659 0.035211 0.882353 0.067720 0.151822 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite22_primary 2840 17 0.005986 0.582929 0.988144 0.004938 0.002864 0.004405 -0.001581 0.059859 1.000000 0.112957 0.241477 0.039906 1.000000 0.076749 0.172065 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite22_relational 2840 17 0.005986 0.334455 0.988394 0.005187 0.003658 0.002328 -0.003658 0.059859 1.000000 0.112957 0.241477 0.039906 1.000000 0.076749 0.172065 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite23 2840 17 0.005986 0.467998 0.964243 0.005213 0.003021 0.005109 -0.000877 0.045775 0.764706 0.086379 0.184659 0.037559 0.941176 0.072235 0.161943 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite23_graph 2840 17 0.005986 0.218868 0.965598 0.005295 0.001979 0.004302 -0.001684 0.049296 0.823529 0.093023 0.198864 0.037559 0.941176 0.072235 0.161943 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite24_evidence_residual 2840 17 0.005986 0.100840 0.912692 0.005680 0.001340 0.004932 -0.001054 0.045775 0.764706 0.086379 0.184659 0.030516 0.764706 0.058691 0.131579 0.022887 0.764706 0.044444 0.102201 0.019718 0.823529 0.038514 0.089974 1 khoa_tieng_nhat suite24_graph_standalone 2840 17 0.005986 0.103125 0.907754 0.005831 0.004351 0.001635 -0.004351 0.042254 0.705882 0.079734 0.170455 0.030516 0.764706 0.058691 0.131579 0.022887 0.764706 0.044444 0.102201 0.019718 0.823529 0.038514 0.089974 1 khoa_tieng_nhat suite24_history_residual 2840 17 0.005986 0.118189 0.914672 0.005529 0.003070 0.006874 0.000888 0.035211 0.588235 0.066445 0.142045 0.030516 0.764706 0.058691 0.131579 0.022887 0.764706 0.044444 0.102201 0.022535 0.941176 0.044017 0.102828 1 khoa_tieng_nhat suite24_posthoc_blend 2840 17 0.005986 0.426482 0.935550 0.005464 0.001371 0.005488 -0.000498 0.045775 0.764706 0.086379 0.184659 0.030516 0.764706 0.058691 0.131579 0.024648 0.823529 0.047863 0.110063 0.022535 0.941176 0.044017 0.102828 1 khoa_tieng_nhat suite24_safe_scale 2840 17 0.005986 0.100840 0.912692 0.005680 0.001340 0.004932 -0.001054 0.045775 0.764706 0.086379 0.184659 0.030516 0.764706 0.058691 0.131579 0.022887 0.764706 0.044444 0.102201 0.019718 0.823529 0.038514 0.089974 1 khoa_tieng_nhat suite24_structural_residual 2840 17 0.005986 0.084746 0.901857 0.005753 0.001704 0.005120 -0.000866 0.045775 0.764706 0.086379 0.184659 0.030516 0.764706 0.058691 0.131579 0.022887 0.764706 0.044444 0.102201 0.018310 0.764706 0.035763 0.083548 1 khoa_tieng_phap committee 2606 42 0.016117 0.227874 0.805782 0.014443 0.006611 0.015430 -0.000687 0.084291 0.523810 0.145215 0.256410 0.056266 0.523810 0.101617 0.196780 0.046065 0.571429 0.085258 0.174165 0.046012 0.714286 0.086455 0.182927 1 khoa_tieng_phap suite14 2606 42 0.016117 0.227874 0.805782 0.014443 0.006611 0.015430 -0.000687 0.084291 0.523810 0.145215 0.256410 0.056266 0.523810 0.101617 0.196780 0.046065 0.571429 0.085258 0.174165 0.046012 0.714286 0.086455 0.182927 1 khoa_tieng_phap suite16 2606 42 0.016117 0.268082 0.882754 0.016904 0.030413 0.046409 0.030292 0.103448 0.642857 0.178218 0.314685 0.079284 0.738095 0.143187 0.277281 0.067179 0.833333 0.124334 0.253991 0.053681 0.833333 0.100865 0.213415 1 khoa_tieng_phap suite17 2606 42 0.016117 0.286070 0.872948 0.013610 0.008520 0.017314 0.001198 0.118774 0.738095 0.204620 0.361305 0.084399 0.785714 0.152425 0.295170 0.065259 0.809524 0.120782 0.246734 0.053681 0.833333 0.100865 0.213415 1 khoa_tieng_phap suite18 2606 42 0.016117 0.282690 0.873756 0.013633 0.008540 0.017308 0.001191 0.122605 0.761905 0.211221 0.372960 0.086957 0.809524 0.157044 0.304114 0.067179 0.833333 0.124334 0.253991 0.053681 0.833333 0.100865 0.213415 1 khoa_tieng_phap suite20 2606 42 0.016117 0.215400 0.905774 0.028997 0.029986 0.045580 0.029463 0.130268 0.809524 0.224422 0.396270 0.086957 0.809524 0.157044 0.304114 0.067179 0.833333 0.124334 0.253991 0.053681 0.833333 0.100865 0.213415 1 khoa_tieng_phap suite21 2606 42 0.016117 0.228023 0.825821 0.014085 0.005846 0.015713 -0.000404 0.088123 0.547619 0.151815 0.268065 0.061381 0.571429 0.110855 0.214669 0.051823 0.642857 0.095915 0.195936 0.050613 0.785714 0.095101 0.201220 1 khoa_tieng_phap suite22 2606 42 0.016117 0.266202 0.856149 0.014010 0.004107 0.014791 -0.001326 0.091954 0.571429 0.158416 0.279720 0.076726 0.714286 0.138568 0.268336 0.063340 0.785714 0.117229 0.239478 0.053681 0.833333 0.100865 0.213415 1 khoa_tieng_phap suite22_primary 2606 42 0.016117 0.279346 0.900045 0.013498 0.009214 0.021640 0.005524 0.095785 0.595238 0.165017 0.291375 0.074169 0.690476 0.133949 0.259392 0.061420 0.761905 0.113677 0.232221 0.059816 0.928571 0.112392 0.237805 1 khoa_tieng_phap suite22_relational 2606 42 0.016117 0.304659 0.924885 0.013642 0.011021 0.007141 -0.008975 0.099617 0.619048 0.171617 0.303030 0.089514 0.833333 0.161663 0.313059 0.074856 0.928571 0.138544 0.283019 0.061350 0.952381 0.115274 0.243902 1 khoa_tieng_phap suite23 2606 42 0.016117 0.227874 0.805782 0.014443 0.006611 0.015430 -0.000687 0.084291 0.523810 0.145215 0.256410 0.056266 0.523810 0.101617 0.196780 0.046065 0.571429 0.085258 0.174165 0.046012 0.714286 0.086455 0.182927 1 khoa_tieng_phap suite23_graph 2606 42 0.016117 0.230287 0.877823 0.014431 0.008986 0.007131 -0.008986 0.091954 0.571429 0.158416 0.279720 0.069054 0.642857 0.124711 0.241503 0.055662 0.690476 0.103020 0.210450 0.053681 0.833333 0.100865 0.213415 1 khoa_tieng_phap suite24_evidence_residual 2606 42 0.016117 0.241783 0.810155 0.014275 0.008306 0.009067 -0.007050 0.088123 0.547619 0.151815 0.268065 0.058824 0.547619 0.106236 0.205725 0.047985 0.595238 0.088810 0.181422 0.041411 0.642857 0.077810 0.164634 1 khoa_tieng_phap suite24_graph_standalone 2606 42 0.016117 0.219665 0.856660 0.014246 0.008956 0.008924 -0.007193 0.091954 0.571429 0.158416 0.279720 0.066496 0.619048 0.120092 0.232558 0.055662 0.690476 0.103020 0.210450 0.050613 0.785714 0.095101 0.201220 1 khoa_tieng_phap suite24_history_residual 2606 42 0.016117 0.250322 0.798427 0.014095 0.006357 0.010234 -0.005882 0.088123 0.547619 0.151815 0.268065 0.058824 0.547619 0.106236 0.205725 0.044146 0.547619 0.081705 0.166909 0.039877 0.619048 0.074928 0.158537 1 khoa_tieng_phap suite24_posthoc_blend 2606 42 0.016117 0.246261 0.835516 0.014224 0.005802 0.010731 -0.005386 0.088123 0.547619 0.151815 0.268065 0.071611 0.666667 0.129330 0.250447 0.057582 0.714286 0.106572 0.217707 0.049080 0.761905 0.092219 0.195122 1 khoa_tieng_phap suite24_safe_scale 2606 42 0.016117 0.241783 0.810155 0.014275 0.008306 0.009067 -0.007050 0.088123 0.547619 0.151815 0.268065 0.058824 0.547619 0.106236 0.205725 0.047985 0.595238 0.088810 0.181422 0.041411 0.642857 0.077810 0.164634 1 khoa_tieng_phap suite24_structural_residual 2606 42 0.016117 0.274240 0.821029 0.013704 0.004558 0.012307 -0.003810 0.091954 0.571429 0.158416 0.279720 0.066496 0.619048 0.120092 0.232558 0.049904 0.619048 0.092362 0.188679 0.041411 0.642857 0.077810 0.164634 ============================================================================================================================================================================ SUITE24 TARGET FOLD 2 ============================================================================================================================================================================ [DATA] history=286,472 fail=5,528 (1.93%) train=170,825 validation=115,647 target=42,122 fail=933 (2.21%) [EVIDENCE CACHE] history... [EVIDENCE CACHE] 25,000/286,472 [EVIDENCE CACHE] 50,000/286,472 [EVIDENCE CACHE] 75,000/286,472 [EVIDENCE CACHE] 100,000/286,472 [EVIDENCE CACHE] 125,000/286,472 [EVIDENCE CACHE] 150,000/286,472 [EVIDENCE CACHE] 175,000/286,472 [EVIDENCE CACHE] 200,000/286,472 [EVIDENCE CACHE] 225,000/286,472 [EVIDENCE CACHE] 250,000/286,472 [EVIDENCE CACHE] 275,000/286,472 [EVIDENCE CACHE] target... [EVIDENCE CACHE] 25,000/42,122 FOLD 2 SUITE24 EVIDENCE SUPPORT — TARGET -------------------------------------------------------------------------------- faculty rows prevalence history_courses_mean structural_courses_mean related_history_mean same_course_history_mean failed_history_mean direct_structural_mean history_zero_rate structural_zero_rate khoa_cong_nghe_thong_tin 4598 0.033058 15.738582 1.768160 0.454110 0.064158 1.799478 1.023271 0.0 0.343845 khoa_quan_tri_kinh_doanh_va_du_lich 5530 0.030018 15.654611 4.408861 0.801989 0.082278 2.192224 2.673056 0.0 0.083725 khoa_quoc_te_hoc 2095 0.009069 15.715036 5.144153 1.104535 0.052029 1.300239 4.104057 0.0 0.041527 khoa_tieng_anh 8328 0.014649 15.818924 2.734750 1.093420 0.011647 1.556076 2.308357 0.0 0.380163 khoa_tieng_bo_dao_nha 716 0.041899 16.000000 2.555866 0.678771 0.099162 2.157821 1.829609 0.0 0.275140 khoa_tieng_duc 1893 0.027998 16.000000 0.686741 0.227681 0.084522 1.361859 0.424723 0.0 0.770734 khoa_tieng_han_quoc 3337 0.008690 16.000000 1.353911 0.370393 0.023974 0.563980 0.715013 0.0 0.485166 khoa_tieng_italia 2024 0.035079 15.997036 2.263834 0.731225 0.101779 1.926877 1.485178 0.0 0.271245 khoa_tieng_nga 1567 0.052967 16.000000 3.402042 0.835992 0.077218 1.921506 2.032546 0.0 0.070198 khoa_tieng_nhat 2448 0.004493 16.000000 3.450980 0.870098 0.018382 0.430556 1.797386 0.0 0.115196 khoa_tieng_phap 2204 0.018149 15.993194 3.163339 0.738203 0.040835 0.964156 1.914247 0.0 0.173775 khoa_tieng_tay_ban_nha 1242 0.033816 16.000000 3.644122 1.012882 0.061192 1.495974 2.012077 0.0 0.080515 khoa_tieng_trung_quoc 5584 0.013610 14.896669 1.671383 0.489076 0.007701 0.471705 1.001433 0.0 0.397027 khoa_viet_nam_hoc 556 0.070144 15.260791 0.014388 0.003597 0.107914 0.922662 0.007194 0.0 0.996403 [CHRONOLOGY AUDIT] violations=0 / 328,594 | strict historical interaction semester < query semester ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_history_residual] [SELECT HISTORY] epoch=01/10 loss=0.15183 macroAP=0.2812 F2@20=0.2846 Brier=0.0210 corr=0.3017 gate=0.5000 best=01 [SELECT HISTORY] epoch=02/10 loss=0.13520 macroAP=0.2791 F2@20=0.2789 Brier=0.0210 corr=0.3654 gate=0.5000 best=01 [SELECT HISTORY] epoch=03/10 loss=0.13237 macroAP=0.2715 F2@20=0.2731 Brier=0.0212 corr=0.4010 gate=0.5000 best=01 [SELECT HISTORY] epoch=04/10 loss=0.12692 macroAP=0.2699 F2@20=0.2729 Brier=0.0211 corr=0.4282 gate=0.5000 best=01 [SELECT HISTORY] epoch=05/10 loss=0.12336 macroAP=0.2742 F2@20=0.2767 Brier=0.0210 corr=0.4224 gate=0.5000 best=01 [REFIT HISTORY] epoch=01/1 loss=0.15970 corr=0.2879 [VARIANT suite24_history_residual] selected_epochs=1 target macroAP=0.5107 ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_structural_residual] [SELECT STRUCTURAL] epoch=01/10 loss=0.14761 macroAP=0.2792 F2@20=0.2822 Brier=0.0210 corr=0.4238 gate=0.8367 best=01 [SELECT STRUCTURAL] epoch=02/10 loss=0.13570 macroAP=0.2780 F2@20=0.2776 Brier=0.0211 corr=0.5574 gate=0.8363 best=01 [SELECT STRUCTURAL] epoch=03/10 loss=0.12352 macroAP=0.2719 F2@20=0.2751 Brier=0.0212 corr=0.5853 gate=0.8360 best=01 [SELECT STRUCTURAL] epoch=04/10 loss=0.11973 macroAP=0.2737 F2@20=0.2763 Brier=0.0211 corr=0.5981 gate=0.8368 best=01 [SELECT STRUCTURAL] epoch=05/10 loss=0.11745 macroAP=0.2721 F2@20=0.2784 Brier=0.0212 corr=0.6028 gate=0.8369 best=01 [REFIT STRUCTURAL] epoch=01/1 loss=0.15646 corr=0.3737 [VARIANT suite24_structural_residual] selected_epochs=1 target macroAP=0.5108 ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_evidence_residual] [SELECT EVIDENCE] epoch=01/10 loss=0.15714 macroAP=0.2681 F2@20=0.2696 Brier=0.0212 corr=0.1631 gate=0.3167 best=01 [SELECT EVIDENCE] epoch=02/10 loss=0.14126 macroAP=0.2693 F2@20=0.2716 Brier=0.0212 corr=0.2276 gate=0.3582 best=02 [SELECT EVIDENCE] epoch=03/10 loss=0.13861 macroAP=0.2688 F2@20=0.2696 Brier=0.0212 corr=0.2998 gate=0.4019 best=02 [SELECT EVIDENCE] epoch=04/10 loss=0.12843 macroAP=0.2662 F2@20=0.2698 Brier=0.0214 corr=0.3337 gate=0.4426 best=02 [SELECT EVIDENCE] epoch=05/10 loss=0.12706 macroAP=0.2643 F2@20=0.2687 Brier=0.0214 corr=0.3829 gate=0.4797 best=02 [REFIT EVIDENCE] epoch=01/2 loss=0.16058 corr=0.1450 [REFIT EVIDENCE] epoch=02/2 loss=0.15161 corr=0.2414 [VARIANT suite24_evidence_residual] selected_epochs=2 target macroAP=0.5130 [SAFE SCALE] selected lambda=0.50 policyAP=0.2785 policyF2=0.2698 [POSTHOC BLEND ABLATION] selected alpha=0.25 policyAP=0.2891 SUITE24 TARGET FOLD 2 — NEW + AVAILABLE REFERENCE RESULTS -------------------------------------------------------------------------------- fold faculty model rows failures prevalence ap auc brier ece10 mean_score calibration_gap precision_at_10 recall_at_10 f1_at_10 fbeta_at_10 precision_at_15 recall_at_15 f1_at_15 fbeta_at_15 precision_at_20 recall_at_20 f1_at_20 fbeta_at_20 precision_at_25 recall_at_25 f1_at_25 fbeta_at_25 2 khoa_cong_nghe_thong_tin committee 4598 152 0.033058 0.472860 0.920570 0.023143 0.012838 0.037651 0.004593 0.236957 0.717105 0.356209 0.510300 0.175362 0.796053 0.287411 0.466102 0.141304 0.855263 0.242537 0.425393 0.118261 0.894737 0.208909 0.386803 2 khoa_cong_nghe_thong_tin council 4598 152 0.033058 0.476690 0.915169 0.026448 0.054868 0.087345 0.054287 0.236957 0.717105 0.356209 0.510300 0.175362 0.796053 0.287411 0.466102 0.140217 0.848684 0.240672 0.422120 0.116522 0.881579 0.205837 0.381115 2 khoa_cong_nghe_thong_tin suite14 4598 152 0.033058 0.473774 0.907398 0.041821 0.095287 0.128345 0.095287 0.230435 0.697368 0.346405 0.496255 0.171014 0.776316 0.280285 0.454545 0.134783 0.815789 0.231343 0.405759 0.110435 0.835526 0.195084 0.361206 2 khoa_cong_nghe_thong_tin suite16 4598 152 0.033058 0.499138 0.935128 0.042258 0.091778 0.124836 0.091778 0.239130 0.723684 0.359477 0.514981 0.188406 0.855263 0.308789 0.500770 0.148913 0.901316 0.255597 0.448298 0.120870 0.914474 0.213518 0.395336 2 khoa_cong_nghe_thong_tin suite17 4598 152 0.033058 0.487261 0.933280 0.023313 0.013502 0.037228 0.004170 0.241304 0.730263 0.362745 0.519663 0.184058 0.835526 0.301663 0.489214 0.146739 0.888158 0.251866 0.441754 0.120870 0.914474 0.213518 0.395336 2 khoa_cong_nghe_thong_tin suite18 4598 152 0.033058 0.487408 0.934419 0.023322 0.014046 0.037118 0.004061 0.239130 0.723684 0.359477 0.514981 0.179710 0.815789 0.294537 0.477658 0.146739 0.888158 0.251866 0.441754 0.122609 0.927632 0.216590 0.401024 2 khoa_cong_nghe_thong_tin suite20 4598 152 0.033058 0.320783 0.897215 0.168618 0.274452 0.307510 0.274452 0.215217 0.651316 0.323529 0.463483 0.155072 0.703947 0.254157 0.412173 0.127174 0.769737 0.218284 0.382853 0.106957 0.809211 0.188940 0.349829 2 khoa_cong_nghe_thong_tin suite21 4598 152 0.033058 0.482815 0.922643 0.022936 0.017849 0.048441 0.015383 0.223913 0.677632 0.336601 0.482210 0.171014 0.776316 0.280285 0.454545 0.140217 0.848684 0.240672 0.422120 0.117391 0.888158 0.207373 0.383959 2 khoa_cong_nghe_thong_tin suite22 4598 152 0.033058 0.480425 0.916504 0.023646 0.010939 0.030946 -0.002112 0.226087 0.684211 0.339869 0.486891 0.169565 0.769737 0.277910 0.450693 0.135870 0.822368 0.233209 0.409031 0.114783 0.868421 0.202765 0.375427 2 khoa_cong_nghe_thong_tin suite22_primary 4598 152 0.033058 0.329882 0.875000 0.026521 0.003434 0.030435 -0.002623 0.202174 0.611842 0.303922 0.435393 0.143478 0.651316 0.235154 0.381356 0.113043 0.684211 0.194030 0.340314 0.099130 0.750000 0.175115 0.324232 2 khoa_cong_nghe_thong_tin suite22_relational 4598 152 0.033058 0.352241 0.894213 0.026740 0.007650 0.039975 0.006917 0.213043 0.644737 0.320261 0.458801 0.160870 0.730263 0.263658 0.427581 0.129348 0.782895 0.222015 0.389398 0.109565 0.828947 0.193548 0.358362 2 khoa_cong_nghe_thong_tin suite23 4598 152 0.033058 0.485999 0.927667 0.022971 0.013836 0.036785 0.003727 0.241304 0.730263 0.362745 0.519663 0.178261 0.809211 0.292162 0.473806 0.144565 0.875000 0.248134 0.435209 0.119130 0.901316 0.210445 0.389647 2 khoa_cong_nghe_thong_tin suite23_graph 4598 152 0.033058 0.370662 0.908878 0.027005 0.023008 0.046725 0.013667 0.228261 0.690789 0.343137 0.491573 0.171014 0.776316 0.280285 0.454545 0.138043 0.835526 0.236940 0.415576 0.113043 0.855263 0.199693 0.369738 2 khoa_cong_nghe_thong_tin suite24_evidence_residual 4598 152 0.033058 0.462877 0.920363 0.023188 0.012322 0.042935 0.009878 0.239130 0.723684 0.359477 0.514981 0.179710 0.815789 0.294537 0.477658 0.142391 0.861842 0.244403 0.428665 0.118261 0.894737 0.208909 0.386803 2 khoa_cong_nghe_thong_tin suite24_graph_standalone 4598 152 0.033058 0.323393 0.896737 0.030394 0.045532 0.076014 0.042956 0.200000 0.605263 0.300654 0.430712 0.162319 0.736842 0.266033 0.431433 0.132609 0.802632 0.227612 0.399215 0.111304 0.842105 0.196621 0.364050 2 khoa_cong_nghe_thong_tin suite24_history_residual 4598 152 0.033058 0.473270 0.927824 0.023512 0.023099 0.053218 0.020160 0.243478 0.736842 0.366013 0.524345 0.181159 0.822368 0.296912 0.481510 0.143478 0.868421 0.246269 0.431937 0.119130 0.901316 0.210445 0.389647 2 khoa_cong_nghe_thong_tin suite24_posthoc_blend 4598 152 0.033058 0.495181 0.933114 0.022779 0.015035 0.040685 0.007627 0.243478 0.736842 0.366013 0.524345 0.185507 0.842105 0.304038 0.493066 0.145652 0.881579 0.250000 0.438482 0.121739 0.921053 0.215054 0.398180 2 khoa_cong_nghe_thong_tin suite24_safe_scale 4598 152 0.033058 0.471208 0.923232 0.022991 0.010744 0.036787 0.003729 0.234783 0.710526 0.352941 0.505618 0.178261 0.809211 0.292162 0.473806 0.143478 0.868421 0.246269 0.431937 0.121739 0.921053 0.215054 0.398180 2 khoa_cong_nghe_thong_tin suite24_structural_residual 4598 152 0.033058 0.468064 0.921042 0.023923 0.024979 0.054884 0.021826 0.230435 0.697368 0.346405 0.496255 0.176812 0.802632 0.289786 0.469954 0.141304 0.855263 0.242537 0.425393 0.117391 0.888158 0.207373 0.383959 2 khoa_cong_nghe_thong_tin v2 4598 152 0.033058 0.462038 0.922494 0.060802 0.135133 0.168190 0.135133 0.226087 0.684211 0.339869 0.486891 0.181159 0.822368 0.296912 0.481510 0.142391 0.861842 0.244403 0.428665 0.118261 0.894737 0.208909 0.386803 2 khoa_quan_tri_kinh_doanh_va_du_lich committee 5530 166 0.030018 0.549834 0.909619 0.019035 0.015487 0.041229 0.011211 0.220615 0.734940 0.339360 0.501233 0.160241 0.801205 0.267068 0.445114 0.125678 0.837349 0.218553 0.392655 0.104197 0.867470 0.186047 0.351906 2 khoa_quan_tri_kinh_doanh_va_du_lich suite14 5530 166 0.030018 0.545998 0.902980 0.042703 0.106776 0.135838 0.105820 0.207957 0.692771 0.319889 0.472473 0.148193 0.740964 0.246988 0.411647 0.119349 0.795181 0.207547 0.372881 0.097685 0.813253 0.174419 0.329912 2 khoa_quan_tri_kinh_doanh_va_du_lich suite16 5530 166 0.030018 0.564322 0.932926 0.045202 0.105225 0.135243 0.105225 0.236890 0.789157 0.364395 0.538209 0.168675 0.843373 0.281124 0.468541 0.133816 0.891566 0.232704 0.418079 0.108538 0.903614 0.193798 0.366569 2 khoa_quan_tri_kinh_doanh_va_du_lich suite17 5530 166 0.030018 0.558182 0.924736 0.020026 0.020437 0.042374 0.012356 0.226040 0.753012 0.347705 0.513558 0.163855 0.819277 0.273092 0.455154 0.132911 0.885542 0.231132 0.415254 0.108538 0.903614 0.193798 0.366569 2 khoa_quan_tri_kinh_doanh_va_du_lich suite18 5530 166 0.030018 0.556925 0.923863 0.020030 0.020249 0.041880 0.011862 0.227848 0.759036 0.350487 0.517666 0.162651 0.813253 0.271084 0.451807 0.132007 0.879518 0.229560 0.412429 0.108538 0.903614 0.193798 0.366569 2 khoa_quan_tri_kinh_doanh_va_du_lich suite20 5530 166 0.030018 0.464043 0.941029 0.110732 0.181215 0.211233 0.181215 0.224231 0.746988 0.344924 0.509449 0.171084 0.855422 0.285141 0.475234 0.137432 0.915663 0.238994 0.429379 0.114327 0.951807 0.204134 0.386119 2 khoa_quan_tri_kinh_doanh_va_du_lich suite21 5530 166 0.030018 0.530865 0.926398 0.020894 0.026273 0.055663 0.025645 0.218807 0.728916 0.336579 0.497124 0.162651 0.813253 0.271084 0.451807 0.129295 0.861446 0.224843 0.403955 0.107815 0.897590 0.192506 0.364125 2 khoa_quan_tri_kinh_doanh_va_du_lich suite22 5530 166 0.030018 0.525015 0.926021 0.020145 0.015972 0.042136 0.012118 0.211573 0.704819 0.325452 0.480690 0.161446 0.807229 0.269076 0.448461 0.130199 0.867470 0.226415 0.406780 0.109986 0.915663 0.196382 0.371457 2 khoa_quan_tri_kinh_doanh_va_du_lich suite22_primary 5530 166 0.030018 0.447841 0.907996 0.023682 0.021600 0.049640 0.019622 0.191682 0.638554 0.294854 0.435497 0.149398 0.746988 0.248996 0.414993 0.119349 0.795181 0.207547 0.372881 0.103473 0.861446 0.184755 0.349462 2 khoa_quan_tri_kinh_doanh_va_du_lich suite22_relational 5530 166 0.030018 0.472086 0.935960 0.023730 0.027788 0.056341 0.026323 0.215190 0.716867 0.331015 0.488907 0.165060 0.825301 0.275100 0.458501 0.135624 0.903614 0.235849 0.423729 0.114327 0.951807 0.204134 0.386119 2 khoa_quan_tri_kinh_doanh_va_du_lich suite23 5530 166 0.030018 0.569418 0.929673 0.019078 0.017191 0.040018 0.010000 0.233273 0.777108 0.358832 0.529992 0.168675 0.843373 0.281124 0.468541 0.133816 0.891566 0.232704 0.418079 0.107091 0.891566 0.191214 0.361681 2 khoa_quan_tri_kinh_doanh_va_du_lich suite23_graph 5530 166 0.030018 0.514125 0.940697 0.023255 0.027259 0.046383 0.016365 0.227848 0.759036 0.350487 0.517666 0.173494 0.867470 0.289157 0.481928 0.134720 0.897590 0.234277 0.420904 0.112880 0.939759 0.201550 0.381232 2 khoa_quan_tri_kinh_doanh_va_du_lich suite24_evidence_residual 5530 166 0.030018 0.582180 0.934937 0.018729 0.019918 0.047328 0.017310 0.231465 0.771084 0.356050 0.525883 0.171084 0.855422 0.285141 0.475234 0.131103 0.873494 0.227987 0.409605 0.109262 0.909639 0.195090 0.369013 2 khoa_quan_tri_kinh_doanh_va_du_lich suite24_graph_standalone 5530 166 0.030018 0.450415 0.929995 0.030584 0.068187 0.096178 0.066160 0.211573 0.704819 0.325452 0.480690 0.162651 0.813253 0.271084 0.451807 0.132911 0.885542 0.231132 0.415254 0.111433 0.927711 0.198966 0.376344 2 khoa_quan_tri_kinh_doanh_va_du_lich suite24_history_residual 5530 166 0.030018 0.561367 0.919963 0.020248 0.030459 0.058831 0.028813 0.220615 0.734940 0.339360 0.501233 0.160241 0.801205 0.267068 0.445114 0.129295 0.861446 0.224843 0.403955 0.107091 0.891566 0.191214 0.361681 2 khoa_quan_tri_kinh_doanh_va_du_lich suite24_posthoc_blend 5530 166 0.030018 0.575343 0.931656 0.019051 0.022084 0.046921 0.016903 0.233273 0.777108 0.358832 0.529992 0.168675 0.843373 0.281124 0.468541 0.132911 0.885542 0.231132 0.415254 0.108538 0.903614 0.193798 0.366569 2 khoa_quan_tri_kinh_doanh_va_du_lich suite24_safe_scale 5530 166 0.030018 0.573747 0.926536 0.018483 0.015256 0.040346 0.010328 0.229656 0.765060 0.353268 0.521775 0.166265 0.831325 0.277108 0.461847 0.131103 0.873494 0.227987 0.409605 0.108538 0.903614 0.193798 0.366569 2 khoa_quan_tri_kinh_doanh_va_du_lich suite24_structural_residual 5530 166 0.030018 0.575071 0.921341 0.021205 0.039568 0.067935 0.037917 0.227848 0.759036 0.350487 0.517666 0.162651 0.813253 0.271084 0.451807 0.131103 0.873494 0.227987 0.409605 0.106368 0.885542 0.189922 0.359238 2 khoa_quoc_te_hoc committee 2095 19 0.009069 0.466005 0.959462 0.006878 0.013799 0.022153 0.013083 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite14 2095 19 0.009069 0.432276 0.960374 0.032502 0.114876 0.123945 0.114876 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite16 2095 19 0.009069 0.473921 0.960780 0.024839 0.076802 0.085871 0.076802 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite17 2095 19 0.009069 0.488217 0.961211 0.006948 0.016730 0.023198 0.014128 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite18 2095 19 0.009069 0.473864 0.963264 0.006932 0.016883 0.022965 0.013896 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite20 2095 19 0.009069 0.134788 0.931878 0.108362 0.144215 0.153284 0.144215 0.061905 0.684211 0.113537 0.227273 0.047771 0.789474 0.090090 0.192308 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite21 2095 19 0.009069 0.507836 0.955430 0.009537 0.031238 0.039241 0.030172 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite22 2095 19 0.009069 0.501735 0.941588 0.006779 0.012461 0.018420 0.009351 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite22_primary 2095 19 0.009069 0.265678 0.880996 0.008173 0.011655 0.019388 0.010319 0.057143 0.631579 0.104803 0.209790 0.038217 0.631579 0.072072 0.153846 0.040573 0.894737 0.077626 0.171717 0.032443 0.894737 0.062615 0.141667 2 khoa_quoc_te_hoc suite22_relational 2095 19 0.009069 0.358624 0.953504 0.007682 0.008918 0.017025 0.007956 0.080952 0.894737 0.148472 0.297203 0.054140 0.894737 0.102102 0.217949 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite23 2095 19 0.009069 0.467968 0.958929 0.006597 0.015104 0.020919 0.011850 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite23_graph 2095 19 0.009069 0.314436 0.942780 0.008124 0.021962 0.027560 0.018491 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite24_evidence_residual 2095 19 0.009069 0.510274 0.969729 0.007706 0.025508 0.033916 0.024847 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite24_graph_standalone 2095 19 0.009069 0.244132 0.972264 0.012474 0.054692 0.063762 0.054692 0.080952 0.894737 0.148472 0.297203 0.057325 0.947368 0.108108 0.230769 0.045346 1.000000 0.086758 0.191919 0.036260 1.000000 0.069982 0.158333 2 khoa_quoc_te_hoc suite24_history_residual 2095 19 0.009069 0.479575 0.959715 0.008410 0.028185 0.036704 0.027635 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite24_posthoc_blend 2095 19 0.009069 0.505414 0.968005 0.006781 0.023632 0.026180 0.017111 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite24_safe_scale 2095 19 0.009069 0.495359 0.965039 0.006880 0.019507 0.025010 0.015941 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite24_structural_residual 2095 19 0.009069 0.526775 0.964228 0.009316 0.036633 0.044217 0.035148 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_tieng_anh committee 8328 122 0.014649 0.749047 0.977169 0.007211 0.012779 0.026267 0.011618 0.138055 0.942623 0.240838 0.435276 0.093675 0.959016 0.170678 0.336788 0.070228 0.959016 0.130872 0.271588 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite14 8328 122 0.014649 0.741424 0.977534 0.018661 0.051063 0.065676 0.051027 0.134454 0.918033 0.234555 0.423921 0.092074 0.942623 0.167761 0.331031 0.070228 0.959016 0.130872 0.271588 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite16 8328 122 0.014649 0.751928 0.980333 0.022554 0.053939 0.068589 0.053939 0.139256 0.950820 0.242932 0.439061 0.093675 0.959016 0.170678 0.336788 0.071429 0.975410 0.133110 0.276230 0.057157 0.975410 0.107985 0.231518 2 khoa_tieng_anh suite17 8328 122 0.014649 0.762055 0.977579 0.007457 0.015500 0.027612 0.012963 0.139256 0.950820 0.242932 0.439061 0.093675 0.959016 0.170678 0.336788 0.070828 0.967213 0.131991 0.273909 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite18 8328 122 0.014649 0.752168 0.977466 0.007442 0.014939 0.027294 0.012644 0.139256 0.950820 0.242932 0.439061 0.093675 0.959016 0.170678 0.336788 0.070828 0.967213 0.131991 0.273909 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite20 8328 122 0.014649 0.524562 0.941347 0.039041 0.079599 0.094249 0.079599 0.127251 0.868852 0.221990 0.401211 0.085669 0.877049 0.156090 0.308002 0.066026 0.901639 0.123043 0.255339 0.053314 0.909836 0.100726 0.215953 2 khoa_tieng_anh suite21 8328 122 0.014649 0.756798 0.976076 0.007117 0.012504 0.025747 0.011098 0.136855 0.934426 0.238743 0.431491 0.092874 0.950820 0.169220 0.333909 0.070228 0.959016 0.130872 0.271588 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite22 8328 122 0.014649 0.741836 0.974922 0.007174 0.013927 0.026139 0.011490 0.138055 0.942623 0.240838 0.435276 0.093675 0.959016 0.170678 0.336788 0.070228 0.959016 0.130872 0.271588 0.056196 0.959016 0.106171 0.227626 2 khoa_tieng_anh suite22_primary 8328 122 0.014649 0.661831 0.955490 0.009233 0.020296 0.031390 0.016741 0.127251 0.868852 0.221990 0.401211 0.087270 0.893443 0.159008 0.313759 0.068427 0.934426 0.127517 0.264624 0.055716 0.950820 0.105263 0.225681 2 khoa_tieng_anh suite22_relational 8328 122 0.014649 0.569195 0.943079 0.016643 0.028733 0.041023 0.026374 0.124850 0.852459 0.217801 0.393641 0.086469 0.885246 0.157549 0.310881 0.068427 0.934426 0.127517 0.264624 0.056196 0.959016 0.106171 0.227626 2 khoa_tieng_anh suite23 8328 122 0.014649 0.727079 0.978726 0.007763 0.012795 0.020054 0.005404 0.138055 0.942623 0.240838 0.435276 0.094476 0.967213 0.172137 0.339666 0.070828 0.967213 0.131991 0.273909 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite23_graph 8328 122 0.014649 0.608671 0.967922 0.010280 0.013484 0.019862 0.005213 0.136855 0.934426 0.238743 0.431491 0.091273 0.934426 0.166302 0.328152 0.070228 0.959016 0.130872 0.271588 0.057157 0.975410 0.107985 0.231518 2 khoa_tieng_anh suite24_evidence_residual 8328 122 0.014649 0.743490 0.978501 0.007092 0.011270 0.025025 0.010375 0.139256 0.950820 0.242932 0.439061 0.094476 0.967213 0.172137 0.339666 0.070828 0.967213 0.131991 0.273909 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite24_graph_standalone 8328 122 0.014649 0.555853 0.956490 0.011116 0.033499 0.042781 0.028132 0.129652 0.885246 0.226178 0.408781 0.089672 0.918033 0.163384 0.322395 0.068427 0.934426 0.127517 0.264624 0.055235 0.942623 0.104356 0.223735 2 khoa_tieng_anh suite24_history_residual 8328 122 0.014649 0.719682 0.978482 0.007409 0.009806 0.023904 0.009255 0.139256 0.950820 0.242932 0.439061 0.094476 0.967213 0.172137 0.339666 0.070828 0.967213 0.131991 0.273909 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite24_posthoc_blend 8328 122 0.014649 0.751918 0.979194 0.007022 0.013554 0.026169 0.011520 0.138055 0.942623 0.240838 0.435276 0.094476 0.967213 0.172137 0.339666 0.070828 0.967213 0.131991 0.273909 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite24_safe_scale 8328 122 0.014649 0.749111 0.978047 0.006926 0.009974 0.023823 0.009174 0.138055 0.942623 0.240838 0.435276 0.093675 0.959016 0.170678 0.336788 0.070828 0.967213 0.131991 0.273909 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite24_structural_residual 8328 122 0.014649 0.718066 0.978236 0.007488 0.011933 0.025493 0.010844 0.140456 0.959016 0.245026 0.442846 0.094476 0.967213 0.172137 0.339666 0.070828 0.967213 0.131991 0.273909 0.057157 0.975410 0.107985 0.231518 2 khoa_tieng_bo_dao_nha committee 716 30 0.041899 0.526647 0.943635 0.026265 0.019578 0.043389 0.001490 0.319444 0.766667 0.450980 0.598958 0.214953 0.766667 0.335766 0.506608 0.188811 0.900000 0.312139 0.513308 0.162011 0.966667 0.277512 0.484950 2 khoa_tieng_bo_dao_nha suite14 716 30 0.041899 0.520653 0.930029 0.052735 0.114265 0.155963 0.114063 0.305556 0.733333 0.431373 0.572917 0.214953 0.766667 0.335766 0.506608 0.181818 0.866667 0.300578 0.494297 0.150838 0.900000 0.258373 0.451505 2 khoa_tieng_bo_dao_nha suite16 716 30 0.041899 0.603194 0.961516 0.038244 0.069537 0.110707 0.068807 0.319444 0.766667 0.450980 0.598958 0.261682 0.933333 0.408759 0.616740 0.195804 0.933333 0.323699 0.532319 0.167598 1.000000 0.287081 0.501672 2 khoa_tieng_bo_dao_nha suite17 716 30 0.041899 0.546738 0.953693 0.026798 0.016812 0.043718 0.001818 0.319444 0.766667 0.450980 0.598958 0.252336 0.900000 0.394161 0.594714 0.195804 0.933333 0.323699 0.532319 0.162011 0.966667 0.277512 0.484950 2 khoa_tieng_bo_dao_nha suite18 716 30 0.041899 0.557300 0.954227 0.026498 0.017840 0.044467 0.002568 0.319444 0.766667 0.450980 0.598958 0.242991 0.866667 0.379562 0.572687 0.195804 0.933333 0.323699 0.532319 0.162011 0.966667 0.277512 0.484950 2 khoa_tieng_bo_dao_nha suite20 716 30 0.041899 0.211365 0.853741 0.172401 0.194542 0.235316 0.193416 0.222222 0.533333 0.313725 0.416667 0.177570 0.633333 0.277372 0.418502 0.146853 0.700000 0.242775 0.399240 0.128492 0.766667 0.220096 0.384615 2 khoa_tieng_bo_dao_nha suite21 716 30 0.041899 0.551242 0.938095 0.026173 0.022161 0.053571 0.011671 0.319444 0.766667 0.450980 0.598958 0.233645 0.833333 0.364964 0.550661 0.174825 0.833333 0.289017 0.475285 0.145251 0.866667 0.248804 0.434783 2 khoa_tieng_bo_dao_nha suite22 716 30 0.041899 0.494452 0.944461 0.029646 0.009077 0.032822 -0.009077 0.291667 0.700000 0.411765 0.546875 0.242991 0.866667 0.379562 0.572687 0.202797 0.966667 0.335260 0.551331 0.162011 0.966667 0.277512 0.484950 2 khoa_tieng_bo_dao_nha suite22_primary 716 30 0.041899 0.305053 0.904713 0.034193 0.010850 0.031050 -0.010850 0.250000 0.600000 0.352941 0.468750 0.214953 0.766667 0.335766 0.506608 0.174825 0.833333 0.289017 0.475285 0.150838 0.900000 0.258373 0.451505 2 khoa_tieng_bo_dao_nha suite22_relational 716 30 0.041899 0.366353 0.884014 0.032827 0.012840 0.031805 -0.010094 0.250000 0.600000 0.352941 0.468750 0.177570 0.633333 0.277372 0.418502 0.146853 0.700000 0.242775 0.399240 0.128492 0.766667 0.220096 0.384615 2 khoa_tieng_bo_dao_nha suite23 716 30 0.041899 0.526647 0.943635 0.026265 0.019578 0.043389 0.001490 0.319444 0.766667 0.450980 0.598958 0.214953 0.766667 0.335766 0.506608 0.188811 0.900000 0.312139 0.513308 0.162011 0.966667 0.277512 0.484950 2 khoa_tieng_bo_dao_nha suite23_graph 716 30 0.041899 0.367469 0.864091 0.035476 0.013522 0.046594 0.004695 0.194444 0.466667 0.274510 0.364583 0.168224 0.600000 0.262774 0.396476 0.146853 0.700000 0.242775 0.399240 0.134078 0.800000 0.229665 0.401338 2 khoa_tieng_bo_dao_nha suite24_evidence_residual 716 30 0.041899 0.494691 0.944704 0.027669 0.022585 0.056247 0.014348 0.305556 0.733333 0.431373 0.572917 0.252336 0.900000 0.394161 0.594714 0.195804 0.933333 0.323699 0.532319 0.156425 0.933333 0.267943 0.468227 2 khoa_tieng_bo_dao_nha suite24_graph_standalone 716 30 0.041899 0.244460 0.867347 0.041189 0.058840 0.100739 0.058840 0.208333 0.500000 0.294118 0.390625 0.177570 0.633333 0.277372 0.418502 0.146853 0.700000 0.242775 0.399240 0.128492 0.766667 0.220096 0.384615 2 khoa_tieng_bo_dao_nha suite24_history_residual 716 30 0.041899 0.513368 0.943975 0.027247 0.028970 0.061205 0.019305 0.291667 0.700000 0.411765 0.546875 0.224299 0.800000 0.350365 0.528634 0.181818 0.866667 0.300578 0.494297 0.162011 0.966667 0.277512 0.484950 2 khoa_tieng_bo_dao_nha suite24_posthoc_blend 716 30 0.041899 0.512364 0.954616 0.027288 0.019388 0.047349 0.005450 0.319444 0.766667 0.450980 0.598958 0.252336 0.900000 0.394161 0.594714 0.195804 0.933333 0.323699 0.532319 0.162011 0.966667 0.277512 0.484950 2 khoa_tieng_bo_dao_nha suite24_safe_scale 716 30 0.041899 0.520266 0.946016 0.026661 0.017287 0.045539 0.003640 0.319444 0.766667 0.450980 0.598958 0.224299 0.800000 0.350365 0.528634 0.188811 0.900000 0.312139 0.513308 0.156425 0.933333 0.267943 0.468227 2 khoa_tieng_bo_dao_nha suite24_structural_residual 716 30 0.041899 0.534043 0.931050 0.028163 0.036058 0.069990 0.028090 0.291667 0.700000 0.411765 0.546875 0.224299 0.800000 0.350365 0.528634 0.188811 0.900000 0.312139 0.513308 0.156425 0.933333 0.267943 0.468227 2 khoa_tieng_duc committee 1893 53 0.027998 0.393037 0.833701 0.020484 0.012715 0.023670 -0.004328 0.148148 0.528302 0.231405 0.349127 0.109155 0.584906 0.183976 0.312500 0.089710 0.641509 0.157407 0.287648 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite14 1893 53 0.027998 0.396373 0.839489 0.031663 0.055186 0.083184 0.055186 0.158730 0.566038 0.247934 0.374065 0.112676 0.603774 0.189911 0.322581 0.097625 0.698113 0.171296 0.313029 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite16 1893 53 0.027998 0.393573 0.843355 0.027886 0.025939 0.053937 0.025939 0.164021 0.584906 0.256198 0.386534 0.130282 0.698113 0.219585 0.372984 0.100264 0.716981 0.175926 0.321489 0.084567 0.754717 0.152091 0.291971 2 khoa_tieng_duc suite17 1893 53 0.027998 0.405484 0.849000 0.020705 0.010197 0.023490 -0.004508 0.169312 0.603774 0.264463 0.399002 0.133803 0.716981 0.225519 0.383065 0.100264 0.716981 0.175926 0.321489 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite18 1893 53 0.027998 0.401777 0.850036 0.020747 0.009366 0.024058 -0.003939 0.169312 0.603774 0.264463 0.399002 0.133803 0.716981 0.225519 0.383065 0.100264 0.716981 0.175926 0.321489 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite20 1893 53 0.027998 0.410923 0.848523 0.100927 0.129844 0.157842 0.129844 0.201058 0.716981 0.314050 0.473815 0.140845 0.754717 0.237389 0.403226 0.108179 0.773585 0.189815 0.346870 0.088795 0.792453 0.159696 0.306569 2 khoa_tieng_duc suite21 1893 53 0.027998 0.417973 0.843037 0.020421 0.010614 0.026405 -0.001593 0.169312 0.603774 0.264463 0.399002 0.126761 0.679245 0.213650 0.362903 0.102902 0.735849 0.180556 0.329949 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite22 1893 53 0.027998 0.384675 0.850441 0.021094 0.009223 0.023755 -0.004243 0.158730 0.566038 0.247934 0.374065 0.109155 0.584906 0.183976 0.312500 0.084433 0.603774 0.148148 0.270728 0.088795 0.792453 0.159696 0.306569 2 khoa_tieng_duc suite22_primary 1893 53 0.027998 0.196050 0.829789 0.024885 0.006784 0.032285 0.004287 0.153439 0.547170 0.239669 0.361596 0.102113 0.547170 0.172107 0.292339 0.081794 0.584906 0.143519 0.262267 0.071882 0.641509 0.129278 0.248175 2 khoa_tieng_duc suite22_relational 1893 53 0.027998 0.287437 0.851538 0.023502 0.006221 0.033107 0.005110 0.164021 0.584906 0.256198 0.386534 0.116197 0.622642 0.195846 0.332661 0.097625 0.698113 0.171296 0.313029 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite23 1893 53 0.027998 0.407280 0.846370 0.020303 0.011288 0.022808 -0.005190 0.164021 0.584906 0.256198 0.386534 0.112676 0.603774 0.189911 0.322581 0.100264 0.716981 0.175926 0.321489 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite23_graph 1893 53 0.027998 0.322125 0.865833 0.023154 0.018210 0.032980 0.004982 0.185185 0.660377 0.289256 0.436409 0.133803 0.716981 0.225519 0.383065 0.102902 0.735849 0.180556 0.329949 0.084567 0.754717 0.152091 0.291971 2 khoa_tieng_duc suite24_evidence_residual 1893 53 0.027998 0.401354 0.855671 0.020049 0.008886 0.026475 -0.001523 0.164021 0.584906 0.256198 0.386534 0.116197 0.622642 0.195846 0.332661 0.100264 0.716981 0.175926 0.321489 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite24_graph_standalone 1893 53 0.027998 0.400055 0.859793 0.022763 0.036206 0.054742 0.026744 0.179894 0.641509 0.280992 0.423940 0.123239 0.660377 0.207715 0.352823 0.100264 0.716981 0.175926 0.321489 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite24_history_residual 1893 53 0.027998 0.408020 0.859690 0.020324 0.007102 0.030207 0.002209 0.164021 0.584906 0.256198 0.386534 0.116197 0.622642 0.195846 0.332661 0.100264 0.716981 0.175926 0.321489 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite24_posthoc_blend 1893 53 0.027998 0.408892 0.850369 0.020000 0.007643 0.024807 -0.003191 0.164021 0.584906 0.256198 0.386534 0.112676 0.603774 0.189911 0.322581 0.100264 0.716981 0.175926 0.321489 0.084567 0.754717 0.152091 0.291971 2 khoa_tieng_duc suite24_safe_scale 1893 53 0.027998 0.398623 0.845796 0.020137 0.010476 0.023310 -0.004687 0.158730 0.566038 0.247934 0.374065 0.112676 0.603774 0.189911 0.322581 0.094987 0.679245 0.166667 0.304569 0.080338 0.716981 0.144487 0.277372 2 khoa_tieng_duc suite24_structural_residual 1893 53 0.027998 0.371601 0.853384 0.020818 0.007499 0.028029 0.000031 0.164021 0.584906 0.256198 0.386534 0.112676 0.603774 0.189911 0.322581 0.094987 0.679245 0.166667 0.304569 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_han_quoc committee 3337 29 0.008690 0.379219 0.952899 0.007166 0.004409 0.009828 0.001137 0.074850 0.862069 0.137741 0.277778 0.051896 0.896552 0.098113 0.210697 0.038981 0.896552 0.074713 0.166028 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite14 3337 29 0.008690 0.431556 0.954040 0.011508 0.024686 0.033228 0.024538 0.074850 0.862069 0.137741 0.277778 0.051896 0.896552 0.098113 0.210697 0.040480 0.931034 0.077586 0.172414 0.033573 0.965517 0.064890 0.147368 2 khoa_tieng_han_quoc suite16 3337 29 0.008690 0.406216 0.954197 0.011739 0.015601 0.024194 0.015503 0.074850 0.862069 0.137741 0.277778 0.049900 0.862069 0.094340 0.202593 0.041979 0.965517 0.080460 0.178799 0.033573 0.965517 0.064890 0.147368 2 khoa_tieng_han_quoc suite17 3337 29 0.008690 0.408215 0.956803 0.007153 0.003262 0.009704 0.001014 0.074850 0.862069 0.137741 0.277778 0.051896 0.896552 0.098113 0.210697 0.040480 0.931034 0.077586 0.172414 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite18 3337 29 0.008690 0.425472 0.954708 0.007171 0.004979 0.009867 0.001177 0.074850 0.862069 0.137741 0.277778 0.049900 0.862069 0.094340 0.202593 0.040480 0.931034 0.077586 0.172414 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite20 3337 29 0.008690 0.043091 0.856586 0.130061 0.155384 0.164075 0.155384 0.047904 0.551724 0.088154 0.177778 0.041916 0.724138 0.079245 0.170178 0.032984 0.758621 0.063218 0.140485 0.027578 0.793103 0.053302 0.121053 2 khoa_tieng_han_quoc suite21 3337 29 0.008690 0.404308 0.954520 0.006960 0.003347 0.008952 0.000261 0.074850 0.862069 0.137741 0.277778 0.051896 0.896552 0.098113 0.210697 0.040480 0.931034 0.077586 0.172414 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite22 3337 29 0.008690 0.277417 0.946827 0.007372 0.003015 0.006042 -0.002648 0.074850 0.862069 0.137741 0.277778 0.049900 0.862069 0.094340 0.202593 0.038981 0.896552 0.074713 0.166028 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite22_primary 3337 29 0.008690 0.086503 0.883115 0.008317 0.002964 0.007903 -0.000788 0.062874 0.724138 0.115702 0.233333 0.041916 0.724138 0.079245 0.170178 0.034483 0.793103 0.066092 0.146871 0.031175 0.896552 0.060255 0.136842 2 khoa_tieng_han_quoc suite22_relational 3337 29 0.008690 0.135326 0.875214 0.008070 0.003224 0.007263 -0.001427 0.056886 0.655172 0.104683 0.211111 0.047904 0.827586 0.090566 0.194489 0.037481 0.862069 0.071839 0.159642 0.029976 0.862069 0.057937 0.131579 2 khoa_tieng_han_quoc suite23 3337 29 0.008690 0.379219 0.952899 0.007166 0.004409 0.009828 0.001137 0.074850 0.862069 0.137741 0.277778 0.051896 0.896552 0.098113 0.210697 0.038981 0.896552 0.074713 0.166028 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite23_graph 3337 29 0.008690 0.137382 0.865655 0.008046 0.004867 0.011135 0.002444 0.059880 0.689655 0.110193 0.222222 0.039920 0.689655 0.075472 0.162075 0.032984 0.758621 0.063218 0.140485 0.026379 0.758621 0.050985 0.115789 2 khoa_tieng_han_quoc suite24_evidence_residual 3337 29 0.008690 0.417971 0.957616 0.007017 0.003689 0.011428 0.002738 0.077844 0.896552 0.143251 0.288889 0.053892 0.931034 0.101887 0.218801 0.040480 0.931034 0.077586 0.172414 0.033573 0.965517 0.064890 0.147368 2 khoa_tieng_han_quoc suite24_graph_standalone 3337 29 0.008690 0.194194 0.896062 0.008303 0.020767 0.028216 0.019525 0.056886 0.655172 0.104683 0.211111 0.045908 0.793103 0.086792 0.186386 0.035982 0.827586 0.068966 0.153257 0.028777 0.827586 0.055620 0.126316 2 khoa_tieng_han_quoc suite24_history_residual 3337 29 0.008690 0.432080 0.958992 0.007297 0.004288 0.012565 0.003875 0.074850 0.862069 0.137741 0.277778 0.053892 0.931034 0.101887 0.218801 0.040480 0.931034 0.077586 0.172414 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite24_posthoc_blend 3337 29 0.008690 0.436916 0.956313 0.006897 0.003319 0.009423 0.000733 0.074850 0.862069 0.137741 0.277778 0.051896 0.896552 0.098113 0.210697 0.040480 0.931034 0.077586 0.172414 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite24_safe_scale 3337 29 0.008690 0.437702 0.956313 0.006967 0.003622 0.009789 0.001099 0.074850 0.862069 0.137741 0.277778 0.051896 0.896552 0.098113 0.210697 0.040480 0.931034 0.077586 0.172414 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite24_structural_residual 3337 29 0.008690 0.422815 0.960566 0.007141 0.004768 0.012628 0.003938 0.077844 0.896552 0.143251 0.288889 0.053892 0.931034 0.101887 0.218801 0.040480 0.931034 0.077586 0.172414 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_italia committee 2024 71 0.035079 0.683943 0.954970 0.018232 0.020605 0.047732 0.012653 0.297030 0.845070 0.439560 0.617284 0.210526 0.901408 0.341333 0.544218 0.160494 0.915493 0.273109 0.471698 0.128458 0.915493 0.225303 0.411392 2 khoa_tieng_italia suite14 2024 71 0.035079 0.679830 0.940092 0.043395 0.112155 0.147234 0.112155 0.292079 0.830986 0.432234 0.606996 0.210526 0.901408 0.341333 0.544218 0.158025 0.901408 0.268908 0.464441 0.130435 0.929577 0.228769 0.417722 2 khoa_tieng_italia suite16 2024 71 0.035079 0.679716 0.963328 0.036718 0.080925 0.116004 0.080925 0.297030 0.845070 0.439560 0.617284 0.210526 0.901408 0.341333 0.544218 0.160494 0.915493 0.273109 0.471698 0.128458 0.915493 0.225303 0.411392 2 khoa_tieng_italia suite17 2024 71 0.035079 0.700325 0.961302 0.019430 0.026355 0.046260 0.011181 0.311881 0.887324 0.461538 0.648148 0.210526 0.901408 0.341333 0.544218 0.160494 0.915493 0.273109 0.471698 0.132411 0.943662 0.232236 0.424051 2 khoa_tieng_italia suite18 2024 71 0.035079 0.691988 0.957739 0.019438 0.024861 0.045956 0.010877 0.311881 0.887324 0.461538 0.648148 0.210526 0.901408 0.341333 0.544218 0.158025 0.901408 0.268908 0.464441 0.130435 0.929577 0.228769 0.417722 2 khoa_tieng_italia suite20 2024 71 0.035079 0.335860 0.894730 0.087695 0.125940 0.161019 0.125940 0.242574 0.690141 0.358974 0.504115 0.174342 0.746479 0.282667 0.450680 0.140741 0.802817 0.239496 0.413643 0.118577 0.845070 0.207972 0.379747 2 khoa_tieng_italia suite21 2024 71 0.035079 0.668621 0.945551 0.019495 0.023986 0.056844 0.021765 0.292079 0.830986 0.432234 0.606996 0.200658 0.859155 0.325333 0.518707 0.160494 0.915493 0.273109 0.471698 0.128458 0.915493 0.225303 0.411392 2 khoa_tieng_italia suite22 2024 71 0.035079 0.629859 0.946100 0.021009 0.021316 0.045301 0.010222 0.311881 0.887324 0.461538 0.648148 0.210526 0.901408 0.341333 0.544218 0.158025 0.901408 0.268908 0.464441 0.128458 0.915493 0.225303 0.411392 2 khoa_tieng_italia suite22_primary 2024 71 0.035079 0.319704 0.894557 0.029352 0.020351 0.054906 0.019827 0.212871 0.605634 0.315018 0.442387 0.177632 0.760563 0.288000 0.459184 0.153086 0.873239 0.260504 0.449927 0.130435 0.929577 0.228769 0.417722 2 khoa_tieng_italia suite22_relational 2024 71 0.035079 0.411495 0.907589 0.026789 0.027304 0.057272 0.022193 0.277228 0.788732 0.410256 0.576132 0.197368 0.845070 0.320000 0.510204 0.150617 0.859155 0.256303 0.442671 0.122530 0.873239 0.214905 0.392405 2 khoa_tieng_italia suite23 2024 71 0.035079 0.683943 0.954970 0.018232 0.020605 0.047732 0.012653 0.297030 0.845070 0.439560 0.617284 0.210526 0.901408 0.341333 0.544218 0.160494 0.915493 0.273109 0.471698 0.128458 0.915493 0.225303 0.411392 2 khoa_tieng_italia suite23_graph 2024 71 0.035079 0.436468 0.896627 0.028129 0.033036 0.058575 0.023496 0.272277 0.774648 0.402930 0.565844 0.190789 0.816901 0.309333 0.493197 0.148148 0.845070 0.252101 0.435414 0.120553 0.859155 0.211438 0.386076 2 khoa_tieng_italia suite24_evidence_residual 2024 71 0.035079 0.698582 0.950282 0.018006 0.018438 0.049098 0.014019 0.316832 0.901408 0.468864 0.658436 0.213816 0.915493 0.346667 0.552721 0.160494 0.915493 0.273109 0.471698 0.130435 0.929577 0.228769 0.417722 2 khoa_tieng_italia suite24_graph_standalone 2024 71 0.035079 0.309253 0.873845 0.033384 0.048342 0.082111 0.047032 0.202970 0.577465 0.300366 0.421811 0.157895 0.676056 0.256000 0.408163 0.128395 0.732394 0.218487 0.377358 0.112648 0.802817 0.197574 0.360759 2 khoa_tieng_italia suite24_history_residual 2024 71 0.035079 0.696307 0.954234 0.018955 0.025937 0.060441 0.025362 0.311881 0.887324 0.461538 0.648148 0.213816 0.915493 0.346667 0.552721 0.162963 0.929577 0.277311 0.478955 0.130435 0.929577 0.228769 0.417722 2 khoa_tieng_italia suite24_posthoc_blend 2024 71 0.035079 0.708432 0.953715 0.018325 0.024938 0.047909 0.012830 0.311881 0.887324 0.461538 0.648148 0.210526 0.901408 0.341333 0.544218 0.160494 0.915493 0.273109 0.471698 0.130435 0.929577 0.228769 0.417722 2 khoa_tieng_italia suite24_safe_scale 2024 71 0.035079 0.698744 0.952879 0.017725 0.019007 0.044744 0.009665 0.311881 0.887324 0.461538 0.648148 0.213816 0.915493 0.346667 0.552721 0.160494 0.915493 0.273109 0.471698 0.128458 0.915493 0.225303 0.411392 2 khoa_tieng_italia suite24_structural_residual 2024 71 0.035079 0.671856 0.949871 0.019279 0.024715 0.057672 0.022593 0.301980 0.859155 0.446886 0.627572 0.207237 0.887324 0.336000 0.535714 0.155556 0.887324 0.264706 0.457184 0.128458 0.915493 0.225303 0.411392 2 khoa_tieng_nga committee 1567 83 0.052967 0.759518 0.978558 0.022839 0.032561 0.063397 0.010430 0.509554 0.963855 0.666667 0.817996 0.344681 0.975904 0.509434 0.714286 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite14 1567 83 0.052967 0.770371 0.977738 0.044012 0.110119 0.160255 0.107288 0.503185 0.951807 0.658333 0.807771 0.344681 0.975904 0.509434 0.714286 0.258786 0.975904 0.409091 0.627907 0.206633 0.975904 0.341053 0.559392 2 khoa_tieng_nga suite16 1567 83 0.052967 0.749233 0.981408 0.042080 0.103860 0.156827 0.103860 0.515924 0.975904 0.675000 0.828221 0.344681 0.975904 0.509434 0.714286 0.258786 0.975904 0.409091 0.627907 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite17 1567 83 0.052967 0.761006 0.981871 0.025570 0.042841 0.062003 0.009035 0.515924 0.975904 0.675000 0.828221 0.348936 0.987952 0.515723 0.723104 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite18 1567 83 0.052967 0.763746 0.981595 0.025339 0.044826 0.062033 0.009065 0.515924 0.975904 0.675000 0.828221 0.344681 0.975904 0.509434 0.714286 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite20 1567 83 0.052967 0.370213 0.905612 0.118658 0.151069 0.204036 0.151069 0.350318 0.662651 0.458333 0.562372 0.280851 0.795181 0.415094 0.582011 0.220447 0.831325 0.348485 0.534884 0.186224 0.879518 0.307368 0.504144 2 khoa_tieng_nga suite21 1567 83 0.052967 0.795589 0.980020 0.022406 0.042365 0.083476 0.030509 0.496815 0.939759 0.650000 0.797546 0.348936 0.987952 0.515723 0.723104 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite22 1567 83 0.052967 0.787882 0.982366 0.023866 0.043327 0.060440 0.007473 0.509554 0.963855 0.666667 0.817996 0.344681 0.975904 0.509434 0.714286 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite22_primary 1567 83 0.052967 0.613615 0.969392 0.030282 0.043397 0.065346 0.012379 0.458599 0.867470 0.600000 0.736196 0.323404 0.915663 0.477987 0.670194 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite22_relational 1567 83 0.052967 0.530908 0.960194 0.033149 0.044369 0.077384 0.024417 0.458599 0.867470 0.600000 0.736196 0.331915 0.939759 0.490566 0.687831 0.252396 0.951807 0.398990 0.612403 0.201531 0.951807 0.332632 0.545580 2 khoa_tieng_nga suite23 1567 83 0.052967 0.772787 0.979955 0.024918 0.042275 0.061074 0.008107 0.515924 0.975904 0.675000 0.828221 0.344681 0.975904 0.509434 0.714286 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite23_graph 1567 83 0.052967 0.514171 0.938095 0.040423 0.047233 0.072953 0.019985 0.356688 0.674699 0.466667 0.572597 0.293617 0.831325 0.433962 0.608466 0.246006 0.927711 0.388889 0.596899 0.198980 0.939759 0.328421 0.538674 2 khoa_tieng_nga suite24_evidence_residual 1567 83 0.052967 0.740932 0.972380 0.024120 0.035216 0.076585 0.023618 0.471338 0.891566 0.616667 0.756646 0.340426 0.963855 0.503145 0.705467 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite24_graph_standalone 1567 83 0.052967 0.326366 0.881020 0.047571 0.065817 0.117815 0.064848 0.299363 0.566265 0.391667 0.480573 0.255319 0.722892 0.377358 0.529101 0.207668 0.783133 0.328283 0.503876 0.178571 0.843373 0.294737 0.483425 2 khoa_tieng_nga suite24_history_residual 1567 83 0.052967 0.742133 0.976480 0.024456 0.045627 0.085521 0.032554 0.503185 0.951807 0.658333 0.807771 0.348936 0.987952 0.515723 0.723104 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite24_posthoc_blend 1567 83 0.052967 0.763308 0.978713 0.024437 0.040040 0.066518 0.013550 0.515924 0.975904 0.675000 0.828221 0.348936 0.987952 0.515723 0.723104 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite24_safe_scale 1567 83 0.052967 0.761454 0.976886 0.023101 0.028723 0.064798 0.011830 0.503185 0.951807 0.658333 0.807771 0.348936 0.987952 0.515723 0.723104 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite24_structural_residual 1567 83 0.052967 0.723027 0.964481 0.026746 0.048750 0.095065 0.042098 0.464968 0.879518 0.608333 0.746421 0.323404 0.915663 0.477987 0.670194 0.249201 0.939759 0.393939 0.604651 0.206633 0.975904 0.341053 0.559392 2 khoa_tieng_nhat committee 2448 11 0.004493 0.542198 0.963778 0.002923 0.004700 0.007684 0.003190 0.032653 0.727273 0.062500 0.138408 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite14 2448 11 0.004493 0.563690 0.982057 0.004714 0.017928 0.022346 0.017852 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite16 2448 11 0.004493 0.539391 0.980863 0.005120 0.011041 0.015534 0.011041 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite17 2448 11 0.004493 0.549583 0.978289 0.002972 0.004770 0.007543 0.003050 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite18 2448 11 0.004493 0.548385 0.976760 0.003022 0.004880 0.007729 0.003235 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite20 2448 11 0.004493 0.079983 0.933338 0.061499 0.081941 0.086435 0.081941 0.040816 0.909091 0.078125 0.173010 0.027248 0.909091 0.052910 0.121655 0.020408 0.909091 0.039920 0.093633 0.016340 0.909091 0.032103 0.076220 2 khoa_tieng_nhat suite21 2448 11 0.004493 0.581998 0.975715 0.003006 0.003278 0.007723 0.003230 0.040816 0.909091 0.078125 0.173010 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite22 2448 11 0.004493 0.529305 0.982206 0.003064 0.002703 0.005909 0.001415 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite22_primary 2448 11 0.004493 0.236341 0.975902 0.003890 0.004176 0.007682 0.003189 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite22_relational 2448 11 0.004493 0.616247 0.978588 0.003004 0.004420 0.007211 0.002717 0.040816 0.909091 0.078125 0.173010 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite23 2448 11 0.004493 0.542198 0.963778 0.002923 0.004700 0.007684 0.003190 0.032653 0.727273 0.062500 0.138408 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite23_graph 2448 11 0.004493 0.652301 0.988660 0.003326 0.010450 0.011639 0.007146 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite24_evidence_residual 2448 11 0.004493 0.541666 0.978401 0.003146 0.005313 0.009257 0.004763 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite24_graph_standalone 2448 11 0.004493 0.544299 0.986981 0.004568 0.028569 0.031565 0.027072 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite24_history_residual 2448 11 0.004493 0.533787 0.974895 0.003245 0.005454 0.008931 0.004438 0.040816 0.909091 0.078125 0.173010 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite24_posthoc_blend 2448 11 0.004493 0.579703 0.977357 0.002839 0.005261 0.008402 0.003908 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite24_safe_scale 2448 11 0.004493 0.547182 0.973589 0.002943 0.004149 0.007798 0.003304 0.040816 0.909091 0.078125 0.173010 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite24_structural_residual 2448 11 0.004493 0.542001 0.972918 0.003583 0.006653 0.010792 0.006298 0.040816 0.909091 0.078125 0.173010 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_phap committee 2204 40 0.018149 0.584629 0.937038 0.010102 0.008254 0.020811 0.002662 0.145455 0.800000 0.246154 0.421053 0.105740 0.875000 0.188679 0.356415 0.081633 0.900000 0.149688 0.299501 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite14 2204 40 0.018149 0.610347 0.948729 0.014713 0.035249 0.052434 0.034285 0.154545 0.850000 0.261538 0.447368 0.105740 0.875000 0.188679 0.356415 0.079365 0.875000 0.145530 0.291181 0.065336 0.900000 0.121827 0.253165 2 khoa_tieng_phap suite16 2204 40 0.018149 0.600661 0.949630 0.012666 0.025044 0.043193 0.025044 0.168182 0.925000 0.284615 0.486842 0.111782 0.925000 0.199461 0.376782 0.083900 0.925000 0.153846 0.307820 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite17 2204 40 0.018149 0.595857 0.944339 0.010032 0.007836 0.021143 0.002994 0.154545 0.850000 0.261538 0.447368 0.111782 0.925000 0.199461 0.376782 0.083900 0.925000 0.153846 0.307820 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite18 2204 40 0.018149 0.604998 0.947770 0.009958 0.006487 0.021014 0.002865 0.159091 0.875000 0.269231 0.460526 0.111782 0.925000 0.199461 0.376782 0.083900 0.925000 0.153846 0.307820 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite20 2204 40 0.018149 0.531830 0.928050 0.035791 0.058207 0.076355 0.058207 0.150000 0.825000 0.253846 0.434211 0.099698 0.825000 0.177898 0.336049 0.074830 0.825000 0.137214 0.274542 0.059891 0.825000 0.111675 0.232068 2 khoa_tieng_phap suite21 2204 40 0.018149 0.555116 0.940954 0.010417 0.011384 0.023174 0.005026 0.154545 0.850000 0.261538 0.447368 0.105740 0.875000 0.188679 0.356415 0.081633 0.900000 0.149688 0.299501 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite22 2204 40 0.018149 0.538651 0.948579 0.011819 0.003853 0.017117 -0.001032 0.163636 0.900000 0.276923 0.473684 0.111782 0.925000 0.199461 0.376782 0.083900 0.925000 0.153846 0.307820 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite22_primary 2204 40 0.018149 0.368408 0.909404 0.013333 0.004379 0.018734 0.000585 0.118182 0.650000 0.200000 0.342105 0.084592 0.700000 0.150943 0.285132 0.079365 0.875000 0.145530 0.291181 0.065336 0.900000 0.121827 0.253165 2 khoa_tieng_phap suite22_relational 2204 40 0.018149 0.294172 0.934138 0.015230 0.012518 0.026795 0.008646 0.136364 0.750000 0.230769 0.394737 0.093656 0.775000 0.167116 0.315682 0.079365 0.875000 0.145530 0.291181 0.068966 0.950000 0.128596 0.267229 2 khoa_tieng_phap suite23 2204 40 0.018149 0.621641 0.963840 0.011057 0.010711 0.016796 -0.001353 0.163636 0.900000 0.276923 0.473684 0.111782 0.925000 0.199461 0.376782 0.083900 0.925000 0.153846 0.307820 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite23_graph 2204 40 0.018149 0.431581 0.958838 0.014888 0.007921 0.016942 -0.001207 0.163636 0.900000 0.276923 0.473684 0.117825 0.975000 0.210243 0.397149 0.088435 0.975000 0.162162 0.324459 0.070780 0.975000 0.131980 0.274262 2 khoa_tieng_phap suite24_evidence_residual 2204 40 0.018149 0.592479 0.947562 0.009742 0.012364 0.026862 0.008714 0.154545 0.850000 0.261538 0.447368 0.108761 0.900000 0.194070 0.366599 0.081633 0.900000 0.149688 0.299501 0.065336 0.900000 0.121827 0.253165 2 khoa_tieng_phap suite24_graph_standalone 2204 40 0.018149 0.379364 0.936033 0.019453 0.054045 0.071166 0.053017 0.145455 0.800000 0.246154 0.421053 0.102719 0.850000 0.183288 0.346232 0.081633 0.900000 0.149688 0.299501 0.070780 0.975000 0.131980 0.274262 2 khoa_tieng_phap suite24_history_residual 2204 40 0.018149 0.598969 0.950335 0.009849 0.012964 0.027763 0.009614 0.154545 0.850000 0.261538 0.447368 0.108761 0.900000 0.194070 0.366599 0.083900 0.925000 0.153846 0.307820 0.068966 0.950000 0.128596 0.267229 2 khoa_tieng_phap suite24_posthoc_blend 2204 40 0.018149 0.587700 0.949238 0.010240 0.012296 0.023375 0.005226 0.159091 0.875000 0.269231 0.460526 0.108761 0.900000 0.194070 0.366599 0.083900 0.925000 0.153846 0.307820 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite24_safe_scale 2204 40 0.018149 0.592906 0.942167 0.009834 0.008578 0.022108 0.003959 0.145455 0.800000 0.246154 0.421053 0.108761 0.900000 0.194070 0.366599 0.081633 0.900000 0.149688 0.299501 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite24_structural_residual 2204 40 0.018149 0.638881 0.946996 0.009733 0.014524 0.031753 0.013604 0.150000 0.825000 0.253846 0.434211 0.099698 0.825000 0.177898 0.336049 0.079365 0.875000 0.145530 0.291181 0.068966 0.950000 0.128596 0.267229 ============================================================================================================================================================================ SUITE24 TARGET FOLD 3 ============================================================================================================================================================================ [DATA] history=329,579 fail=6,495 (1.97%) train=219,176 validation=110,403 target=47,420 fail=1,103 (2.33%) [EVIDENCE CACHE] history... [EVIDENCE CACHE] 25,000/329,579 [EVIDENCE CACHE] 50,000/329,579 [EVIDENCE CACHE] 75,000/329,579 [EVIDENCE CACHE] 100,000/329,579 [EVIDENCE CACHE] 125,000/329,579 [EVIDENCE CACHE] 150,000/329,579 [EVIDENCE CACHE] 175,000/329,579 [EVIDENCE CACHE] 200,000/329,579 [EVIDENCE CACHE] 225,000/329,579 [EVIDENCE CACHE] 250,000/329,579 [EVIDENCE CACHE] 275,000/329,579 [EVIDENCE CACHE] 300,000/329,579 [EVIDENCE CACHE] 325,000/329,579 [EVIDENCE CACHE] target... [EVIDENCE CACHE] 25,000/47,420 FOLD 3 SUITE24 EVIDENCE SUPPORT — TARGET -------------------------------------------------------------------------------- faculty rows prevalence history_courses_mean structural_courses_mean related_history_mean same_course_history_mean failed_history_mean direct_structural_mean history_zero_rate structural_zero_rate khoa_cong_nghe_thong_tin 6277 0.034730 13.393022 2.001434 0.151505 0.113589 1.967978 1.112633 0.0 0.206468 khoa_quan_tri_kinh_doanh_va_du_lich 6491 0.032198 13.462949 4.068248 0.609613 0.120166 1.684794 3.050994 0.0 0.091049 khoa_quoc_te_hoc 2665 0.009756 13.396623 5.315572 0.902064 0.078424 1.224765 4.644278 0.0 0.063790 khoa_tieng_anh 7279 0.013876 15.324358 4.009617 1.625086 0.027064 0.647616 3.449787 0.0 0.299492 khoa_tieng_bo_dao_nha 1032 0.048450 15.375000 1.806202 0.539729 0.161822 2.603682 1.005814 0.0 0.347868 khoa_tieng_duc 1909 0.024620 15.275013 0.639602 0.131482 0.085909 1.665270 0.430592 0.0 0.769513 khoa_tieng_han_quoc 3235 0.012983 15.322102 1.548068 0.328594 0.042040 0.648223 0.959196 0.0 0.514065 khoa_tieng_italia 2145 0.031702 15.426573 2.239161 0.731935 0.114219 2.024709 1.442424 0.0 0.199068 khoa_tieng_nga 1996 0.046092 15.316132 2.400301 0.682866 0.147796 2.278557 1.452405 0.0 0.177355 khoa_tieng_nhat 2588 0.006569 15.350464 2.786708 0.810665 0.041345 0.688949 1.509274 0.0 0.168083 khoa_tieng_phap 2693 0.015967 15.252878 3.228370 0.632752 0.056071 1.083550 2.441144 0.0 0.193093 khoa_tieng_tay_ban_nha 1417 0.038109 15.534227 3.335215 0.876500 0.131969 1.989414 2.200423 0.0 0.209598 khoa_tieng_trung_quoc 6920 0.014884 15.408382 1.619798 0.551012 0.029335 0.572832 0.886705 0.0 0.393786 khoa_viet_nam_hoc 773 0.042691 14.768435 0.126779 0.000000 0.084088 1.874515 0.121604 0.0 0.958603 [CHRONOLOGY AUDIT] violations=0 / 376,999 | strict historical interaction semester < query semester ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_history_residual] [SELECT HISTORY] epoch=01/10 loss=0.14778 macroAP=0.3713 F2@20=0.3130 Brier=0.0208 corr=0.3130 gate=0.5000 best=01 [SELECT HISTORY] epoch=02/10 loss=0.13756 macroAP=0.3636 F2@20=0.3095 Brier=0.0210 corr=0.4023 gate=0.5000 best=01 [SELECT HISTORY] epoch=03/10 loss=0.13255 macroAP=0.3546 F2@20=0.3093 Brier=0.0212 corr=0.4110 gate=0.5000 best=01 [SELECT HISTORY] epoch=04/10 loss=0.13079 macroAP=0.3620 F2@20=0.3080 Brier=0.0211 corr=0.4043 gate=0.5000 best=01 [SELECT HISTORY] epoch=05/10 loss=0.12372 macroAP=0.3599 F2@20=0.3083 Brier=0.0212 corr=0.4394 gate=0.5000 best=01 [REFIT HISTORY] epoch=01/1 loss=0.15644 corr=0.2446 [VARIANT suite24_history_residual] selected_epochs=1 target macroAP=0.2826 ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_structural_residual] [SELECT STRUCTURAL] epoch=01/10 loss=0.14693 macroAP=0.3530 F2@20=0.3048 Brier=0.0213 corr=0.4409 gate=0.8348 best=01 [SELECT STRUCTURAL] epoch=02/10 loss=0.13033 macroAP=0.3560 F2@20=0.3112 Brier=0.0213 corr=0.5283 gate=0.8356 best=02 [SELECT STRUCTURAL] epoch=03/10 loss=0.12604 macroAP=0.3449 F2@20=0.3072 Brier=0.0218 corr=0.5693 gate=0.8361 best=02 [SELECT STRUCTURAL] epoch=04/10 loss=0.11854 macroAP=0.3391 F2@20=0.3057 Brier=0.0217 corr=0.5885 gate=0.8352 best=02 [SELECT STRUCTURAL] epoch=05/10 loss=0.11542 macroAP=0.3396 F2@20=0.3092 Brier=0.0218 corr=0.5855 gate=0.8355 best=02 [REFIT STRUCTURAL] epoch=01/2 loss=0.15475 corr=0.3293 [REFIT STRUCTURAL] epoch=02/2 loss=0.13872 corr=0.4188 [VARIANT suite24_structural_residual] selected_epochs=2 target macroAP=0.2966 ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_evidence_residual] [SELECT EVIDENCE] epoch=01/10 loss=0.14848 macroAP=0.3727 F2@20=0.3141 Brier=0.0207 corr=0.1541 gate=0.3180 best=01 [SELECT EVIDENCE] epoch=02/10 loss=0.14443 macroAP=0.3650 F2@20=0.3112 Brier=0.0209 corr=0.2346 gate=0.3685 best=01 [SELECT EVIDENCE] epoch=03/10 loss=0.13690 macroAP=0.3612 F2@20=0.3167 Brier=0.0210 corr=0.3129 gate=0.4178 best=01 [SELECT EVIDENCE] epoch=04/10 loss=0.13132 macroAP=0.3589 F2@20=0.3077 Brier=0.0210 corr=0.3775 gate=0.4609 best=01 [SELECT EVIDENCE] epoch=05/10 loss=0.12714 macroAP=0.3543 F2@20=0.3033 Brier=0.0213 corr=0.4333 gate=0.4980 best=01 [REFIT EVIDENCE] epoch=01/1 loss=0.15757 corr=0.1387 [VARIANT suite24_evidence_residual] selected_epochs=1 target macroAP=0.2954 [SAFE SCALE] selected lambda=1.00 policyAP=0.4908 policyF2=0.3363 [POSTHOC BLEND ABLATION] selected alpha=0.25 policyAP=0.4895 SUITE24 TARGET FOLD 3 — NEW + AVAILABLE REFERENCE RESULTS -------------------------------------------------------------------------------- fold faculty model rows failures prevalence ap auc brier ece10 mean_score calibration_gap precision_at_10 recall_at_10 f1_at_10 fbeta_at_10 precision_at_15 recall_at_15 f1_at_15 fbeta_at_15 precision_at_20 recall_at_20 f1_at_20 fbeta_at_20 precision_at_25 recall_at_25 f1_at_25 fbeta_at_25 3 khoa_cong_nghe_thong_tin committee 6277 218 0.034730 0.273839 0.850644 0.030542 0.032493 0.067100 0.032370 0.179936 0.518349 0.267139 0.376667 0.144374 0.623853 0.234483 0.374862 0.128287 0.738532 0.218601 0.378467 0.112811 0.811927 0.198097 0.362556 3 khoa_cong_nghe_thong_tin council 6277 218 0.034730 0.349713 0.869215 0.037664 0.070288 0.104926 0.070196 0.199045 0.573394 0.295508 0.416667 0.145435 0.628440 0.236207 0.377619 0.124303 0.715596 0.211813 0.366714 0.108349 0.779817 0.190263 0.348218 3 khoa_cong_nghe_thong_tin suite14 6277 218 0.034730 0.288386 0.825265 0.041959 0.060453 0.095183 0.060453 0.199045 0.573394 0.295508 0.416667 0.143312 0.619266 0.232759 0.372106 0.117131 0.674312 0.199593 0.345557 0.100701 0.724771 0.176833 0.323638 3 khoa_cong_nghe_thong_tin suite16 6277 218 0.034730 0.253664 0.846362 0.113280 0.216679 0.251409 0.216679 0.170382 0.490826 0.252955 0.356667 0.143312 0.619266 0.232759 0.372106 0.119522 0.688073 0.203666 0.352609 0.101976 0.733945 0.179071 0.327735 3 khoa_cong_nghe_thong_tin suite17 6277 218 0.034730 0.272571 0.860449 0.030952 0.034562 0.068180 0.033450 0.179936 0.518349 0.267139 0.376667 0.148620 0.642202 0.241379 0.385888 0.126693 0.729358 0.215886 0.373766 0.111536 0.802752 0.195859 0.358460 3 khoa_cong_nghe_thong_tin suite18 6277 218 0.034730 0.275123 0.862874 0.030766 0.034562 0.067810 0.033080 0.178344 0.513761 0.264775 0.373333 0.152866 0.660550 0.248276 0.396913 0.132271 0.761468 0.225390 0.390221 0.113448 0.816514 0.199217 0.364605 3 khoa_cong_nghe_thong_tin suite20 6277 218 0.034730 0.226538 0.847466 0.072905 0.093965 0.128695 0.093965 0.191083 0.550459 0.283688 0.400000 0.140127 0.605505 0.227586 0.363837 0.123506 0.711009 0.210455 0.364363 0.107712 0.775229 0.189144 0.346170 3 khoa_cong_nghe_thong_tin suite21 6277 218 0.034730 0.282764 0.852740 0.030451 0.032149 0.066707 0.031977 0.184713 0.532110 0.274232 0.386667 0.144374 0.623853 0.234483 0.374862 0.125896 0.724771 0.214528 0.371415 0.111536 0.802752 0.195859 0.358460 3 khoa_cong_nghe_thong_tin suite22 6277 218 0.034730 0.282771 0.862385 0.029457 0.018426 0.052332 0.017602 0.184713 0.532110 0.274232 0.386667 0.150743 0.651376 0.244828 0.391400 0.129880 0.747706 0.221317 0.383169 0.111536 0.802752 0.195859 0.358460 3 khoa_cong_nghe_thong_tin suite22_primary 6277 218 0.034730 0.275517 0.858734 0.029655 0.011604 0.036570 0.001840 0.184713 0.532110 0.274232 0.386667 0.143312 0.619266 0.232759 0.372106 0.120319 0.692661 0.205024 0.354960 0.106437 0.766055 0.186905 0.342073 3 khoa_cong_nghe_thong_tin suite22_relational 6277 218 0.034730 0.264619 0.871179 0.029798 0.014421 0.048414 0.013684 0.189490 0.545872 0.281324 0.396667 0.148620 0.642202 0.241379 0.385888 0.128287 0.738532 0.218601 0.378467 0.109624 0.788991 0.192501 0.352315 3 khoa_cong_nghe_thong_tin suite23 6277 218 0.034730 0.280618 0.856670 0.031756 0.047220 0.080587 0.045857 0.186306 0.536697 0.276596 0.390000 0.152866 0.660550 0.248276 0.396913 0.127490 0.733945 0.217244 0.376117 0.105800 0.761468 0.185786 0.340025 3 khoa_cong_nghe_thong_tin suite23_graph 6277 218 0.034730 0.211298 0.829977 0.039017 0.077991 0.112721 0.077991 0.186306 0.536697 0.276596 0.390000 0.141189 0.610092 0.229310 0.366593 0.120319 0.692661 0.205024 0.354960 0.103888 0.747706 0.182429 0.333880 3 khoa_cong_nghe_thong_tin suite24_evidence_residual 6277 218 0.034730 0.273727 0.853848 0.032010 0.038695 0.073224 0.038494 0.176752 0.509174 0.262411 0.370000 0.149682 0.646789 0.243103 0.388644 0.124303 0.715596 0.211813 0.366714 0.105163 0.756881 0.184667 0.337976 3 khoa_cong_nghe_thong_tin suite24_graph_standalone 6277 218 0.034730 0.245660 0.830523 0.030198 0.009793 0.042939 0.008209 0.156051 0.449541 0.231678 0.326667 0.128450 0.555046 0.208621 0.333517 0.111554 0.642202 0.190088 0.329102 0.099426 0.715596 0.174594 0.319541 3 khoa_cong_nghe_thong_tin suite24_history_residual 6277 218 0.034730 0.285935 0.855076 0.030727 0.031733 0.066102 0.031372 0.189490 0.545872 0.281324 0.396667 0.151805 0.655963 0.246552 0.394157 0.124303 0.715596 0.211813 0.366714 0.106437 0.766055 0.186905 0.342073 3 khoa_cong_nghe_thong_tin suite24_posthoc_blend 6277 218 0.034730 0.286961 0.858941 0.029535 0.022962 0.056421 0.021691 0.191083 0.550459 0.283688 0.400000 0.147558 0.637615 0.239655 0.383131 0.125896 0.724771 0.214528 0.371415 0.108349 0.779817 0.190263 0.348218 3 khoa_cong_nghe_thong_tin suite24_safe_scale 6277 218 0.034730 0.273727 0.853848 0.032010 0.038695 0.073224 0.038494 0.176752 0.509174 0.262411 0.370000 0.149682 0.646789 0.243103 0.388644 0.124303 0.715596 0.211813 0.366714 0.105163 0.756881 0.184667 0.337976 3 khoa_cong_nghe_thong_tin suite24_structural_residual 6277 218 0.034730 0.274417 0.853109 0.031557 0.034344 0.068961 0.034231 0.195860 0.564220 0.290780 0.410000 0.145435 0.628440 0.236207 0.377619 0.118725 0.683486 0.202308 0.350259 0.101976 0.733945 0.179071 0.327735 3 khoa_cong_nghe_thong_tin v2 6277 218 0.034730 0.225600 0.868996 0.126963 0.224629 0.259359 0.224629 0.179936 0.518349 0.267139 0.376667 0.154989 0.669725 0.251724 0.402426 0.131474 0.756881 0.224033 0.387870 0.117272 0.844037 0.205932 0.376895 3 khoa_quan_tri_kinh_doanh_va_du_lich committee 6491 209 0.032198 0.384599 0.912642 0.025929 0.030317 0.061832 0.029633 0.211094 0.655502 0.319347 0.461279 0.167351 0.779904 0.275571 0.450276 0.136364 0.846890 0.234904 0.414714 0.112754 0.875598 0.199782 0.372102 3 khoa_quan_tri_kinh_doanh_va_du_lich suite14 6491 209 0.032198 0.410315 0.908408 0.029278 0.017511 0.049709 0.017511 0.214176 0.665072 0.324009 0.468013 0.161191 0.751196 0.265427 0.433702 0.130200 0.808612 0.224287 0.395970 0.110290 0.856459 0.195415 0.363969 3 khoa_quan_tri_kinh_doanh_va_du_lich suite16 6491 209 0.032198 0.388950 0.911929 0.082912 0.175514 0.207713 0.175514 0.206471 0.641148 0.312354 0.451178 0.165298 0.770335 0.272189 0.444751 0.134823 0.837321 0.232250 0.410028 0.110906 0.861244 0.196507 0.366002 3 khoa_quan_tri_kinh_doanh_va_du_lich suite17 6491 209 0.032198 0.394712 0.916415 0.026664 0.036569 0.065205 0.033007 0.226502 0.703349 0.342657 0.494949 0.168378 0.784689 0.277261 0.453039 0.133282 0.827751 0.229595 0.405342 0.110290 0.856459 0.195415 0.363969 3 khoa_quan_tri_kinh_doanh_va_du_lich suite18 6491 209 0.032198 0.392208 0.918589 0.026625 0.035282 0.064469 0.032271 0.215716 0.669856 0.326340 0.471380 0.169405 0.789474 0.278952 0.455801 0.137904 0.856459 0.237558 0.419400 0.115219 0.894737 0.204148 0.380236 3 khoa_quan_tri_kinh_doanh_va_du_lich suite20 6491 209 0.032198 0.294483 0.890058 0.055236 0.078592 0.110790 0.078592 0.200308 0.622010 0.303030 0.437710 0.152977 0.712919 0.251902 0.411602 0.126348 0.784689 0.217651 0.384255 0.107825 0.837321 0.191048 0.355836 3 khoa_quan_tri_kinh_doanh_va_du_lich suite21 6491 209 0.032198 0.396604 0.913265 0.025649 0.030148 0.061594 0.029395 0.214176 0.665072 0.324009 0.468013 0.162218 0.755981 0.267117 0.436464 0.137134 0.851675 0.236231 0.417057 0.113986 0.885167 0.201965 0.376169 3 khoa_quan_tri_kinh_doanh_va_du_lich suite22 6491 209 0.032198 0.412248 0.920702 0.024430 0.018097 0.048144 0.015946 0.223421 0.693780 0.337995 0.488215 0.172485 0.803828 0.284024 0.464088 0.137904 0.856459 0.237558 0.419400 0.115219 0.894737 0.204148 0.380236 3 khoa_quan_tri_kinh_doanh_va_du_lich suite22_primary 6491 209 0.032198 0.386371 0.910107 0.024415 0.003332 0.032283 0.000084 0.220339 0.684211 0.333333 0.481481 0.162218 0.755981 0.267117 0.436464 0.129430 0.803828 0.222960 0.393627 0.111522 0.866029 0.197598 0.368036 3 khoa_quan_tri_kinh_doanh_va_du_lich suite22_relational 6491 209 0.032198 0.406466 0.897137 0.025417 0.013275 0.042830 0.010631 0.200308 0.622010 0.303030 0.437710 0.149897 0.698565 0.246830 0.403315 0.122496 0.760766 0.211015 0.372540 0.105360 0.818182 0.186681 0.347702 3 khoa_quan_tri_kinh_doanh_va_du_lich suite23 6491 209 0.032198 0.402569 0.912421 0.026208 0.036643 0.066276 0.034078 0.215716 0.669856 0.326340 0.471380 0.168378 0.784689 0.277261 0.453039 0.135593 0.842105 0.233577 0.412371 0.114603 0.889952 0.203057 0.378203 3 khoa_quan_tri_kinh_doanh_va_du_lich suite23_graph 6491 209 0.032198 0.343607 0.873878 0.030623 0.057675 0.086062 0.053864 0.187982 0.583732 0.284382 0.410774 0.148871 0.693780 0.245139 0.400552 0.117103 0.727273 0.201725 0.356139 0.103512 0.803828 0.183406 0.341602 3 khoa_quan_tri_kinh_doanh_va_du_lich suite24_evidence_residual 6491 209 0.032198 0.383951 0.908401 0.028343 0.045452 0.077095 0.044897 0.212635 0.660287 0.321678 0.464646 0.164271 0.765550 0.270499 0.441989 0.130200 0.808612 0.224287 0.395970 0.111522 0.866029 0.197598 0.368036 3 khoa_quan_tri_kinh_doanh_va_du_lich suite24_graph_standalone 6491 209 0.032198 0.308064 0.887152 0.027257 0.019033 0.048434 0.016236 0.177196 0.550239 0.268065 0.387205 0.143737 0.669856 0.236686 0.386740 0.120955 0.751196 0.208361 0.367854 0.105977 0.822967 0.187773 0.349736 3 khoa_quan_tri_kinh_doanh_va_du_lich suite24_history_residual 6491 209 0.032198 0.359999 0.900523 0.027499 0.035862 0.067622 0.035423 0.200308 0.622010 0.303030 0.437710 0.152977 0.712919 0.251902 0.411602 0.129430 0.803828 0.222960 0.393627 0.109057 0.846890 0.193231 0.359902 3 khoa_quan_tri_kinh_doanh_va_du_lich suite24_posthoc_blend 6491 209 0.032198 0.400526 0.921175 0.025189 0.025721 0.055253 0.023055 0.231125 0.717703 0.349650 0.505051 0.173511 0.808612 0.285714 0.466851 0.134823 0.837321 0.232250 0.410028 0.115219 0.894737 0.204148 0.380236 3 khoa_quan_tri_kinh_doanh_va_du_lich suite24_safe_scale 6491 209 0.032198 0.383951 0.908401 0.028343 0.045452 0.077095 0.044897 0.212635 0.660287 0.321678 0.464646 0.164271 0.765550 0.270499 0.441989 0.130200 0.808612 0.224287 0.395970 0.111522 0.866029 0.197598 0.368036 3 khoa_quan_tri_kinh_doanh_va_du_lich suite24_structural_residual 6491 209 0.032198 0.366834 0.893790 0.027808 0.039143 0.071204 0.039006 0.200308 0.622010 0.303030 0.437710 0.154004 0.717703 0.253593 0.414365 0.121726 0.755981 0.209688 0.370197 0.105977 0.822967 0.187773 0.349736 3 khoa_quoc_te_hoc committee 2665 26 0.009756 0.199138 0.814302 0.009094 0.014132 0.022704 0.012948 0.048872 0.500000 0.089041 0.175676 0.040000 0.615385 0.075117 0.158730 0.030019 0.615385 0.057245 0.125589 0.027027 0.692308 0.052023 0.116883 3 khoa_quoc_te_hoc suite14 2665 26 0.009756 0.142260 0.811088 0.014789 0.010698 0.020454 0.010698 0.037594 0.384615 0.068493 0.135135 0.032500 0.500000 0.061033 0.128968 0.028143 0.576923 0.053667 0.117739 0.027027 0.692308 0.052023 0.116883 3 khoa_quoc_te_hoc suite16 2665 26 0.009756 0.195628 0.808727 0.034446 0.095273 0.105029 0.095273 0.052632 0.538462 0.095890 0.189189 0.040000 0.615385 0.075117 0.158730 0.031895 0.653846 0.060823 0.133438 0.025526 0.653846 0.049133 0.110390 3 khoa_quoc_te_hoc suite17 2665 26 0.009756 0.193277 0.817945 0.009314 0.014312 0.023822 0.014066 0.052632 0.538462 0.095890 0.189189 0.042500 0.653846 0.079812 0.168651 0.033771 0.692308 0.064401 0.141287 0.028529 0.730769 0.054913 0.123377 3 khoa_quoc_te_hoc suite18 2665 26 0.009756 0.188385 0.832665 0.009265 0.013995 0.023550 0.013794 0.052632 0.538462 0.095890 0.189189 0.042500 0.653846 0.079812 0.168651 0.033771 0.692308 0.064401 0.141287 0.028529 0.730769 0.054913 0.123377 3 khoa_quoc_te_hoc suite20 2665 26 0.009756 0.150915 0.769187 0.038417 0.050707 0.060463 0.050707 0.048872 0.500000 0.089041 0.175676 0.037500 0.576923 0.070423 0.148810 0.030019 0.615385 0.057245 0.125589 0.027027 0.692308 0.052023 0.116883 3 khoa_quoc_te_hoc suite21 2665 26 0.009756 0.196525 0.816553 0.009205 0.014866 0.023338 0.013582 0.052632 0.538462 0.095890 0.189189 0.037500 0.576923 0.070423 0.148810 0.030019 0.615385 0.057245 0.125589 0.027027 0.692308 0.052023 0.116883 3 khoa_quoc_te_hoc suite22 2665 26 0.009756 0.171784 0.816247 0.008869 0.010513 0.018730 0.008974 0.052632 0.538462 0.095890 0.189189 0.037500 0.576923 0.070423 0.148810 0.031895 0.653846 0.060823 0.133438 0.027027 0.692308 0.052023 0.116883 3 khoa_quoc_te_hoc suite22_primary 2665 26 0.009756 0.177036 0.796208 0.008913 0.007149 0.014651 0.004895 0.052632 0.538462 0.095890 0.189189 0.037500 0.576923 0.070423 0.148810 0.031895 0.653846 0.060823 0.133438 0.025526 0.653846 0.049133 0.110390 3 khoa_quoc_te_hoc suite22_relational 2665 26 0.009756 0.121251 0.811263 0.009528 0.004489 0.012324 0.002568 0.048872 0.500000 0.089041 0.175676 0.040000 0.615385 0.075117 0.158730 0.031895 0.653846 0.060823 0.133438 0.025526 0.653846 0.049133 0.110390 3 khoa_quoc_te_hoc suite23 2665 26 0.009756 0.187661 0.829131 0.009280 0.015705 0.024931 0.015174 0.052632 0.538462 0.095890 0.189189 0.040000 0.615385 0.075117 0.158730 0.033771 0.692308 0.064401 0.141287 0.028529 0.730769 0.054913 0.123377 3 khoa_quoc_te_hoc suite23_graph 2665 26 0.009756 0.100840 0.811569 0.011785 0.034981 0.044616 0.034860 0.056391 0.576923 0.102740 0.202703 0.040000 0.615385 0.075117 0.158730 0.030019 0.615385 0.057245 0.125589 0.024024 0.615385 0.046243 0.103896 3 khoa_quoc_te_hoc suite24_evidence_residual 2665 26 0.009756 0.186269 0.843895 0.010087 0.022011 0.031083 0.021327 0.056391 0.576923 0.102740 0.202703 0.042500 0.653846 0.079812 0.168651 0.031895 0.653846 0.060823 0.133438 0.030030 0.769231 0.057803 0.129870 3 khoa_quoc_te_hoc suite24_graph_standalone 2665 26 0.009756 0.068352 0.859985 0.011049 0.023866 0.033622 0.023866 0.063910 0.653846 0.116438 0.229730 0.045000 0.692308 0.084507 0.178571 0.035647 0.730769 0.067979 0.149137 0.028529 0.730769 0.054913 0.123377 3 khoa_quoc_te_hoc suite24_history_residual 2665 26 0.009756 0.177179 0.829568 0.009357 0.014150 0.023613 0.013857 0.045113 0.461538 0.082192 0.162162 0.032500 0.500000 0.061033 0.128968 0.031895 0.653846 0.060823 0.133438 0.031532 0.807692 0.060694 0.136364 3 khoa_quoc_te_hoc suite24_posthoc_blend 2665 26 0.009756 0.148819 0.843837 0.009233 0.013653 0.023409 0.013653 0.052632 0.538462 0.095890 0.189189 0.042500 0.653846 0.079812 0.168651 0.033771 0.692308 0.064401 0.141287 0.028529 0.730769 0.054913 0.123377 3 khoa_quoc_te_hoc suite24_safe_scale 2665 26 0.009756 0.186269 0.843895 0.010087 0.022011 0.031083 0.021327 0.056391 0.576923 0.102740 0.202703 0.042500 0.653846 0.079812 0.168651 0.031895 0.653846 0.060823 0.133438 0.030030 0.769231 0.057803 0.129870 3 khoa_quoc_te_hoc suite24_structural_residual 2665 26 0.009756 0.196760 0.829437 0.010664 0.024953 0.034641 0.024885 0.048872 0.500000 0.089041 0.175676 0.037500 0.576923 0.070423 0.148810 0.031895 0.653846 0.060823 0.133438 0.027027 0.692308 0.052023 0.116883 3 khoa_tieng_anh committee 7279 101 0.013876 0.346834 0.940849 0.011179 0.012806 0.025715 0.011839 0.111264 0.801980 0.195416 0.357774 0.084249 0.910891 0.154233 0.307487 0.064560 0.930693 0.120745 0.252688 0.051648 0.930693 0.097866 0.211331 3 khoa_tieng_anh suite14 7279 101 0.013876 0.320806 0.906215 0.013917 0.027554 0.041077 0.027201 0.081044 0.584158 0.142340 0.260601 0.065934 0.712871 0.120704 0.240642 0.059066 0.851485 0.110469 0.231183 0.050000 0.900990 0.094742 0.204586 3 khoa_tieng_anh suite16 7279 101 0.013876 0.362907 0.958968 0.030675 0.082267 0.096142 0.082267 0.123626 0.891089 0.217129 0.397527 0.086081 0.930693 0.157586 0.314171 0.067995 0.980198 0.127168 0.266129 0.054945 0.990099 0.104112 0.224820 3 khoa_tieng_anh suite17 7279 101 0.013876 0.377574 0.956844 0.011076 0.017212 0.028871 0.014995 0.122253 0.881188 0.214717 0.393110 0.086996 0.940594 0.159262 0.317513 0.067995 0.980198 0.127168 0.266129 0.054945 0.990099 0.104112 0.224820 3 khoa_tieng_anh suite18 7279 101 0.013876 0.371242 0.955575 0.011039 0.017101 0.028545 0.014669 0.119505 0.861386 0.209891 0.384276 0.086996 0.940594 0.159262 0.317513 0.067308 0.970297 0.125883 0.263441 0.054945 0.990099 0.104112 0.224820 3 khoa_tieng_anh suite20 7279 101 0.013876 0.461653 0.947451 0.031635 0.038904 0.052779 0.038904 0.108516 0.782178 0.190591 0.348940 0.081502 0.881188 0.149204 0.297460 0.065934 0.950495 0.123314 0.258065 0.053846 0.970297 0.102030 0.220324 3 khoa_tieng_anh suite21 7279 101 0.013876 0.383605 0.947709 0.010871 0.014284 0.025795 0.011920 0.116758 0.841584 0.205066 0.375442 0.083333 0.900990 0.152557 0.304144 0.065247 0.940594 0.122030 0.255376 0.052198 0.940594 0.098907 0.213579 3 khoa_tieng_anh suite22 7279 101 0.013876 0.414925 0.953997 0.010493 0.007131 0.017144 0.003268 0.119505 0.861386 0.209891 0.384276 0.085165 0.920792 0.155909 0.310829 0.064560 0.930693 0.120745 0.252688 0.052747 0.950495 0.099948 0.215827 3 khoa_tieng_anh suite22_primary 7279 101 0.013876 0.429238 0.950565 0.010655 0.006457 0.010526 -0.003350 0.118132 0.851485 0.207479 0.379859 0.083333 0.900990 0.152557 0.304144 0.063874 0.920792 0.119461 0.250000 0.052198 0.940594 0.098907 0.213579 3 khoa_tieng_anh suite22_relational 7279 101 0.013876 0.282679 0.929496 0.011448 0.006530 0.009464 -0.004411 0.114011 0.821782 0.200241 0.366608 0.081502 0.881188 0.149204 0.297460 0.061126 0.881188 0.114322 0.239247 0.048901 0.881188 0.092660 0.200090 3 khoa_tieng_anh suite23 7279 101 0.013876 0.394045 0.949436 0.010850 0.014877 0.026545 0.012670 0.118132 0.851485 0.207479 0.379859 0.084249 0.910891 0.154233 0.307487 0.064560 0.930693 0.120745 0.252688 0.053297 0.960396 0.100989 0.218076 3 khoa_tieng_anh suite23_graph 7279 101 0.013876 0.313080 0.931558 0.012501 0.025648 0.038397 0.024522 0.103022 0.742574 0.180941 0.331272 0.076923 0.831683 0.140821 0.280749 0.065247 0.940594 0.122030 0.255376 0.052198 0.940594 0.098907 0.213579 3 khoa_tieng_anh suite24_evidence_residual 7279 101 0.013876 0.396828 0.940969 0.010655 0.011793 0.024272 0.010397 0.109890 0.792079 0.193004 0.353357 0.082418 0.891089 0.150880 0.300802 0.063874 0.920792 0.119461 0.250000 0.052747 0.950495 0.099948 0.215827 3 khoa_tieng_anh suite24_graph_standalone 7279 101 0.013876 0.299969 0.910430 0.011496 0.004874 0.015310 0.001435 0.090659 0.653465 0.159228 0.291519 0.069597 0.752475 0.127410 0.254011 0.059753 0.861386 0.111753 0.233871 0.051099 0.920792 0.096825 0.209083 3 khoa_tieng_anh suite24_history_residual 7279 101 0.013876 0.383117 0.939322 0.010724 0.010256 0.022551 0.008675 0.108516 0.782178 0.190591 0.348940 0.082418 0.891089 0.150880 0.300802 0.063874 0.920792 0.119461 0.250000 0.052198 0.940594 0.098907 0.213579 3 khoa_tieng_anh suite24_posthoc_blend 7279 101 0.013876 0.421314 0.952721 0.010581 0.010569 0.020180 0.006304 0.123626 0.891089 0.217129 0.397527 0.084249 0.910891 0.154233 0.307487 0.065247 0.940594 0.122030 0.255376 0.053297 0.960396 0.100989 0.218076 3 khoa_tieng_anh suite24_safe_scale 7279 101 0.013876 0.396828 0.940969 0.010655 0.011793 0.024272 0.010397 0.109890 0.792079 0.193004 0.353357 0.082418 0.891089 0.150880 0.300802 0.063874 0.920792 0.119461 0.250000 0.052747 0.950495 0.099948 0.215827 3 khoa_tieng_anh suite24_structural_residual 7279 101 0.013876 0.381024 0.931668 0.011183 0.018045 0.030755 0.016880 0.097527 0.702970 0.171291 0.313604 0.076007 0.821782 0.139145 0.277406 0.064560 0.930693 0.120745 0.252688 0.052747 0.950495 0.099948 0.215827 3 khoa_tieng_bo_dao_nha committee 1032 50 0.048450 0.348897 0.909959 0.038416 0.027383 0.060127 0.011678 0.368932 0.760000 0.496732 0.627063 0.251613 0.780000 0.380488 0.549296 0.208738 0.860000 0.335938 0.529557 0.174419 0.900000 0.292208 0.491266 3 khoa_tieng_bo_dao_nha suite14 1032 50 0.048450 0.444556 0.904705 0.040251 0.034001 0.078617 0.030167 0.359223 0.740000 0.483660 0.610561 0.245161 0.760000 0.370732 0.535211 0.184466 0.760000 0.296875 0.467980 0.158915 0.820000 0.266234 0.447598 3 khoa_tieng_bo_dao_nha suite16 1032 50 0.048450 0.382743 0.913218 0.103843 0.201871 0.250321 0.201871 0.339806 0.700000 0.457516 0.577558 0.264516 0.820000 0.400000 0.577465 0.208738 0.860000 0.335938 0.529557 0.178295 0.920000 0.298701 0.502183 3 khoa_tieng_bo_dao_nha suite17 1032 50 0.048450 0.363423 0.920530 0.038856 0.023248 0.060796 0.012346 0.359223 0.740000 0.483660 0.610561 0.258065 0.800000 0.390244 0.563380 0.208738 0.860000 0.335938 0.529557 0.174419 0.900000 0.292208 0.491266 3 khoa_tieng_bo_dao_nha suite18 1032 50 0.048450 0.343661 0.913727 0.039030 0.022790 0.060700 0.012251 0.359223 0.740000 0.483660 0.610561 0.251613 0.780000 0.380488 0.549296 0.208738 0.860000 0.335938 0.529557 0.174419 0.900000 0.292208 0.491266 3 khoa_tieng_bo_dao_nha suite20 1032 50 0.048450 0.484337 0.932525 0.069934 0.067814 0.115448 0.066998 0.339806 0.700000 0.457516 0.577558 0.264516 0.820000 0.400000 0.577465 0.213592 0.880000 0.343750 0.541872 0.178295 0.920000 0.298701 0.502183 3 khoa_tieng_bo_dao_nha suite21 1032 50 0.048450 0.396907 0.919654 0.036294 0.037994 0.060956 0.012507 0.378641 0.780000 0.509804 0.643564 0.251613 0.780000 0.380488 0.549296 0.208738 0.860000 0.335938 0.529557 0.178295 0.920000 0.298701 0.502183 3 khoa_tieng_bo_dao_nha suite22 1032 50 0.048450 0.377368 0.922729 0.037521 0.030519 0.042842 -0.005608 0.368932 0.760000 0.496732 0.627063 0.264516 0.820000 0.400000 0.577465 0.218447 0.900000 0.351562 0.554187 0.178295 0.920000 0.298701 0.502183 3 khoa_tieng_bo_dao_nha suite22_primary 1032 50 0.048450 0.414117 0.919043 0.038547 0.025549 0.023679 -0.024771 0.359223 0.740000 0.483660 0.610561 0.264516 0.820000 0.400000 0.577465 0.203883 0.840000 0.328125 0.517241 0.178295 0.920000 0.298701 0.502183 3 khoa_tieng_bo_dao_nha suite22_relational 1032 50 0.048450 0.464143 0.933747 0.034966 0.020996 0.027454 -0.020996 0.359223 0.740000 0.483660 0.610561 0.264516 0.820000 0.400000 0.577465 0.218447 0.900000 0.351562 0.554187 0.186047 0.960000 0.311688 0.524017 3 khoa_tieng_bo_dao_nha suite23 1032 50 0.048450 0.348897 0.909959 0.038416 0.027383 0.060127 0.011678 0.368932 0.760000 0.496732 0.627063 0.251613 0.780000 0.380488 0.549296 0.208738 0.860000 0.335938 0.529557 0.174419 0.900000 0.292208 0.491266 3 khoa_tieng_bo_dao_nha suite23_graph 1032 50 0.048450 0.399114 0.916599 0.042721 0.077768 0.123367 0.074917 0.330097 0.680000 0.444444 0.561056 0.251613 0.780000 0.380488 0.549296 0.199029 0.820000 0.320312 0.504926 0.170543 0.880000 0.285714 0.480349 3 khoa_tieng_bo_dao_nha suite24_evidence_residual 1032 50 0.048450 0.341537 0.906823 0.038150 0.031178 0.068443 0.019994 0.330097 0.680000 0.444444 0.561056 0.238710 0.740000 0.360976 0.521127 0.199029 0.820000 0.320312 0.504926 0.166667 0.860000 0.279221 0.469432 3 khoa_tieng_bo_dao_nha suite24_graph_standalone 1032 50 0.048450 0.351091 0.896253 0.037517 0.017899 0.053716 0.005266 0.300971 0.620000 0.405229 0.511551 0.238710 0.740000 0.360976 0.521127 0.189320 0.780000 0.304688 0.480296 0.166667 0.860000 0.279221 0.469432 3 khoa_tieng_bo_dao_nha suite24_history_residual 1032 50 0.048450 0.394541 0.911202 0.036956 0.025463 0.067459 0.019010 0.320388 0.660000 0.431373 0.544554 0.251613 0.780000 0.380488 0.549296 0.208738 0.860000 0.335938 0.529557 0.166667 0.860000 0.279221 0.469432 3 khoa_tieng_bo_dao_nha suite24_posthoc_blend 1032 50 0.048450 0.384548 0.919145 0.037653 0.027721 0.055127 0.006678 0.339806 0.700000 0.457516 0.577558 0.258065 0.800000 0.390244 0.563380 0.213592 0.880000 0.343750 0.541872 0.178295 0.920000 0.298701 0.502183 3 khoa_tieng_bo_dao_nha suite24_safe_scale 1032 50 0.048450 0.341537 0.906823 0.038150 0.031178 0.068443 0.019994 0.330097 0.680000 0.444444 0.561056 0.238710 0.740000 0.360976 0.521127 0.199029 0.820000 0.320312 0.504926 0.166667 0.860000 0.279221 0.469432 3 khoa_tieng_bo_dao_nha suite24_structural_residual 1032 50 0.048450 0.373287 0.895764 0.038936 0.033537 0.078875 0.030425 0.320388 0.660000 0.431373 0.544554 0.238710 0.740000 0.360976 0.521127 0.194175 0.800000 0.312500 0.492611 0.158915 0.820000 0.266234 0.447598 3 khoa_tieng_duc committee 1909 47 0.024620 0.247552 0.852915 0.022254 0.034028 0.057899 0.033279 0.162304 0.659574 0.260504 0.408971 0.122378 0.744681 0.210210 0.369198 0.094241 0.765957 0.167832 0.315789 0.075472 0.765957 0.137405 0.270677 3 khoa_tieng_duc suite14 1909 47 0.024620 0.205287 0.856069 0.043384 0.080132 0.104752 0.080132 0.136126 0.553191 0.218487 0.343008 0.108392 0.659574 0.186186 0.327004 0.091623 0.744681 0.163170 0.307018 0.079665 0.808511 0.145038 0.285714 3 khoa_tieng_duc suite16 1909 47 0.024620 0.212514 0.892257 0.092964 0.199525 0.224145 0.199525 0.146597 0.595745 0.235294 0.369393 0.129371 0.787234 0.222222 0.390295 0.096859 0.787234 0.172494 0.324561 0.079665 0.808511 0.145038 0.285714 3 khoa_tieng_duc suite17 1909 47 0.024620 0.267260 0.887435 0.022219 0.037266 0.056659 0.032038 0.167539 0.680851 0.268908 0.422164 0.122378 0.744681 0.210210 0.369198 0.096859 0.787234 0.172494 0.324561 0.079665 0.808511 0.145038 0.285714 3 khoa_tieng_duc suite18 1909 47 0.024620 0.282976 0.888852 0.022190 0.036711 0.056984 0.032364 0.167539 0.680851 0.268908 0.422164 0.118881 0.723404 0.204204 0.358650 0.096859 0.787234 0.172494 0.324561 0.079665 0.808511 0.145038 0.285714 3 khoa_tieng_duc suite20 1909 47 0.024620 0.219488 0.906655 0.062231 0.061847 0.086468 0.061847 0.157068 0.638298 0.252101 0.395778 0.129371 0.787234 0.222222 0.390295 0.107330 0.872340 0.191142 0.359649 0.085954 0.872340 0.156489 0.308271 3 khoa_tieng_duc suite21 1909 47 0.024620 0.241119 0.865759 0.022892 0.034324 0.058913 0.034293 0.167539 0.680851 0.268908 0.422164 0.122378 0.744681 0.210210 0.369198 0.096859 0.787234 0.172494 0.324561 0.077568 0.787234 0.141221 0.278195 3 khoa_tieng_duc suite22 1909 47 0.024620 0.333258 0.897936 0.020291 0.019097 0.041211 0.016591 0.162304 0.659574 0.260504 0.408971 0.125874 0.765957 0.216216 0.379747 0.096859 0.787234 0.172494 0.324561 0.081761 0.829787 0.148855 0.293233 3 khoa_tieng_duc suite22_primary 1909 47 0.024620 0.357600 0.906266 0.019484 0.007646 0.027251 0.002631 0.162304 0.659574 0.260504 0.408971 0.125874 0.765957 0.216216 0.379747 0.104712 0.851064 0.186480 0.350877 0.090147 0.914894 0.164122 0.323308 3 khoa_tieng_duc suite22_relational 1909 47 0.024620 0.409484 0.926172 0.018760 0.005359 0.027407 0.002787 0.183246 0.744681 0.294118 0.461741 0.136364 0.829787 0.234234 0.411392 0.107330 0.872340 0.191142 0.359649 0.090147 0.914894 0.164122 0.323308 3 khoa_tieng_duc suite23 1909 47 0.024620 0.282070 0.878008 0.022002 0.034966 0.057889 0.033268 0.167539 0.680851 0.268908 0.422164 0.122378 0.744681 0.210210 0.369198 0.096859 0.787234 0.172494 0.324561 0.077568 0.787234 0.141221 0.278195 3 khoa_tieng_duc suite23_graph 1909 47 0.024620 0.303875 0.903375 0.025509 0.049632 0.073744 0.049124 0.178010 0.723404 0.285714 0.448549 0.125874 0.765957 0.216216 0.379747 0.099476 0.808511 0.177156 0.333333 0.085954 0.872340 0.156489 0.308271 3 khoa_tieng_duc suite24_evidence_residual 1909 47 0.024620 0.274217 0.841203 0.023267 0.038583 0.063203 0.038583 0.167539 0.680851 0.268908 0.422164 0.111888 0.680851 0.192192 0.337553 0.086387 0.702128 0.153846 0.289474 0.075472 0.765957 0.137405 0.270677 3 khoa_tieng_duc suite24_graph_standalone 1909 47 0.024620 0.376990 0.868501 0.020177 0.016419 0.035552 0.010932 0.167539 0.680851 0.268908 0.422164 0.111888 0.680851 0.192192 0.337553 0.083770 0.680851 0.149184 0.280702 0.071279 0.723404 0.129771 0.255639 3 khoa_tieng_duc suite24_history_residual 1909 47 0.024620 0.250507 0.857897 0.023750 0.036646 0.061266 0.036646 0.151832 0.617021 0.243697 0.382586 0.104895 0.638298 0.180180 0.316456 0.091623 0.744681 0.163170 0.307018 0.077568 0.787234 0.141221 0.278195 3 khoa_tieng_duc suite24_posthoc_blend 1909 47 0.024620 0.312040 0.870306 0.020939 0.026870 0.047791 0.023171 0.167539 0.680851 0.268908 0.422164 0.118881 0.723404 0.204204 0.358650 0.096859 0.787234 0.172494 0.324561 0.077568 0.787234 0.141221 0.278195 3 khoa_tieng_duc suite24_safe_scale 1909 47 0.024620 0.274217 0.841203 0.023267 0.038583 0.063203 0.038583 0.167539 0.680851 0.268908 0.422164 0.111888 0.680851 0.192192 0.337553 0.086387 0.702128 0.153846 0.289474 0.075472 0.765957 0.137405 0.270677 3 khoa_tieng_duc suite24_structural_residual 1909 47 0.024620 0.258467 0.874020 0.025488 0.048872 0.073492 0.048872 0.167539 0.680851 0.268908 0.422164 0.115385 0.702128 0.198198 0.348101 0.091623 0.744681 0.163170 0.307018 0.077568 0.787234 0.141221 0.278195 3 khoa_tieng_han_quoc committee 3235 42 0.012983 0.214705 0.841066 0.011907 0.017082 0.026409 0.013426 0.080247 0.619048 0.142077 0.264228 0.057732 0.666667 0.106262 0.214395 0.043277 0.666667 0.081277 0.171779 0.038319 0.738095 0.072855 0.158649 3 khoa_tieng_han_quoc suite14 3235 42 0.012983 0.137334 0.833177 0.027323 0.064849 0.077832 0.064849 0.064815 0.500000 0.114754 0.213415 0.051546 0.595238 0.094877 0.191424 0.044822 0.690476 0.084180 0.177914 0.035847 0.690476 0.068155 0.148414 3 khoa_tieng_han_quoc suite16 3235 42 0.012983 0.218216 0.851468 0.033047 0.094078 0.107061 0.094078 0.083333 0.642857 0.147541 0.274390 0.065979 0.761905 0.121442 0.245023 0.052550 0.809524 0.098694 0.208589 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite17 3235 42 0.012983 0.253086 0.861908 0.011717 0.020093 0.030276 0.017293 0.092593 0.714286 0.163934 0.304878 0.065979 0.761905 0.121442 0.245023 0.051005 0.785714 0.095791 0.202454 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite18 3235 42 0.012983 0.250176 0.864160 0.011746 0.020395 0.030077 0.017094 0.086420 0.666667 0.153005 0.284553 0.065979 0.761905 0.121442 0.245023 0.052550 0.809524 0.098694 0.208589 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite20 3235 42 0.012983 0.196312 0.841357 0.061651 0.069322 0.082305 0.069322 0.083333 0.642857 0.147541 0.274390 0.061856 0.714286 0.113852 0.229709 0.052550 0.809524 0.098694 0.208589 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite21 3235 42 0.012983 0.229856 0.849008 0.011523 0.016029 0.025891 0.012908 0.086420 0.666667 0.153005 0.284553 0.057732 0.666667 0.106262 0.214395 0.046368 0.714286 0.087083 0.184049 0.039555 0.761905 0.075206 0.163767 3 khoa_tieng_han_quoc suite22 3235 42 0.012983 0.278722 0.867605 0.011094 0.007883 0.016990 0.004007 0.095679 0.738095 0.169399 0.315041 0.068041 0.785714 0.125237 0.252680 0.052550 0.809524 0.098694 0.208589 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite22_primary 3235 42 0.012983 0.352874 0.855607 0.010403 0.003428 0.011186 -0.001797 0.101852 0.785714 0.180328 0.335366 0.068041 0.785714 0.125237 0.252680 0.052550 0.809524 0.098694 0.208589 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite22_relational 3235 42 0.012983 0.323710 0.850119 0.010862 0.006883 0.009283 -0.003700 0.092593 0.714286 0.163934 0.304878 0.068041 0.785714 0.125237 0.252680 0.052550 0.809524 0.098694 0.208589 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite23 3235 42 0.012983 0.279797 0.859559 0.011625 0.018562 0.027748 0.014765 0.086420 0.666667 0.153005 0.284553 0.065979 0.761905 0.121442 0.245023 0.049459 0.761905 0.092888 0.196319 0.039555 0.761905 0.075206 0.163767 3 khoa_tieng_han_quoc suite23_graph 3235 42 0.012983 0.298919 0.845413 0.013871 0.031289 0.044098 0.031115 0.086420 0.666667 0.153005 0.284553 0.059794 0.690476 0.110057 0.222052 0.051005 0.785714 0.095791 0.202454 0.040791 0.785714 0.077556 0.168884 3 khoa_tieng_han_quoc suite24_evidence_residual 3235 42 0.012983 0.194055 0.830634 0.012138 0.019090 0.029226 0.016243 0.077160 0.595238 0.136612 0.254065 0.055670 0.642857 0.102467 0.206738 0.044822 0.690476 0.084180 0.177914 0.035847 0.690476 0.068155 0.148414 3 khoa_tieng_han_quoc suite24_graph_standalone 3235 42 0.012983 0.280339 0.764671 0.011614 0.008880 0.018733 0.005750 0.061728 0.476190 0.109290 0.203252 0.051546 0.595238 0.094877 0.191424 0.040185 0.619048 0.075472 0.159509 0.035847 0.690476 0.068155 0.148414 3 khoa_tieng_han_quoc suite24_history_residual 3235 42 0.012983 0.222835 0.840835 0.011765 0.016185 0.026772 0.013789 0.086420 0.666667 0.153005 0.284553 0.059794 0.690476 0.110057 0.222052 0.046368 0.714286 0.087083 0.184049 0.038319 0.738095 0.072855 0.158649 3 khoa_tieng_han_quoc suite24_posthoc_blend 3235 42 0.012983 0.250643 0.836450 0.011620 0.011952 0.021593 0.008610 0.080247 0.619048 0.142077 0.264228 0.055670 0.642857 0.102467 0.206738 0.046368 0.714286 0.087083 0.184049 0.038319 0.738095 0.072855 0.158649 3 khoa_tieng_han_quoc suite24_safe_scale 3235 42 0.012983 0.194055 0.830634 0.012138 0.019090 0.029226 0.016243 0.077160 0.595238 0.136612 0.254065 0.055670 0.642857 0.102467 0.206738 0.044822 0.690476 0.084180 0.177914 0.035847 0.690476 0.068155 0.148414 3 khoa_tieng_han_quoc suite24_structural_residual 3235 42 0.012983 0.172166 0.836525 0.013412 0.027823 0.040586 0.027603 0.077160 0.595238 0.136612 0.254065 0.057732 0.666667 0.106262 0.214395 0.046368 0.714286 0.087083 0.184049 0.038319 0.738095 0.072855 0.158649 3 khoa_tieng_italia committee 2145 68 0.031702 0.207328 0.833251 0.029431 0.034903 0.064843 0.033141 0.135514 0.426471 0.205674 0.298354 0.111801 0.529412 0.184615 0.303030 0.100233 0.632353 0.173038 0.306705 0.082090 0.647059 0.145695 0.272277 3 khoa_tieng_italia suite14 2145 68 0.031702 0.181800 0.769336 0.037335 0.042334 0.072988 0.041286 0.098131 0.308824 0.148936 0.216049 0.083851 0.397059 0.138462 0.227273 0.088578 0.558824 0.152918 0.271041 0.076493 0.602941 0.135762 0.253713 3 khoa_tieng_italia suite16 2145 68 0.031702 0.267848 0.865396 0.099754 0.210833 0.242534 0.210833 0.172897 0.544118 0.262411 0.380658 0.133540 0.632353 0.220513 0.361953 0.107226 0.676471 0.185111 0.328103 0.091418 0.720588 0.162252 0.303218 3 khoa_tieng_italia suite17 2145 68 0.031702 0.258617 0.877375 0.028946 0.040957 0.065232 0.033530 0.168224 0.529412 0.255319 0.370370 0.124224 0.588235 0.205128 0.336700 0.116550 0.735294 0.201207 0.356633 0.098881 0.779412 0.175497 0.327970 3 khoa_tieng_italia suite18 2145 68 0.031702 0.256135 0.876724 0.028999 0.037578 0.065320 0.033619 0.158879 0.500000 0.241135 0.349794 0.124224 0.588235 0.205128 0.336700 0.109557 0.691176 0.189135 0.335235 0.108209 0.852941 0.192053 0.358911 3 khoa_tieng_italia suite20 2145 68 0.031702 0.182696 0.844310 0.083755 0.091420 0.114088 0.082386 0.126168 0.397059 0.191489 0.277778 0.096273 0.455882 0.158974 0.260943 0.086247 0.544118 0.148893 0.263909 0.095149 0.750000 0.168874 0.315594 3 khoa_tieng_italia suite21 2145 68 0.031702 0.206976 0.835049 0.030006 0.037895 0.067967 0.036266 0.135514 0.426471 0.205674 0.298354 0.105590 0.500000 0.174359 0.286195 0.093240 0.588235 0.160966 0.285307 0.085821 0.676471 0.152318 0.284653 3 khoa_tieng_italia suite22 2145 68 0.031702 0.271716 0.880399 0.027217 0.018345 0.047698 0.015997 0.172897 0.544118 0.262411 0.380658 0.133540 0.632353 0.220513 0.361953 0.118881 0.750000 0.205231 0.363766 0.102612 0.808824 0.182119 0.340347 3 khoa_tieng_italia suite22_primary 2145 68 0.031702 0.216908 0.872809 0.027618 0.003920 0.034844 0.003142 0.177570 0.558824 0.269504 0.390947 0.139752 0.661765 0.230769 0.378788 0.125874 0.794118 0.217304 0.385164 0.102612 0.808824 0.182119 0.340347 3 khoa_tieng_italia suite22_relational 2145 68 0.031702 0.213833 0.870139 0.028822 0.018923 0.037297 0.005595 0.126168 0.397059 0.191489 0.277778 0.121118 0.573529 0.200000 0.328283 0.118881 0.750000 0.205231 0.363766 0.100746 0.794118 0.178808 0.334158 3 khoa_tieng_italia suite23 2145 68 0.031702 0.207328 0.833251 0.029431 0.034903 0.064843 0.033141 0.135514 0.426471 0.205674 0.298354 0.111801 0.529412 0.184615 0.303030 0.100233 0.632353 0.173038 0.306705 0.082090 0.647059 0.145695 0.272277 3 khoa_tieng_italia suite23_graph 2145 68 0.031702 0.190476 0.856680 0.033666 0.059104 0.090806 0.059104 0.168224 0.529412 0.255319 0.370370 0.133540 0.632353 0.220513 0.361953 0.116550 0.735294 0.201207 0.356633 0.095149 0.750000 0.168874 0.315594 3 khoa_tieng_italia suite24_evidence_residual 2145 68 0.031702 0.215837 0.817454 0.030943 0.038342 0.069018 0.037317 0.144860 0.455882 0.219858 0.318930 0.105590 0.500000 0.174359 0.286195 0.088578 0.558824 0.152918 0.271041 0.080224 0.632353 0.142384 0.266089 3 khoa_tieng_italia suite24_graph_standalone 2145 68 0.031702 0.142482 0.821618 0.030044 0.011743 0.039176 0.007475 0.140187 0.441176 0.212766 0.308642 0.111801 0.529412 0.184615 0.303030 0.097902 0.617647 0.169014 0.299572 0.091418 0.720588 0.162252 0.303218 3 khoa_tieng_italia suite24_history_residual 2145 68 0.031702 0.224614 0.805807 0.031241 0.038364 0.066961 0.035259 0.126168 0.397059 0.191489 0.277778 0.093168 0.441176 0.153846 0.252525 0.079254 0.500000 0.136821 0.242511 0.072761 0.573529 0.129139 0.241337 3 khoa_tieng_italia suite24_posthoc_blend 2145 68 0.031702 0.231373 0.844841 0.028174 0.022054 0.051374 0.019672 0.149533 0.470588 0.226950 0.329218 0.118012 0.558824 0.194872 0.319865 0.100233 0.632353 0.173038 0.306705 0.091418 0.720588 0.162252 0.303218 3 khoa_tieng_italia suite24_safe_scale 2145 68 0.031702 0.215837 0.817454 0.030943 0.038342 0.069018 0.037317 0.144860 0.455882 0.219858 0.318930 0.105590 0.500000 0.174359 0.286195 0.088578 0.558824 0.152918 0.271041 0.080224 0.632353 0.142384 0.266089 3 khoa_tieng_italia suite24_structural_residual 2145 68 0.031702 0.223379 0.793757 0.034473 0.049684 0.078906 0.047205 0.130841 0.411765 0.198582 0.288066 0.093168 0.441176 0.153846 0.252525 0.081585 0.514706 0.140845 0.249643 0.065299 0.514706 0.115894 0.216584 3 khoa_tieng_nga committee 1996 92 0.046092 0.421984 0.931432 0.034452 0.035830 0.069994 0.023902 0.340000 0.739130 0.465753 0.598592 0.250836 0.815217 0.383632 0.562219 0.197995 0.858696 0.321792 0.514993 0.162325 0.880435 0.274112 0.467128 3 khoa_tieng_nga suite14 1996 92 0.046092 0.430375 0.921144 0.039912 0.041027 0.086314 0.040222 0.280000 0.608696 0.383562 0.492958 0.237458 0.771739 0.363171 0.532234 0.190476 0.826087 0.309572 0.495437 0.166333 0.902174 0.280880 0.478662 3 khoa_tieng_nga suite16 1996 92 0.046092 0.424612 0.932653 0.098656 0.210658 0.256751 0.210658 0.310000 0.673913 0.424658 0.545775 0.250836 0.815217 0.383632 0.562219 0.203008 0.880435 0.329939 0.528031 0.170341 0.923913 0.287648 0.490196 3 khoa_tieng_nga suite17 1996 92 0.046092 0.424649 0.933858 0.035079 0.044946 0.069618 0.023526 0.350000 0.760870 0.479452 0.616197 0.254181 0.826087 0.388747 0.569715 0.208020 0.902174 0.338086 0.541069 0.168337 0.913043 0.284264 0.484429 3 khoa_tieng_nga suite18 1996 92 0.046092 0.419681 0.935079 0.034986 0.040758 0.069761 0.023669 0.345000 0.750000 0.472603 0.607394 0.257525 0.836957 0.393862 0.577211 0.200501 0.869565 0.325866 0.521512 0.168337 0.913043 0.284264 0.484429 3 khoa_tieng_nga suite20 1996 92 0.046092 0.380608 0.931626 0.083794 0.089171 0.135263 0.089171 0.310000 0.673913 0.424658 0.545775 0.237458 0.771739 0.363171 0.532234 0.200501 0.869565 0.325866 0.521512 0.174349 0.945652 0.294416 0.501730 3 khoa_tieng_nga suite21 1996 92 0.046092 0.456810 0.942284 0.033091 0.038008 0.070874 0.024782 0.345000 0.750000 0.472603 0.607394 0.254181 0.826087 0.388747 0.569715 0.208020 0.902174 0.338086 0.541069 0.172345 0.934783 0.291032 0.495963 3 khoa_tieng_nga suite22 1996 92 0.046092 0.467471 0.943745 0.032052 0.022979 0.053061 0.006969 0.355000 0.771739 0.486301 0.625000 0.270903 0.880435 0.414322 0.607196 0.208020 0.902174 0.338086 0.541069 0.172345 0.934783 0.291032 0.495963 3 khoa_tieng_nga suite22_primary 1996 92 0.046092 0.543715 0.945955 0.030258 0.010046 0.036047 -0.010046 0.355000 0.771739 0.486301 0.625000 0.270903 0.880435 0.414322 0.607196 0.208020 0.902174 0.338086 0.541069 0.170341 0.923913 0.287648 0.490196 3 khoa_tieng_nga suite22_relational 1996 92 0.046092 0.458311 0.929656 0.032843 0.010782 0.049031 0.002939 0.325000 0.706522 0.445205 0.572183 0.267559 0.869565 0.409207 0.599700 0.208020 0.902174 0.338086 0.541069 0.172345 0.934783 0.291032 0.495963 3 khoa_tieng_nga suite23 1996 92 0.046092 0.448413 0.937882 0.033438 0.035023 0.067647 0.021555 0.350000 0.760870 0.479452 0.616197 0.257525 0.836957 0.393862 0.577211 0.203008 0.880435 0.329939 0.528031 0.168337 0.913043 0.284264 0.484429 3 khoa_tieng_nga suite23_graph 1996 92 0.046092 0.468971 0.933418 0.033085 0.035772 0.067372 0.021279 0.345000 0.750000 0.472603 0.607394 0.244147 0.793478 0.373402 0.547226 0.205514 0.891304 0.334012 0.534550 0.168337 0.913043 0.284264 0.484429 3 khoa_tieng_nga suite24_evidence_residual 1996 92 0.046092 0.420392 0.931363 0.034633 0.037547 0.077335 0.031243 0.315000 0.684783 0.431507 0.554577 0.244147 0.793478 0.373402 0.547226 0.200501 0.869565 0.325866 0.521512 0.168337 0.913043 0.284264 0.484429 3 khoa_tieng_nga suite24_graph_standalone 1996 92 0.046092 0.449669 0.929022 0.033328 0.014136 0.049993 0.003901 0.340000 0.739130 0.465753 0.598592 0.247492 0.804348 0.378517 0.554723 0.195489 0.847826 0.317719 0.508475 0.164329 0.891304 0.277496 0.472895 3 khoa_tieng_nga suite24_history_residual 1996 92 0.046092 0.448775 0.930792 0.033341 0.036049 0.074060 0.027968 0.300000 0.652174 0.410959 0.528169 0.240803 0.782609 0.368286 0.539730 0.197995 0.858696 0.321792 0.514993 0.172345 0.934783 0.291032 0.495963 3 khoa_tieng_nga suite24_posthoc_blend 1996 92 0.046092 0.445741 0.939464 0.033296 0.029500 0.060650 0.014558 0.345000 0.750000 0.472603 0.607394 0.257525 0.836957 0.393862 0.577211 0.203008 0.880435 0.329939 0.528031 0.168337 0.913043 0.284264 0.484429 3 khoa_tieng_nga suite24_safe_scale 1996 92 0.046092 0.420392 0.931363 0.034633 0.037547 0.077335 0.031243 0.315000 0.684783 0.431507 0.554577 0.244147 0.793478 0.373402 0.547226 0.200501 0.869565 0.325866 0.521512 0.168337 0.913043 0.284264 0.484429 3 khoa_tieng_nga suite24_structural_residual 1996 92 0.046092 0.402151 0.919386 0.036392 0.042636 0.085991 0.039899 0.290000 0.630435 0.397260 0.510563 0.230769 0.750000 0.352941 0.517241 0.177945 0.771739 0.289206 0.462842 0.164329 0.891304 0.277496 0.472895 3 khoa_tieng_nhat committee 2588 17 0.006569 0.377311 0.940273 0.005765 0.014185 0.018554 0.011985 0.057915 0.882353 0.108696 0.229358 0.038660 0.882353 0.074074 0.164474 0.030888 0.941176 0.059813 0.136519 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite14 2588 17 0.006569 0.357011 0.909237 0.012615 0.041325 0.047667 0.041098 0.034749 0.529412 0.065217 0.137615 0.028351 0.647059 0.054321 0.120614 0.028958 0.882353 0.056075 0.127986 0.023184 0.882353 0.045181 0.104895 3 khoa_tieng_nhat suite16 2588 17 0.006569 0.309216 0.939312 0.022760 0.069478 0.076046 0.069478 0.054054 0.823529 0.101449 0.214067 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.023184 0.882353 0.045181 0.104895 3 khoa_tieng_nhat suite17 2588 17 0.006569 0.374713 0.937310 0.006397 0.017579 0.022973 0.016405 0.057915 0.882353 0.108696 0.229358 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite18 2588 17 0.006569 0.374306 0.936006 0.006289 0.016597 0.022309 0.015741 0.057915 0.882353 0.108696 0.229358 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite20 2588 17 0.006569 0.180518 0.924337 0.041997 0.056645 0.063214 0.056645 0.046332 0.705882 0.086957 0.183486 0.036082 0.823529 0.069136 0.153509 0.030888 0.941176 0.059813 0.136519 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite21 2588 17 0.006569 0.362570 0.940399 0.005590 0.013074 0.017806 0.011237 0.057915 0.882353 0.108696 0.229358 0.038660 0.882353 0.074074 0.164474 0.030888 0.941176 0.059813 0.136519 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite22 2588 17 0.006569 0.334171 0.940696 0.005471 0.007009 0.011833 0.005265 0.057915 0.882353 0.108696 0.229358 0.041237 0.941176 0.079012 0.175439 0.030888 0.941176 0.059813 0.136519 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite22_primary 2588 17 0.006569 0.277747 0.935113 0.005556 0.003030 0.005734 -0.000835 0.054054 0.823529 0.101449 0.214067 0.038660 0.882353 0.074074 0.164474 0.030888 0.941176 0.059813 0.136519 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite22_relational 2588 17 0.006569 0.330789 0.960670 0.005709 0.004602 0.010956 0.004387 0.054054 0.823529 0.101449 0.214067 0.038660 0.882353 0.074074 0.164474 0.030888 0.941176 0.059813 0.136519 0.026275 1.000000 0.051205 0.118881 3 khoa_tieng_nhat suite23 2588 17 0.006569 0.380972 0.939460 0.005732 0.013891 0.018512 0.011943 0.057915 0.882353 0.108696 0.229358 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite23_graph 2588 17 0.006569 0.335253 0.922644 0.006449 0.017594 0.023591 0.017022 0.050193 0.764706 0.094203 0.198777 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.023184 0.882353 0.045181 0.104895 3 khoa_tieng_nhat suite24_evidence_residual 2588 17 0.006569 0.347971 0.925641 0.005840 0.014575 0.020303 0.013734 0.050193 0.764706 0.094203 0.198777 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.023184 0.882353 0.045181 0.104895 3 khoa_tieng_nhat suite24_graph_standalone 2588 17 0.006569 0.313205 0.825932 0.006157 0.012422 0.016419 0.009850 0.042471 0.647059 0.079710 0.168196 0.028351 0.647059 0.054321 0.120614 0.023166 0.705882 0.044860 0.102389 0.018547 0.705882 0.036145 0.083916 3 khoa_tieng_nhat suite24_history_residual 2588 17 0.006569 0.331880 0.939712 0.005972 0.015226 0.020645 0.014076 0.054054 0.823529 0.101449 0.214067 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite24_posthoc_blend 2588 17 0.006569 0.389310 0.925504 0.005669 0.011803 0.015844 0.009275 0.050193 0.764706 0.094203 0.198777 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.023184 0.882353 0.045181 0.104895 3 khoa_tieng_nhat suite24_safe_scale 2588 17 0.006569 0.347971 0.925641 0.005840 0.014575 0.020303 0.013734 0.050193 0.764706 0.094203 0.198777 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.023184 0.882353 0.045181 0.104895 3 khoa_tieng_nhat suite24_structural_residual 2588 17 0.006569 0.388860 0.933123 0.006842 0.025108 0.030404 0.023835 0.054054 0.823529 0.101449 0.214067 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.023184 0.882353 0.045181 0.104895 3 khoa_tieng_phap committee 2693 43 0.015967 0.101848 0.693208 0.016580 0.025891 0.041771 0.025803 0.040892 0.255814 0.070513 0.124717 0.032178 0.302326 0.058166 0.112847 0.029685 0.372093 0.054983 0.112518 0.026746 0.418605 0.050279 0.106509 3 khoa_tieng_phap suite14 2693 43 0.015967 0.117176 0.606099 0.026349 0.046352 0.061353 0.045386 0.048327 0.302326 0.083333 0.147392 0.039604 0.372093 0.071588 0.138889 0.037106 0.465116 0.068729 0.140647 0.029718 0.465116 0.055866 0.118343 3 khoa_tieng_phap suite16 2693 43 0.015967 0.126256 0.826204 0.057257 0.135409 0.151377 0.135409 0.066914 0.418605 0.115385 0.204082 0.051980 0.488372 0.093960 0.182292 0.048237 0.604651 0.089347 0.182841 0.047548 0.744186 0.089385 0.189349 3 khoa_tieng_phap suite17 2693 43 0.015967 0.116178 0.788574 0.016517 0.027749 0.042700 0.026732 0.059480 0.372093 0.102564 0.181406 0.042079 0.395349 0.076063 0.147569 0.042672 0.534884 0.079038 0.161744 0.040119 0.627907 0.075419 0.159763 3 khoa_tieng_phap suite18 2693 43 0.015967 0.112773 0.778271 0.016517 0.026556 0.042523 0.026556 0.052045 0.325581 0.089744 0.158730 0.042079 0.395349 0.076063 0.147569 0.040816 0.511628 0.075601 0.154712 0.037147 0.581395 0.069832 0.147929 3 khoa_tieng_phap suite20 2693 43 0.015967 0.059501 0.725748 0.088148 0.101464 0.117431 0.101464 0.070632 0.441860 0.121795 0.215420 0.051980 0.488372 0.093960 0.182292 0.038961 0.488372 0.072165 0.147679 0.031204 0.488372 0.058659 0.124260 3 khoa_tieng_phap suite21 2693 43 0.015967 0.108362 0.716419 0.017046 0.028151 0.043617 0.027649 0.052045 0.325581 0.089744 0.158730 0.042079 0.395349 0.076063 0.147569 0.035250 0.441860 0.065292 0.133615 0.031204 0.488372 0.058659 0.124260 3 khoa_tieng_phap suite22 2693 43 0.015967 0.126427 0.778903 0.015445 0.013064 0.029031 0.013064 0.063197 0.395349 0.108974 0.192744 0.049505 0.465116 0.089485 0.173611 0.040816 0.511628 0.075601 0.154712 0.035661 0.558140 0.067039 0.142012 3 khoa_tieng_phap suite22_primary 2693 43 0.015967 0.133561 0.845792 0.015107 0.004590 0.018250 0.002282 0.089219 0.558140 0.153846 0.272109 0.074257 0.697674 0.134228 0.260417 0.057514 0.720930 0.106529 0.218003 0.047548 0.744186 0.089385 0.189349 3 khoa_tieng_phap suite22_relational 2693 43 0.015967 0.211370 0.883932 0.014166 0.005268 0.012512 -0.003455 0.092937 0.581395 0.160256 0.283447 0.066832 0.627907 0.120805 0.234375 0.057514 0.720930 0.106529 0.218003 0.050520 0.790698 0.094972 0.201183 3 khoa_tieng_phap suite23 2693 43 0.015967 0.108677 0.779851 0.015775 0.020988 0.035732 0.019765 0.052045 0.325581 0.089744 0.158730 0.051980 0.488372 0.093960 0.182292 0.044527 0.558140 0.082474 0.168776 0.041605 0.651163 0.078212 0.165680 3 khoa_tieng_phap suite23_graph 2693 43 0.015967 0.118303 0.833804 0.016220 0.019814 0.035781 0.019814 0.066914 0.418605 0.115385 0.204082 0.049505 0.465116 0.089485 0.173611 0.048237 0.604651 0.089347 0.182841 0.046062 0.720930 0.086592 0.183432 3 khoa_tieng_phap suite24_evidence_residual 2693 43 0.015967 0.127895 0.734015 0.017539 0.034070 0.047913 0.031945 0.048327 0.302326 0.083333 0.147392 0.037129 0.348837 0.067114 0.130208 0.035250 0.441860 0.065292 0.133615 0.031204 0.488372 0.058659 0.124260 3 khoa_tieng_phap suite24_graph_standalone 2693 43 0.015967 0.130525 0.836095 0.014987 0.009961 0.025823 0.009856 0.089219 0.558140 0.153846 0.272109 0.071782 0.674419 0.129754 0.251736 0.059369 0.744186 0.109966 0.225035 0.047548 0.744186 0.089385 0.189349 3 khoa_tieng_phap suite24_history_residual 2693 43 0.015967 0.113913 0.752584 0.017155 0.027010 0.042684 0.026716 0.052045 0.325581 0.089744 0.158730 0.039604 0.372093 0.071588 0.138889 0.037106 0.465116 0.068729 0.140647 0.040119 0.627907 0.075419 0.159763 3 khoa_tieng_phap suite24_posthoc_blend 2693 43 0.015967 0.121700 0.749785 0.015718 0.021913 0.034579 0.018612 0.048327 0.302326 0.083333 0.147392 0.039604 0.372093 0.071588 0.138889 0.035250 0.441860 0.065292 0.133615 0.034175 0.534884 0.064246 0.136095 3 khoa_tieng_phap suite24_safe_scale 2693 43 0.015967 0.127895 0.734015 0.017539 0.034070 0.047913 0.031945 0.048327 0.302326 0.083333 0.147392 0.037129 0.348837 0.067114 0.130208 0.035250 0.441860 0.065292 0.133615 0.031204 0.488372 0.058659 0.124260 3 khoa_tieng_phap suite24_structural_residual 2693 43 0.015967 0.096280 0.693348 0.021265 0.049878 0.065845 0.049878 0.048327 0.302326 0.083333 0.147392 0.034653 0.325581 0.062640 0.121528 0.031540 0.395349 0.058419 0.119550 0.028232 0.441860 0.053073 0.112426 ============================================================================================================================================================================ SUITE24 TARGET FOLD 4 ============================================================================================================================================================================ [DATA] history=376,999 fail=7,598 (2.02%) train=254,508 validation=122,491 target=41,376 fail=1,100 (2.66%) [EVIDENCE CACHE] history... [EVIDENCE CACHE] 25,000/376,999 [EVIDENCE CACHE] 50,000/376,999 [EVIDENCE CACHE] 75,000/376,999 [EVIDENCE CACHE] 100,000/376,999 [EVIDENCE CACHE] 125,000/376,999 [EVIDENCE CACHE] 150,000/376,999 [EVIDENCE CACHE] 175,000/376,999 [EVIDENCE CACHE] 200,000/376,999 [EVIDENCE CACHE] 225,000/376,999 [EVIDENCE CACHE] 250,000/376,999 [EVIDENCE CACHE] 275,000/376,999 [EVIDENCE CACHE] 300,000/376,999 [EVIDENCE CACHE] 325,000/376,999 [EVIDENCE CACHE] 350,000/376,999 [EVIDENCE CACHE] 375,000/376,999 [EVIDENCE CACHE] target... [EVIDENCE CACHE] 25,000/41,376 FOLD 4 SUITE24 EVIDENCE SUPPORT — TARGET -------------------------------------------------------------------------------- faculty rows prevalence history_courses_mean structural_courses_mean related_history_mean same_course_history_mean failed_history_mean direct_structural_mean history_zero_rate structural_zero_rate khoa_cong_nghe_thong_tin 5072 0.048107 15.397674 1.704653 0.467863 0.104495 2.059937 1.022674 0.0 0.368297 khoa_quan_tri_kinh_doanh_va_du_lich 6440 0.037422 15.350466 4.633696 0.877174 0.105280 2.017081 3.052950 0.0 0.060714 khoa_quoc_te_hoc 2202 0.015895 15.543597 4.594005 1.099001 0.063124 1.319709 3.815622 0.0 0.126249 khoa_tieng_anh 6636 0.010247 14.352923 3.233424 1.418776 0.023960 2.345238 2.741109 0.0 0.368143 khoa_tieng_bo_dao_nha 869 0.073648 15.910242 1.700806 0.681243 0.153049 2.730725 0.998849 0.0 0.317606 khoa_tieng_duc 1746 0.025200 15.915808 0.615120 0.206186 0.097365 1.611684 0.410653 0.0 0.800115 khoa_tieng_han_quoc 3351 0.011340 15.956132 1.201731 0.395404 0.032528 0.601611 0.681289 0.0 0.527305 khoa_tieng_italia 1795 0.018942 15.842340 1.793315 0.635655 0.098050 1.719220 1.197772 0.0 0.323120 khoa_tieng_nga 1659 0.068716 15.869801 2.091621 0.699216 0.077155 1.612417 1.069922 0.0 0.276673 khoa_tieng_nhat 2413 0.015748 15.955657 2.458765 0.886448 0.035640 0.753005 1.344799 0.0 0.213013 khoa_tieng_phap 2275 0.008352 15.929231 2.974066 0.689670 0.044835 0.905495 2.131429 0.0 0.166154 khoa_tieng_tay_ban_nha 1306 0.029862 15.945636 4.101838 1.079632 0.063553 1.633231 3.038285 0.0 0.077335 khoa_tieng_trung_quoc 5107 0.020364 15.191110 1.455649 0.468181 0.018014 0.632857 0.895242 0.0 0.477971 khoa_viet_nam_hoc 505 0.035644 14.322772 0.128713 0.003960 0.073267 0.897030 0.120792 0.0 0.958416 [CHRONOLOGY AUDIT] violations=0 / 418,375 | strict historical interaction semester < query semester ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_history_residual] [SELECT HISTORY] epoch=01/10 loss=0.14968 macroAP=0.3245 F2@20=0.3095 Brier=0.0216 corr=0.2869 gate=0.5000 best=01 [SELECT HISTORY] epoch=02/10 loss=0.13978 macroAP=0.3206 F2@20=0.3057 Brier=0.0215 corr=0.3599 gate=0.5000 best=01 [SELECT HISTORY] epoch=03/10 loss=0.13293 macroAP=0.3173 F2@20=0.3013 Brier=0.0222 corr=0.3777 gate=0.5000 best=01 [SELECT HISTORY] epoch=04/10 loss=0.12737 macroAP=0.3120 F2@20=0.3024 Brier=0.0221 corr=0.4012 gate=0.5000 best=01 [SELECT HISTORY] epoch=05/10 loss=0.12708 macroAP=0.3180 F2@20=0.3060 Brier=0.0218 corr=0.4181 gate=0.5000 best=01 [REFIT HISTORY] epoch=01/1 loss=0.15901 corr=0.2569 [VARIANT suite24_history_residual] selected_epochs=1 target macroAP=0.4376 ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_structural_residual] [SELECT STRUCTURAL] epoch=01/10 loss=0.14945 macroAP=0.3230 F2@20=0.3045 Brier=0.0219 corr=0.4082 gate=0.8342 best=01 [SELECT STRUCTURAL] epoch=02/10 loss=0.13468 macroAP=0.3158 F2@20=0.3080 Brier=0.0222 corr=0.5254 gate=0.8346 best=01 [SELECT STRUCTURAL] epoch=03/10 loss=0.12970 macroAP=0.3067 F2@20=0.3040 Brier=0.0226 corr=0.5454 gate=0.8363 best=01 [SELECT STRUCTURAL] epoch=04/10 loss=0.12290 macroAP=0.3069 F2@20=0.3049 Brier=0.0230 corr=0.5734 gate=0.8346 best=01 [SELECT STRUCTURAL] epoch=05/10 loss=0.11833 macroAP=0.3083 F2@20=0.3044 Brier=0.0227 corr=0.5919 gate=0.8352 best=01 [REFIT STRUCTURAL] epoch=01/1 loss=0.15734 corr=0.3120 [VARIANT suite24_structural_residual] selected_epochs=1 target macroAP=0.4336 ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_evidence_residual] [SELECT EVIDENCE] epoch=01/10 loss=0.15428 macroAP=0.3255 F2@20=0.3082 Brier=0.0214 corr=0.1527 gate=0.3216 best=01 [SELECT EVIDENCE] epoch=02/10 loss=0.14239 macroAP=0.3241 F2@20=0.3085 Brier=0.0216 corr=0.2393 gate=0.3660 best=01 [SELECT EVIDENCE] epoch=03/10 loss=0.13677 macroAP=0.3243 F2@20=0.3083 Brier=0.0215 corr=0.3095 gate=0.4108 best=01 [SELECT EVIDENCE] epoch=04/10 loss=0.13340 macroAP=0.3189 F2@20=0.3073 Brier=0.0215 corr=0.3795 gate=0.4512 best=01 [SELECT EVIDENCE] epoch=05/10 loss=0.13139 macroAP=0.3214 F2@20=0.3078 Brier=0.0216 corr=0.4400 gate=0.4914 best=01 [REFIT EVIDENCE] epoch=01/1 loss=0.15505 corr=0.1376 [VARIANT suite24_evidence_residual] selected_epochs=1 target macroAP=0.4325 [SAFE SCALE] selected lambda=0.50 policyAP=0.3070 policyF2=0.3158 [POSTHOC BLEND ABLATION] selected alpha=0.50 policyAP=0.3112 SUITE24 TARGET FOLD 4 — NEW + AVAILABLE REFERENCE RESULTS -------------------------------------------------------------------------------- fold faculty model rows failures prevalence ap auc brier ece10 mean_score calibration_gap precision_at_10 recall_at_10 f1_at_10 fbeta_at_10 precision_at_15 recall_at_15 f1_at_15 fbeta_at_15 precision_at_20 recall_at_20 f1_at_20 fbeta_at_20 precision_at_25 recall_at_25 f1_at_25 fbeta_at_25 4 khoa_cong_nghe_thong_tin committee 5072 244 0.048107 0.378777 0.887995 0.037427 0.017945 0.056748 0.008641 0.287968 0.598361 0.388815 0.492245 0.235217 0.733607 0.356219 0.515256 0.189349 0.786885 0.305246 0.482412 0.162461 0.844262 0.272487 0.459002 4 khoa_cong_nghe_thong_tin council 5072 244 0.048107 0.414418 0.903728 0.036559 0.023658 0.070543 0.022436 0.311637 0.647541 0.420772 0.532704 0.237845 0.741803 0.360199 0.521013 0.198225 0.823770 0.319555 0.505025 0.167192 0.868852 0.280423 0.472371 4 khoa_cong_nghe_thong_tin suite14 5072 244 0.048107 0.378777 0.887995 0.037427 0.017945 0.056748 0.008641 0.287968 0.598361 0.388815 0.492245 0.235217 0.733607 0.356219 0.515256 0.189349 0.786885 0.305246 0.482412 0.162461 0.844262 0.272487 0.459002 4 khoa_cong_nghe_thong_tin suite16 5072 244 0.048107 0.385248 0.893210 0.045897 0.060652 0.108760 0.060652 0.291913 0.606557 0.394141 0.498989 0.235217 0.733607 0.356219 0.515256 0.196252 0.815574 0.316375 0.500000 0.164038 0.852459 0.275132 0.463458 4 khoa_cong_nghe_thong_tin suite17 5072 244 0.048107 0.387517 0.895507 0.036382 0.016993 0.060573 0.012466 0.295858 0.614754 0.399467 0.505732 0.235217 0.733607 0.356219 0.515256 0.198225 0.823770 0.319555 0.505025 0.165615 0.860656 0.277778 0.467914 4 khoa_cong_nghe_thong_tin suite18 5072 244 0.048107 0.388248 0.896229 0.036372 0.014992 0.060887 0.012780 0.295858 0.614754 0.399467 0.505732 0.233903 0.729508 0.354229 0.512378 0.196252 0.815574 0.316375 0.500000 0.163249 0.848361 0.273810 0.461230 4 khoa_cong_nghe_thong_tin suite20 5072 244 0.048107 0.296976 0.861361 0.095693 0.149447 0.197554 0.149447 0.260355 0.540984 0.351531 0.445044 0.207622 0.647541 0.314428 0.454807 0.168639 0.700820 0.271860 0.429648 0.145899 0.758197 0.244709 0.412210 4 khoa_cong_nghe_thong_tin suite21 5072 244 0.048107 0.388536 0.893152 0.036970 0.012038 0.055940 0.007833 0.287968 0.598361 0.388815 0.492245 0.228647 0.713115 0.346269 0.500864 0.190335 0.790984 0.306836 0.484925 0.163249 0.848361 0.273810 0.461230 4 khoa_cong_nghe_thong_tin suite22 5072 244 0.048107 0.399243 0.897276 0.036307 0.016298 0.051045 0.002938 0.305720 0.635246 0.412783 0.522589 0.239159 0.745902 0.362189 0.523892 0.194280 0.807377 0.313196 0.494975 0.164038 0.852459 0.275132 0.463458 4 khoa_cong_nghe_thong_tin suite22_primary 5072 244 0.048107 0.378661 0.881782 0.036795 0.004919 0.044225 -0.003882 0.285996 0.594262 0.386152 0.488874 0.218134 0.680328 0.330348 0.477835 0.179487 0.745902 0.289348 0.457286 0.157729 0.819672 0.264550 0.445633 4 khoa_cong_nghe_thong_tin suite22_relational 5072 244 0.048107 0.339791 0.860343 0.038752 0.022547 0.027585 -0.020522 0.246548 0.512295 0.332889 0.421443 0.195795 0.610656 0.296517 0.428900 0.160750 0.668033 0.259141 0.409548 0.147476 0.766393 0.247354 0.416667 4 khoa_cong_nghe_thong_tin suite23 5072 244 0.048107 0.407552 0.898207 0.036349 0.015804 0.049194 0.001087 0.299803 0.622951 0.404794 0.512475 0.231275 0.721311 0.350249 0.506621 0.192308 0.799180 0.310016 0.489950 0.163249 0.848361 0.273810 0.461230 4 khoa_cong_nghe_thong_tin suite23_graph 5072 244 0.048107 0.342413 0.866389 0.038784 0.016898 0.049016 0.000909 0.266272 0.553279 0.359521 0.455158 0.212878 0.663934 0.322388 0.466321 0.172584 0.717213 0.278219 0.439698 0.150631 0.782787 0.252646 0.425579 4 khoa_cong_nghe_thong_tin suite24_evidence_residual 5072 244 0.048107 0.380217 0.889591 0.037151 0.009468 0.046878 -0.001229 0.291913 0.606557 0.394141 0.498989 0.233903 0.729508 0.354229 0.512378 0.193294 0.803279 0.311606 0.492462 0.167192 0.868852 0.280423 0.472371 4 khoa_cong_nghe_thong_tin suite24_graph_standalone 5072 244 0.048107 0.291444 0.842106 0.039849 0.006981 0.041126 -0.006981 0.240631 0.500000 0.324900 0.411328 0.191853 0.598361 0.290547 0.420265 0.158777 0.659836 0.255962 0.404523 0.145110 0.754098 0.243386 0.409982 4 khoa_cong_nghe_thong_tin suite24_history_residual 5072 244 0.048107 0.393973 0.893525 0.036571 0.009007 0.045041 -0.003066 0.297830 0.618852 0.402130 0.509103 0.235217 0.733607 0.356219 0.515256 0.192308 0.799180 0.310016 0.489950 0.166404 0.864754 0.279101 0.470143 4 khoa_cong_nghe_thong_tin suite24_posthoc_blend 5072 244 0.048107 0.387963 0.890068 0.036884 0.008792 0.044235 -0.003873 0.280079 0.581967 0.378162 0.478759 0.227332 0.709016 0.344279 0.497985 0.189349 0.786885 0.305246 0.482412 0.163249 0.848361 0.273810 0.461230 4 khoa_cong_nghe_thong_tin suite24_safe_scale 5072 244 0.048107 0.380435 0.890058 0.037134 0.011824 0.049606 0.001499 0.291913 0.606557 0.394141 0.498989 0.236531 0.737705 0.358209 0.518135 0.189349 0.786885 0.305246 0.482412 0.163249 0.848361 0.273810 0.461230 4 khoa_cong_nghe_thong_tin suite24_structural_residual 5072 244 0.048107 0.397270 0.893100 0.036390 0.008424 0.050451 0.002344 0.299803 0.622951 0.404794 0.512475 0.231275 0.721311 0.350249 0.506621 0.196252 0.815574 0.316375 0.500000 0.166404 0.864754 0.279101 0.470143 4 khoa_cong_nghe_thong_tin v2 5072 244 0.048107 0.393242 0.892005 0.088444 0.168180 0.216287 0.168180 0.293886 0.610656 0.396804 0.502360 0.227332 0.709016 0.344279 0.497985 0.189349 0.786885 0.305246 0.482412 0.160883 0.836066 0.269841 0.454545 4 khoa_quan_tri_kinh_doanh_va_du_lich committee 6440 241 0.037422 0.432508 0.920474 0.027709 0.021085 0.058019 0.020596 0.271739 0.726141 0.395480 0.544154 0.201863 0.809129 0.323115 0.505181 0.163043 0.871369 0.274689 0.466252 0.133540 0.892116 0.232307 0.417638 4 khoa_quan_tri_kinh_doanh_va_du_lich suite14 6440 241 0.037422 0.432508 0.920474 0.027709 0.021085 0.058019 0.020596 0.271739 0.726141 0.395480 0.544154 0.201863 0.809129 0.323115 0.505181 0.163043 0.871369 0.274689 0.466252 0.133540 0.892116 0.232307 0.417638 4 khoa_quan_tri_kinh_doanh_va_du_lich suite16 6440 241 0.037422 0.442292 0.927777 0.042402 0.078336 0.115759 0.078336 0.277950 0.742739 0.404520 0.556592 0.208075 0.834025 0.333057 0.520725 0.164596 0.879668 0.277305 0.470693 0.137267 0.917012 0.238790 0.429293 4 khoa_quan_tri_kinh_doanh_va_du_lich suite17 6440 241 0.037422 0.443585 0.929220 0.028190 0.026084 0.062501 0.025079 0.282609 0.755187 0.411299 0.565920 0.207039 0.829876 0.331400 0.518135 0.163043 0.871369 0.274689 0.466252 0.134783 0.900415 0.234468 0.421523 4 khoa_quan_tri_kinh_doanh_va_du_lich suite18 6440 241 0.037422 0.443761 0.929665 0.028241 0.027026 0.062986 0.025564 0.282609 0.755187 0.411299 0.565920 0.207039 0.829876 0.331400 0.518135 0.163043 0.871369 0.274689 0.466252 0.136025 0.908714 0.236629 0.425408 4 khoa_quan_tri_kinh_doanh_va_du_lich suite20 6440 241 0.037422 0.269802 0.897731 0.106162 0.162863 0.200286 0.162863 0.226708 0.605809 0.329944 0.453980 0.174948 0.701245 0.280033 0.437824 0.145186 0.775934 0.244604 0.415187 0.129193 0.863071 0.224743 0.404040 4 khoa_quan_tri_kinh_doanh_va_du_lich suite21 6440 241 0.037422 0.438791 0.925347 0.027500 0.020974 0.058020 0.020598 0.273292 0.730290 0.397740 0.547264 0.207039 0.829876 0.331400 0.518135 0.164596 0.879668 0.277305 0.470693 0.135404 0.904564 0.235548 0.423465 4 khoa_quan_tri_kinh_doanh_va_du_lich suite22 6440 241 0.037422 0.456000 0.930370 0.026676 0.015946 0.052899 0.015477 0.282609 0.755187 0.411299 0.565920 0.208075 0.834025 0.333057 0.520725 0.164596 0.879668 0.277305 0.470693 0.137888 0.921162 0.239870 0.431235 4 khoa_quan_tri_kinh_doanh_va_du_lich suite22_primary 6440 241 0.037422 0.407717 0.933004 0.028158 0.012083 0.049506 0.012083 0.273292 0.730290 0.397740 0.547264 0.203934 0.817427 0.326429 0.510363 0.163820 0.875519 0.275997 0.468472 0.137888 0.921162 0.239870 0.431235 4 khoa_quan_tri_kinh_doanh_va_du_lich suite22_relational 6440 241 0.037422 0.382417 0.929036 0.031323 0.024484 0.061906 0.024484 0.263975 0.705394 0.384181 0.528607 0.203934 0.817427 0.326429 0.510363 0.165373 0.883817 0.278613 0.472913 0.137888 0.921162 0.239870 0.431235 4 khoa_quan_tri_kinh_doanh_va_du_lich suite23 6440 241 0.037422 0.491526 0.939974 0.026477 0.018636 0.041056 0.003634 0.288820 0.771784 0.420339 0.578358 0.212215 0.850622 0.339685 0.531088 0.168478 0.900415 0.283846 0.481794 0.140373 0.937759 0.244192 0.439005 4 khoa_quan_tri_kinh_doanh_va_du_lich suite23_graph 6440 241 0.037422 0.428389 0.930343 0.028980 0.015252 0.033992 -0.003430 0.263975 0.705394 0.384181 0.528607 0.207039 0.829876 0.331400 0.518135 0.164596 0.879668 0.277305 0.470693 0.138509 0.925311 0.240951 0.433178 4 khoa_quan_tri_kinh_doanh_va_du_lich suite24_evidence_residual 6440 241 0.037422 0.442857 0.928442 0.026680 0.011726 0.046251 0.008829 0.276398 0.738589 0.402260 0.553483 0.203934 0.817427 0.326429 0.510363 0.164596 0.879668 0.277305 0.470693 0.137267 0.917012 0.238790 0.429293 4 khoa_quan_tri_kinh_doanh_va_du_lich suite24_graph_standalone 6440 241 0.037422 0.341076 0.912181 0.029519 0.010995 0.039235 0.001813 0.246894 0.659751 0.359322 0.494403 0.191511 0.767635 0.306545 0.479275 0.159938 0.854772 0.269457 0.457371 0.134783 0.900415 0.234468 0.421523 4 khoa_quan_tri_kinh_doanh_va_du_lich suite24_history_residual 6440 241 0.037422 0.451056 0.930599 0.026422 0.010566 0.047497 0.010074 0.277950 0.742739 0.404520 0.556592 0.206004 0.825726 0.329743 0.515544 0.166925 0.892116 0.281230 0.477353 0.137888 0.921162 0.239870 0.431235 4 khoa_quan_tri_kinh_doanh_va_du_lich suite24_posthoc_blend 6440 241 0.037422 0.457135 0.936060 0.026759 0.016417 0.042641 0.005219 0.282609 0.755187 0.411299 0.565920 0.210145 0.842324 0.336371 0.525907 0.166149 0.887967 0.279922 0.475133 0.137267 0.917012 0.238790 0.429293 4 khoa_quan_tri_kinh_doanh_va_du_lich suite24_safe_scale 6440 241 0.037422 0.442389 0.925660 0.026825 0.014184 0.049769 0.012347 0.281056 0.751037 0.409040 0.562811 0.203934 0.817427 0.326429 0.510363 0.162267 0.867220 0.273381 0.464032 0.135404 0.904564 0.235548 0.423465 4 khoa_quan_tri_kinh_doanh_va_du_lich suite24_structural_residual 6440 241 0.037422 0.448776 0.928789 0.026855 0.015054 0.052476 0.015054 0.265528 0.709544 0.386441 0.531716 0.204969 0.821577 0.328086 0.512953 0.166149 0.887967 0.279922 0.475133 0.137888 0.921162 0.239870 0.431235 4 khoa_quoc_te_hoc committee 2202 35 0.015895 0.097129 0.880691 0.016323 0.009167 0.025061 0.009167 0.081818 0.514286 0.141176 0.250000 0.066667 0.628571 0.120548 0.234043 0.065909 0.828571 0.122105 0.250000 0.054545 0.857143 0.102564 0.217391 4 khoa_quoc_te_hoc suite14 2202 35 0.015895 0.097129 0.880691 0.016323 0.009167 0.025061 0.009167 0.081818 0.514286 0.141176 0.250000 0.066667 0.628571 0.120548 0.234043 0.065909 0.828571 0.122105 0.250000 0.054545 0.857143 0.102564 0.217391 4 khoa_quoc_te_hoc suite16 2202 35 0.015895 0.105504 0.879161 0.022624 0.037741 0.053635 0.037741 0.072727 0.457143 0.125490 0.222222 0.069697 0.657143 0.126027 0.244681 0.063636 0.800000 0.117895 0.241379 0.054545 0.857143 0.102564 0.217391 4 khoa_quoc_te_hoc suite17 2202 35 0.015895 0.101694 0.890553 0.016091 0.011415 0.027310 0.011415 0.081818 0.514286 0.141176 0.250000 0.078788 0.742857 0.142466 0.276596 0.063636 0.800000 0.117895 0.241379 0.058182 0.914286 0.109402 0.231884 4 khoa_quoc_te_hoc suite18 2202 35 0.015895 0.097812 0.883723 0.016301 0.011726 0.027620 0.011726 0.086364 0.542857 0.149020 0.263889 0.072727 0.685714 0.131507 0.255319 0.059091 0.742857 0.109474 0.224138 0.056364 0.885714 0.105983 0.224638 4 khoa_quoc_te_hoc suite20 2202 35 0.015895 0.100794 0.882458 0.164017 0.222128 0.238022 0.222128 0.090909 0.571429 0.156863 0.277778 0.069697 0.657143 0.126027 0.244681 0.063636 0.800000 0.117895 0.241379 0.052727 0.828571 0.099145 0.210145 4 khoa_quoc_te_hoc suite21 2202 35 0.015895 0.097628 0.890883 0.017242 0.011164 0.027059 0.011164 0.090909 0.571429 0.156863 0.277778 0.072727 0.685714 0.131507 0.255319 0.068182 0.857143 0.126316 0.258621 0.056364 0.885714 0.105983 0.224638 4 khoa_quoc_te_hoc suite22 2202 35 0.015895 0.107635 0.889037 0.015877 0.005750 0.021363 0.005469 0.086364 0.542857 0.149020 0.263889 0.072727 0.685714 0.131507 0.255319 0.063636 0.800000 0.117895 0.241379 0.058182 0.914286 0.109402 0.231884 4 khoa_quoc_te_hoc suite22_primary 2202 35 0.015895 0.100975 0.870407 0.016903 0.009130 0.019408 0.003513 0.086364 0.542857 0.149020 0.263889 0.066667 0.628571 0.120548 0.234043 0.054545 0.685714 0.101053 0.206897 0.047273 0.742857 0.088889 0.188406 4 khoa_quoc_te_hoc suite22_relational 2202 35 0.015895 0.090497 0.855864 0.018111 0.011443 0.023820 0.007925 0.081818 0.514286 0.141176 0.250000 0.060606 0.571429 0.109589 0.212766 0.052273 0.657143 0.096842 0.198276 0.043636 0.685714 0.082051 0.173913 4 khoa_quoc_te_hoc suite23 2202 35 0.015895 0.097129 0.880691 0.016323 0.009167 0.025061 0.009167 0.081818 0.514286 0.141176 0.250000 0.066667 0.628571 0.120548 0.234043 0.065909 0.828571 0.122105 0.250000 0.054545 0.857143 0.102564 0.217391 4 khoa_quoc_te_hoc suite23_graph 2202 35 0.015895 0.106832 0.823561 0.015253 0.011438 0.027210 0.011315 0.081818 0.514286 0.141176 0.250000 0.069697 0.657143 0.126027 0.244681 0.054545 0.685714 0.101053 0.206897 0.047273 0.742857 0.088889 0.188406 4 khoa_quoc_te_hoc suite24_evidence_residual 2202 35 0.015895 0.103266 0.886097 0.016067 0.006129 0.022024 0.006129 0.081818 0.514286 0.141176 0.250000 0.075758 0.714286 0.136986 0.265957 0.063636 0.800000 0.117895 0.241379 0.054545 0.857143 0.102564 0.217391 4 khoa_quoc_te_hoc suite24_graph_standalone 2202 35 0.015895 0.075107 0.814371 0.015933 0.009125 0.025019 0.009125 0.090909 0.571429 0.156863 0.277778 0.066667 0.628571 0.120548 0.234043 0.052273 0.657143 0.096842 0.198276 0.045455 0.714286 0.085470 0.181159 4 khoa_quoc_te_hoc suite24_history_residual 2202 35 0.015895 0.108265 0.893361 0.016437 0.008121 0.023635 0.007740 0.090909 0.571429 0.156863 0.277778 0.069697 0.657143 0.126027 0.244681 0.063636 0.800000 0.117895 0.241379 0.060000 0.942857 0.112821 0.239130 4 khoa_quoc_te_hoc suite24_posthoc_blend 2202 35 0.015895 0.099057 0.881508 0.015337 0.005810 0.021705 0.005810 0.090909 0.571429 0.156863 0.277778 0.066667 0.628571 0.120548 0.234043 0.059091 0.742857 0.109474 0.224138 0.052727 0.828571 0.099145 0.210145 4 khoa_quoc_te_hoc suite24_safe_scale 2202 35 0.015895 0.100879 0.885332 0.016082 0.007195 0.022364 0.006469 0.077273 0.485714 0.133333 0.236111 0.075758 0.714286 0.136986 0.265957 0.065909 0.828571 0.122105 0.250000 0.054545 0.857143 0.102564 0.217391 4 khoa_quoc_te_hoc suite24_structural_residual 2202 35 0.015895 0.110610 0.883802 0.016261 0.010127 0.026022 0.010127 0.086364 0.542857 0.149020 0.263889 0.072727 0.685714 0.131507 0.255319 0.063636 0.800000 0.117895 0.241379 0.054545 0.857143 0.102564 0.217391 4 khoa_tieng_anh committee 6636 68 0.010247 0.449701 0.922113 0.007513 0.010167 0.018988 0.008741 0.079819 0.779412 0.144809 0.283120 0.054271 0.794118 0.101599 0.213102 0.042200 0.823529 0.080287 0.175109 0.036166 0.882353 0.069485 0.155360 4 khoa_tieng_anh suite14 6636 68 0.010247 0.484360 0.928595 0.007377 0.010686 0.020110 0.009863 0.079819 0.779412 0.144809 0.283120 0.054271 0.794118 0.101599 0.213102 0.043708 0.852941 0.083154 0.181363 0.036769 0.897059 0.070643 0.157949 4 khoa_tieng_anh suite16 6636 68 0.010247 0.417198 0.916158 0.014352 0.038411 0.048659 0.038411 0.078313 0.764706 0.142077 0.277778 0.053266 0.779412 0.099718 0.209155 0.041447 0.808824 0.078853 0.171982 0.036166 0.882353 0.069485 0.155360 4 khoa_tieng_anh suite17 6636 68 0.010247 0.456514 0.929144 0.008202 0.014501 0.021870 0.011623 0.076807 0.750000 0.139344 0.272436 0.054271 0.794118 0.101599 0.213102 0.042200 0.823529 0.080287 0.175109 0.037372 0.911765 0.071801 0.160539 4 khoa_tieng_anh suite18 6636 68 0.010247 0.459148 0.930781 0.008166 0.014378 0.021983 0.011736 0.076807 0.750000 0.139344 0.272436 0.054271 0.794118 0.101599 0.213102 0.042954 0.838235 0.081720 0.178236 0.035564 0.867647 0.068327 0.152771 4 khoa_tieng_anh suite20 6636 68 0.010247 0.381805 0.926278 0.016485 0.032988 0.043235 0.032988 0.076807 0.750000 0.139344 0.272436 0.055276 0.808824 0.103481 0.217048 0.044461 0.867647 0.084588 0.184490 0.038577 0.941176 0.074117 0.165717 4 khoa_tieng_anh suite21 6636 68 0.010247 0.460794 0.925951 0.007353 0.008698 0.017863 0.007616 0.081325 0.794118 0.147541 0.288462 0.055276 0.808824 0.103481 0.217048 0.042200 0.823529 0.080287 0.175109 0.036769 0.897059 0.070643 0.157949 4 khoa_tieng_anh suite22 6636 68 0.010247 0.490961 0.937294 0.007094 0.005994 0.013786 0.003539 0.078313 0.764706 0.142077 0.277778 0.054271 0.794118 0.101599 0.213102 0.044461 0.867647 0.084588 0.184490 0.037372 0.911765 0.071801 0.160539 4 khoa_tieng_anh suite22_primary 6636 68 0.010247 0.330010 0.947123 0.008053 0.002590 0.009276 -0.000971 0.090361 0.882353 0.163934 0.320513 0.063317 0.926471 0.118532 0.248619 0.047476 0.926471 0.090323 0.196998 0.037975 0.926471 0.072959 0.163128 4 khoa_tieng_anh suite22_relational 6636 68 0.010247 0.357815 0.937025 0.007913 0.002806 0.009900 -0.000347 0.082831 0.808824 0.150273 0.293803 0.057286 0.838235 0.107244 0.224941 0.044461 0.867647 0.084588 0.184490 0.037975 0.926471 0.072959 0.163128 4 khoa_tieng_anh suite23 6636 68 0.010247 0.495981 0.929560 0.007723 0.013107 0.020216 0.009969 0.079819 0.779412 0.144809 0.283120 0.054271 0.794118 0.101599 0.213102 0.042200 0.823529 0.080287 0.175109 0.036166 0.882353 0.069485 0.155360 4 khoa_tieng_anh suite23_graph 6636 68 0.010247 0.214202 0.899634 0.009688 0.020454 0.029531 0.019284 0.075301 0.735294 0.136612 0.267094 0.055276 0.808824 0.103481 0.217048 0.042200 0.823529 0.080287 0.175109 0.033755 0.823529 0.064852 0.145003 4 khoa_tieng_anh suite24_evidence_residual 6636 68 0.010247 0.475767 0.926153 0.007143 0.007338 0.015713 0.005465 0.079819 0.779412 0.144809 0.283120 0.054271 0.794118 0.101599 0.213102 0.041447 0.808824 0.078853 0.171982 0.037372 0.911765 0.071801 0.160539 4 khoa_tieng_anh suite24_graph_standalone 6636 68 0.010247 0.324488 0.875781 0.008603 0.012092 0.019009 0.008761 0.063253 0.617647 0.114754 0.224359 0.048241 0.705882 0.090310 0.189424 0.037679 0.735294 0.071685 0.156348 0.030741 0.750000 0.059062 0.132056 4 khoa_tieng_anh suite24_history_residual 6636 68 0.010247 0.471963 0.934421 0.007186 0.005899 0.014645 0.004397 0.078313 0.764706 0.142077 0.277778 0.054271 0.794118 0.101599 0.213102 0.041447 0.808824 0.078853 0.171982 0.037372 0.911765 0.071801 0.160539 4 khoa_tieng_anh suite24_posthoc_blend 6636 68 0.010247 0.491552 0.921650 0.007477 0.009437 0.015367 0.005120 0.078313 0.764706 0.142077 0.277778 0.055276 0.808824 0.103481 0.217048 0.042200 0.823529 0.080287 0.175109 0.034961 0.852941 0.067169 0.150181 4 khoa_tieng_anh suite24_safe_scale 6636 68 0.010247 0.469111 0.924628 0.007248 0.007977 0.016494 0.006247 0.078313 0.764706 0.142077 0.277778 0.054271 0.794118 0.101599 0.213102 0.041447 0.808824 0.078853 0.171982 0.036166 0.882353 0.069485 0.155360 4 khoa_tieng_anh suite24_structural_residual 6636 68 0.010247 0.487884 0.931045 0.007329 0.009929 0.018116 0.007869 0.079819 0.779412 0.144809 0.283120 0.055276 0.808824 0.103481 0.217048 0.042954 0.838235 0.081720 0.178236 0.037975 0.926471 0.072959 0.163128 4 khoa_tieng_bo_dao_nha committee 869 64 0.073648 0.656224 0.958521 0.037391 0.021204 0.074782 0.001134 0.574713 0.781250 0.662252 0.728863 0.438462 0.890625 0.587629 0.738342 0.344828 0.937500 0.504202 0.697674 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite14 869 64 0.073648 0.656224 0.958521 0.037391 0.021204 0.074782 0.001134 0.574713 0.781250 0.662252 0.728863 0.438462 0.890625 0.587629 0.738342 0.344828 0.937500 0.504202 0.697674 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite16 869 64 0.073648 0.643426 0.960637 0.043323 0.052213 0.125861 0.052213 0.586207 0.796875 0.675497 0.743440 0.438462 0.890625 0.587629 0.738342 0.356322 0.968750 0.521008 0.720930 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite17 869 64 0.073648 0.657468 0.961607 0.039466 0.032287 0.074429 0.000781 0.586207 0.796875 0.675497 0.743440 0.438462 0.890625 0.587629 0.738342 0.344828 0.937500 0.504202 0.697674 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite18 869 64 0.073648 0.657732 0.961762 0.039377 0.031976 0.074678 0.001030 0.574713 0.781250 0.662252 0.728863 0.438462 0.890625 0.587629 0.738342 0.344828 0.937500 0.504202 0.697674 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite20 869 64 0.073648 0.410617 0.911258 0.127290 0.155506 0.229154 0.155506 0.356322 0.484375 0.410596 0.451895 0.384615 0.781250 0.515464 0.647668 0.310345 0.843750 0.453782 0.627907 0.253456 0.859375 0.391459 0.581395 4 khoa_tieng_bo_dao_nha suite21 869 64 0.073648 0.660654 0.960578 0.037231 0.021642 0.077528 0.003880 0.563218 0.765625 0.649007 0.714286 0.446154 0.906250 0.597938 0.751295 0.356322 0.968750 0.521008 0.720930 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite22 869 64 0.073648 0.645344 0.956483 0.039321 0.019242 0.063078 -0.010570 0.540230 0.734375 0.622517 0.685131 0.423077 0.859375 0.567010 0.712435 0.339080 0.921875 0.495798 0.686047 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite22_primary 869 64 0.073648 0.458059 0.919973 0.052553 0.034537 0.051706 -0.021942 0.471264 0.640625 0.543046 0.597668 0.369231 0.750000 0.494845 0.621762 0.310345 0.843750 0.453782 0.627907 0.267281 0.906250 0.412811 0.613108 4 khoa_tieng_bo_dao_nha suite22_relational 869 64 0.073648 0.361754 0.919759 0.054638 0.029768 0.065166 -0.008481 0.402299 0.546875 0.463576 0.510204 0.376923 0.765625 0.505155 0.634715 0.327586 0.890625 0.478992 0.662791 0.267281 0.906250 0.412811 0.613108 4 khoa_tieng_bo_dao_nha suite23 869 64 0.073648 0.656224 0.958521 0.037391 0.021204 0.074782 0.001134 0.574713 0.781250 0.662252 0.728863 0.438462 0.890625 0.587629 0.738342 0.344828 0.937500 0.504202 0.697674 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite23_graph 869 64 0.073648 0.513767 0.936297 0.052712 0.030949 0.044714 -0.028934 0.505747 0.687500 0.582781 0.641399 0.392308 0.796875 0.525773 0.660622 0.339080 0.921875 0.495798 0.686047 0.281106 0.953125 0.434164 0.644820 4 khoa_tieng_bo_dao_nha suite24_evidence_residual 869 64 0.073648 0.694238 0.966149 0.035531 0.031774 0.066476 -0.007172 0.574713 0.781250 0.662252 0.728863 0.461538 0.937500 0.618557 0.777202 0.350575 0.953125 0.512605 0.709302 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite24_graph_standalone 869 64 0.073648 0.516138 0.932570 0.051314 0.019815 0.053833 -0.019815 0.459770 0.625000 0.529801 0.583090 0.369231 0.750000 0.494845 0.621762 0.310345 0.843750 0.453782 0.627907 0.281106 0.953125 0.434164 0.644820 4 khoa_tieng_bo_dao_nha suite24_history_residual 869 64 0.073648 0.669769 0.960384 0.037002 0.026661 0.065084 -0.008563 0.563218 0.765625 0.649007 0.714286 0.453846 0.921875 0.608247 0.764249 0.350575 0.953125 0.512605 0.709302 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite24_posthoc_blend 869 64 0.073648 0.664871 0.964557 0.041870 0.036199 0.059199 -0.014448 0.586207 0.796875 0.675497 0.743440 0.438462 0.890625 0.587629 0.738342 0.350575 0.953125 0.512605 0.709302 0.290323 0.984375 0.448399 0.665962 4 khoa_tieng_bo_dao_nha suite24_safe_scale 869 64 0.073648 0.679231 0.963373 0.036198 0.028109 0.068859 -0.004789 0.574713 0.781250 0.662252 0.728863 0.453846 0.921875 0.608247 0.764249 0.350575 0.953125 0.512605 0.709302 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite24_structural_residual 869 64 0.073648 0.677563 0.962966 0.036383 0.028018 0.071930 -0.001718 0.574713 0.781250 0.662252 0.728863 0.461538 0.937500 0.618557 0.777202 0.350575 0.953125 0.512605 0.709302 0.281106 0.953125 0.434164 0.644820 4 khoa_tieng_duc committee 1746 44 0.025200 0.446284 0.919733 0.020084 0.019022 0.043253 0.018052 0.182857 0.727273 0.292237 0.455840 0.148855 0.886364 0.254902 0.445205 0.111748 0.886364 0.198473 0.371429 0.089450 0.886364 0.162500 0.318627 4 khoa_tieng_duc suite14 1746 44 0.025200 0.466902 0.933020 0.021339 0.020418 0.045619 0.020418 0.205714 0.818182 0.328767 0.512821 0.145038 0.863636 0.248366 0.433790 0.111748 0.886364 0.198473 0.371429 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite16 1746 44 0.025200 0.439311 0.928413 0.030231 0.045144 0.070344 0.045144 0.194286 0.772727 0.310502 0.484330 0.148855 0.886364 0.254902 0.445205 0.111748 0.886364 0.198473 0.371429 0.089450 0.886364 0.162500 0.318627 4 khoa_tieng_duc suite17 1746 44 0.025200 0.425388 0.935170 0.020904 0.021880 0.045503 0.020302 0.194286 0.772727 0.310502 0.484330 0.148855 0.886364 0.254902 0.445205 0.117479 0.931818 0.208651 0.390476 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite18 1746 44 0.025200 0.423159 0.934756 0.021034 0.022055 0.045665 0.020464 0.188571 0.750000 0.301370 0.470085 0.148855 0.886364 0.254902 0.445205 0.117479 0.931818 0.208651 0.390476 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite20 1746 44 0.025200 0.274165 0.915500 0.091424 0.122784 0.147985 0.122784 0.160000 0.636364 0.255708 0.398860 0.133588 0.795455 0.228758 0.399543 0.108883 0.863636 0.193384 0.361905 0.087156 0.863636 0.158333 0.310458 4 khoa_tieng_duc suite21 1746 44 0.025200 0.465899 0.922538 0.020334 0.021864 0.045442 0.020241 0.188571 0.750000 0.301370 0.470085 0.148855 0.886364 0.254902 0.445205 0.111748 0.886364 0.198473 0.371429 0.089450 0.886364 0.162500 0.318627 4 khoa_tieng_duc suite22 1746 44 0.025200 0.457867 0.933140 0.018134 0.011121 0.034059 0.008859 0.200000 0.795455 0.319635 0.498575 0.148855 0.886364 0.254902 0.445205 0.111748 0.886364 0.198473 0.371429 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite22_primary 1746 44 0.025200 0.406232 0.927345 0.018854 0.004770 0.022969 -0.002231 0.177143 0.704545 0.283105 0.441595 0.133588 0.795455 0.228758 0.399543 0.111748 0.886364 0.198473 0.371429 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite22_relational 1746 44 0.025200 0.270080 0.919026 0.021227 0.008489 0.021333 -0.003868 0.182857 0.727273 0.292237 0.455840 0.137405 0.818182 0.235294 0.410959 0.106017 0.840909 0.188295 0.352381 0.089450 0.886364 0.162500 0.318627 4 khoa_tieng_duc suite23 1746 44 0.025200 0.472304 0.932539 0.018043 0.014273 0.033656 0.008456 0.205714 0.818182 0.328767 0.512821 0.145038 0.863636 0.248366 0.433790 0.111748 0.886364 0.198473 0.371429 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite23_graph 1746 44 0.025200 0.314679 0.918625 0.020828 0.013131 0.032924 0.007724 0.182857 0.727273 0.292237 0.455840 0.129771 0.772727 0.222222 0.388128 0.108883 0.863636 0.193384 0.361905 0.089450 0.886364 0.162500 0.318627 4 khoa_tieng_duc suite24_evidence_residual 1746 44 0.025200 0.426557 0.925115 0.020046 0.016357 0.040076 0.014876 0.182857 0.727273 0.292237 0.455840 0.148855 0.886364 0.254902 0.445205 0.111748 0.886364 0.198473 0.371429 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite24_graph_standalone 1746 44 0.025200 0.349015 0.933367 0.020637 0.011788 0.029761 0.004561 0.205714 0.818182 0.328767 0.512821 0.137405 0.818182 0.235294 0.410959 0.111748 0.886364 0.198473 0.371429 0.091743 0.909091 0.166667 0.326797 4 khoa_tieng_duc suite24_history_residual 1746 44 0.025200 0.432352 0.929575 0.019369 0.013619 0.037964 0.012763 0.188571 0.750000 0.301370 0.470085 0.148855 0.886364 0.254902 0.445205 0.114613 0.909091 0.203562 0.380952 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite24_posthoc_blend 1746 44 0.025200 0.428744 0.941980 0.018543 0.009602 0.032518 0.007318 0.200000 0.795455 0.319635 0.498575 0.152672 0.909091 0.261438 0.456621 0.117479 0.931818 0.208651 0.390476 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite24_safe_scale 1746 44 0.025200 0.439112 0.922377 0.019864 0.016730 0.040470 0.015269 0.182857 0.727273 0.292237 0.455840 0.148855 0.886364 0.254902 0.445205 0.111748 0.886364 0.198473 0.371429 0.089450 0.886364 0.162500 0.318627 4 khoa_tieng_duc suite24_structural_residual 1746 44 0.025200 0.419152 0.919493 0.020024 0.015984 0.040111 0.014910 0.182857 0.727273 0.292237 0.455840 0.145038 0.863636 0.248366 0.433790 0.111748 0.886364 0.198473 0.371429 0.089450 0.886364 0.162500 0.318627 4 khoa_tieng_han_quoc committee 3351 38 0.011340 0.439642 0.957377 0.008367 0.006205 0.016604 0.005264 0.095522 0.842105 0.171582 0.328542 0.065606 0.868421 0.121996 0.251908 0.052239 0.921053 0.098870 0.212895 0.044153 0.973684 0.084475 0.186869 4 khoa_tieng_han_quoc suite14 3351 38 0.011340 0.439642 0.957377 0.008367 0.006205 0.016604 0.005264 0.095522 0.842105 0.171582 0.328542 0.065606 0.868421 0.121996 0.251908 0.052239 0.921053 0.098870 0.212895 0.044153 0.973684 0.084475 0.186869 4 khoa_tieng_han_quoc suite16 3351 38 0.011340 0.473670 0.959013 0.010520 0.016075 0.027319 0.015979 0.098507 0.868421 0.176944 0.338809 0.065606 0.868421 0.121996 0.251908 0.050746 0.894737 0.096045 0.206813 0.042959 0.947368 0.082192 0.181818 4 khoa_tieng_han_quoc suite17 3351 38 0.011340 0.479670 0.960943 0.008598 0.008094 0.018007 0.006667 0.098507 0.868421 0.176944 0.338809 0.065606 0.868421 0.121996 0.251908 0.050746 0.894737 0.096045 0.206813 0.045346 1.000000 0.086758 0.191919 4 khoa_tieng_han_quoc suite18 3351 38 0.011340 0.465818 0.961746 0.008638 0.008402 0.018141 0.006801 0.098507 0.868421 0.176944 0.338809 0.065606 0.868421 0.121996 0.251908 0.053731 0.947368 0.101695 0.218978 0.045346 1.000000 0.086758 0.191919 4 khoa_tieng_han_quoc suite20 3351 38 0.011340 0.150101 0.881535 0.080783 0.122812 0.134152 0.122812 0.065672 0.578947 0.117962 0.225873 0.049702 0.657895 0.092421 0.190840 0.046269 0.815789 0.087571 0.188564 0.039379 0.868421 0.075342 0.166667 4 khoa_tieng_han_quoc suite21 3351 38 0.011340 0.474092 0.958910 0.008398 0.006393 0.017190 0.005850 0.095522 0.842105 0.171582 0.328542 0.065606 0.868421 0.121996 0.251908 0.052239 0.921053 0.098870 0.212895 0.044153 0.973684 0.084475 0.186869 4 khoa_tieng_han_quoc suite22 3351 38 0.011340 0.438360 0.955510 0.008315 0.004797 0.014022 0.002682 0.095522 0.842105 0.171582 0.328542 0.065606 0.868421 0.121996 0.251908 0.049254 0.868421 0.093220 0.200730 0.044153 0.973684 0.084475 0.186869 4 khoa_tieng_han_quoc suite22_primary 3351 38 0.011340 0.291409 0.900083 0.009500 0.002659 0.012978 0.001638 0.083582 0.736842 0.150134 0.287474 0.059642 0.789474 0.110906 0.229008 0.046269 0.815789 0.087571 0.188564 0.038186 0.842105 0.073059 0.161616 4 khoa_tieng_han_quoc suite22_relational 3351 38 0.011340 0.339706 0.936018 0.009270 0.005556 0.007770 -0.003570 0.083582 0.736842 0.150134 0.287474 0.065606 0.868421 0.121996 0.251908 0.049254 0.868421 0.093220 0.200730 0.042959 0.947368 0.082192 0.181818 4 khoa_tieng_han_quoc suite23 3351 38 0.011340 0.401390 0.962866 0.008741 0.005917 0.014525 0.003185 0.101493 0.894737 0.182306 0.349076 0.067594 0.894737 0.125693 0.259542 0.053731 0.947368 0.101695 0.218978 0.044153 0.973684 0.084475 0.186869 4 khoa_tieng_han_quoc suite23_graph 3351 38 0.011340 0.230327 0.931196 0.009973 0.010243 0.019497 0.008157 0.089552 0.789474 0.160858 0.308008 0.067594 0.894737 0.125693 0.259542 0.050746 0.894737 0.096045 0.206813 0.040573 0.894737 0.077626 0.171717 4 khoa_tieng_han_quoc suite24_evidence_residual 3351 38 0.011340 0.462308 0.962286 0.008091 0.005399 0.015539 0.004199 0.095522 0.842105 0.171582 0.328542 0.069583 0.921053 0.129390 0.267176 0.053731 0.947368 0.101695 0.218978 0.042959 0.947368 0.082192 0.181818 4 khoa_tieng_han_quoc suite24_graph_standalone 3351 38 0.011340 0.260241 0.908367 0.009877 0.004828 0.013452 0.002112 0.095522 0.842105 0.171582 0.328542 0.065606 0.868421 0.121996 0.251908 0.050746 0.894737 0.096045 0.206813 0.040573 0.894737 0.077626 0.171717 4 khoa_tieng_han_quoc suite24_history_residual 3351 38 0.011340 0.427530 0.962635 0.008301 0.005426 0.015073 0.003733 0.092537 0.815789 0.166220 0.318275 0.069583 0.921053 0.129390 0.267176 0.055224 0.973684 0.104520 0.225061 0.044153 0.973684 0.084475 0.186869 4 khoa_tieng_han_quoc suite24_posthoc_blend 3351 38 0.011340 0.408188 0.955335 0.008804 0.006394 0.012252 0.000912 0.095522 0.842105 0.171582 0.328542 0.065606 0.868421 0.121996 0.251908 0.050746 0.894737 0.096045 0.206813 0.041766 0.921053 0.079909 0.176768 4 khoa_tieng_han_quoc suite24_safe_scale 3351 38 0.011340 0.455722 0.960618 0.008161 0.005497 0.015420 0.004080 0.095522 0.842105 0.171582 0.328542 0.067594 0.894737 0.125693 0.259542 0.053731 0.947368 0.101695 0.218978 0.042959 0.947368 0.082192 0.181818 4 khoa_tieng_han_quoc suite24_structural_residual 3351 38 0.011340 0.508150 0.964407 0.007761 0.006381 0.015721 0.004381 0.095522 0.842105 0.171582 0.328542 0.069583 0.921053 0.129390 0.267176 0.055224 0.973684 0.104520 0.225061 0.044153 0.973684 0.084475 0.186869 4 khoa_tieng_italia committee 1795 34 0.018942 0.397905 0.910579 0.015673 0.017386 0.035270 0.016329 0.138889 0.735294 0.233645 0.395570 0.104089 0.823529 0.184818 0.345679 0.083565 0.882353 0.152672 0.303030 0.066815 0.882353 0.124224 0.256410 4 khoa_tieng_italia suite14 1795 34 0.018942 0.397905 0.910579 0.015673 0.017386 0.035270 0.016329 0.138889 0.735294 0.233645 0.395570 0.104089 0.823529 0.184818 0.345679 0.083565 0.882353 0.152672 0.303030 0.066815 0.882353 0.124224 0.256410 4 khoa_tieng_italia suite16 1795 34 0.018942 0.389546 0.919414 0.023213 0.047742 0.066513 0.047571 0.144444 0.764706 0.242991 0.411392 0.107807 0.852941 0.191419 0.358025 0.080780 0.852941 0.147583 0.292929 0.066815 0.882353 0.124224 0.256410 4 khoa_tieng_italia suite17 1795 34 0.018942 0.414482 0.919898 0.015777 0.019345 0.036640 0.017699 0.144444 0.764706 0.242991 0.411392 0.107807 0.852941 0.191419 0.358025 0.080780 0.852941 0.147583 0.292929 0.066815 0.882353 0.124224 0.256410 4 khoa_tieng_italia suite18 1795 34 0.018942 0.417296 0.919113 0.015788 0.019436 0.036696 0.017754 0.144444 0.764706 0.242991 0.411392 0.107807 0.852941 0.191419 0.358025 0.080780 0.852941 0.147583 0.292929 0.064588 0.852941 0.120083 0.247863 4 khoa_tieng_italia suite20 1795 34 0.018942 0.337496 0.895113 0.136508 0.199609 0.218550 0.199609 0.111111 0.588235 0.186916 0.316456 0.092937 0.735294 0.165017 0.308642 0.075209 0.794118 0.137405 0.272727 0.064588 0.852941 0.120083 0.247863 4 khoa_tieng_italia suite21 1795 34 0.018942 0.404654 0.919448 0.015579 0.019032 0.036700 0.017758 0.138889 0.735294 0.233645 0.395570 0.104089 0.823529 0.184818 0.345679 0.080780 0.852941 0.147583 0.292929 0.066815 0.882353 0.124224 0.256410 4 khoa_tieng_italia suite22 1795 34 0.018942 0.446614 0.927064 0.014033 0.013020 0.028841 0.009900 0.150000 0.794118 0.252336 0.427215 0.107807 0.852941 0.191419 0.358025 0.080780 0.852941 0.147583 0.292929 0.066815 0.882353 0.124224 0.256410 4 khoa_tieng_italia suite22_primary 1795 34 0.018942 0.351824 0.910161 0.015211 0.007189 0.025431 0.006489 0.138889 0.735294 0.233645 0.395570 0.096654 0.764706 0.171617 0.320988 0.083565 0.882353 0.152672 0.303030 0.071269 0.941176 0.132505 0.273504 4 khoa_tieng_italia suite22_relational 1795 34 0.018942 0.337127 0.909760 0.016589 0.010664 0.028787 0.009846 0.122222 0.647059 0.205607 0.348101 0.100372 0.794118 0.178218 0.333333 0.083565 0.882353 0.152672 0.303030 0.069042 0.911765 0.128364 0.264957 4 khoa_tieng_italia suite23 1795 34 0.018942 0.428439 0.928466 0.014370 0.013828 0.029944 0.011003 0.144444 0.764706 0.242991 0.411392 0.104089 0.823529 0.184818 0.345679 0.083565 0.882353 0.152672 0.303030 0.069042 0.911765 0.128364 0.264957 4 khoa_tieng_italia suite23_graph 1795 34 0.018942 0.391397 0.918395 0.015482 0.015806 0.029592 0.010651 0.138889 0.735294 0.233645 0.395570 0.096654 0.764706 0.171617 0.320988 0.080780 0.852941 0.147583 0.292929 0.064588 0.852941 0.120083 0.247863 4 khoa_tieng_italia suite24_evidence_residual 1795 34 0.018942 0.413964 0.923038 0.014468 0.011825 0.028169 0.009227 0.144444 0.764706 0.242991 0.411392 0.104089 0.823529 0.184818 0.345679 0.077994 0.823529 0.142494 0.282828 0.069042 0.911765 0.128364 0.264957 4 khoa_tieng_italia suite24_graph_standalone 1795 34 0.018942 0.343653 0.883572 0.015966 0.014545 0.030973 0.012032 0.111111 0.588235 0.186916 0.316456 0.092937 0.735294 0.165017 0.308642 0.075209 0.794118 0.137405 0.272727 0.060134 0.794118 0.111801 0.230769 4 khoa_tieng_italia suite24_history_residual 1795 34 0.018942 0.440280 0.930120 0.014214 0.011941 0.028095 0.009153 0.144444 0.764706 0.242991 0.411392 0.104089 0.823529 0.184818 0.345679 0.083565 0.882353 0.152672 0.303030 0.069042 0.911765 0.128364 0.264957 4 khoa_tieng_italia suite24_posthoc_blend 1795 34 0.018942 0.427991 0.926162 0.014489 0.014141 0.028864 0.009923 0.133333 0.705882 0.224299 0.379747 0.096654 0.764706 0.171617 0.320988 0.080780 0.852941 0.147583 0.292929 0.073497 0.970588 0.136646 0.282051 4 khoa_tieng_italia suite24_safe_scale 1795 34 0.018942 0.415291 0.918178 0.014801 0.013115 0.030171 0.011230 0.150000 0.794118 0.252336 0.427215 0.104089 0.823529 0.184818 0.345679 0.080780 0.852941 0.147583 0.292929 0.066815 0.882353 0.124224 0.256410 4 khoa_tieng_italia suite24_structural_residual 1795 34 0.018942 0.396053 0.924341 0.014847 0.012006 0.030181 0.011239 0.138889 0.735294 0.233645 0.395570 0.100372 0.794118 0.178218 0.333333 0.077994 0.823529 0.142494 0.282828 0.064588 0.852941 0.120083 0.247863 4 khoa_tieng_nga committee 1659 114 0.068716 0.617681 0.927116 0.038524 0.007788 0.069410 0.000694 0.481928 0.701754 0.571429 0.643087 0.357430 0.780702 0.490358 0.631206 0.286145 0.833333 0.426009 0.602792 0.238554 0.868421 0.374291 0.568312 4 khoa_tieng_nga suite14 1659 114 0.068716 0.617681 0.927116 0.038524 0.007788 0.069410 0.000694 0.481928 0.701754 0.571429 0.643087 0.357430 0.780702 0.490358 0.631206 0.286145 0.833333 0.426009 0.602792 0.238554 0.868421 0.374291 0.568312 4 khoa_tieng_nga suite16 1659 114 0.068716 0.610272 0.932885 0.044550 0.040898 0.109614 0.040898 0.481928 0.701754 0.571429 0.643087 0.361446 0.789474 0.495868 0.638298 0.286145 0.833333 0.426009 0.602792 0.240964 0.877193 0.378072 0.574053 4 khoa_tieng_nga suite17 1659 114 0.068716 0.623071 0.929660 0.039167 0.012063 0.071126 0.002410 0.481928 0.701754 0.571429 0.643087 0.357430 0.780702 0.490358 0.631206 0.289157 0.842105 0.430493 0.609137 0.240964 0.877193 0.378072 0.574053 4 khoa_tieng_nga suite18 1659 114 0.068716 0.617948 0.927094 0.039307 0.011642 0.071290 0.002574 0.475904 0.692982 0.564286 0.635048 0.361446 0.789474 0.495868 0.638298 0.286145 0.833333 0.426009 0.602792 0.240964 0.877193 0.378072 0.574053 4 khoa_tieng_nga suite20 1659 114 0.068716 0.531185 0.918969 0.088273 0.106676 0.175392 0.106676 0.457831 0.666667 0.542857 0.610932 0.345382 0.754386 0.473829 0.609929 0.280120 0.815789 0.417040 0.590102 0.233735 0.850877 0.366730 0.556831 4 khoa_tieng_nga suite21 1659 114 0.068716 0.609277 0.928814 0.038973 0.011515 0.073791 0.005075 0.487952 0.710526 0.578571 0.651125 0.361446 0.789474 0.495868 0.638298 0.295181 0.859649 0.439462 0.621827 0.248193 0.903509 0.389414 0.591274 4 khoa_tieng_nga suite22 1659 114 0.068716 0.637465 0.935303 0.037540 0.009583 0.064518 -0.004198 0.506024 0.736842 0.600000 0.675241 0.357430 0.780702 0.490358 0.631206 0.289157 0.842105 0.430493 0.609137 0.240964 0.877193 0.378072 0.574053 4 khoa_tieng_nga suite22_primary 1659 114 0.068716 0.641316 0.936990 0.038081 0.016003 0.059876 -0.008840 0.487952 0.710526 0.578571 0.651125 0.361446 0.789474 0.495868 0.638298 0.280120 0.815789 0.417040 0.590102 0.245783 0.894737 0.385633 0.585534 4 khoa_tieng_nga suite22_relational 1659 114 0.068716 0.554012 0.916885 0.043088 0.022190 0.051083 -0.017633 0.445783 0.649123 0.528571 0.594855 0.337349 0.736842 0.462810 0.595745 0.280120 0.815789 0.417040 0.590102 0.238554 0.868421 0.374291 0.568312 4 khoa_tieng_nga suite23 1659 114 0.068716 0.617681 0.927116 0.038524 0.007788 0.069410 0.000694 0.481928 0.701754 0.571429 0.643087 0.357430 0.780702 0.490358 0.631206 0.286145 0.833333 0.426009 0.602792 0.238554 0.868421 0.374291 0.568312 4 khoa_tieng_nga suite23_graph 1659 114 0.068716 0.513527 0.894007 0.051602 0.032430 0.036286 -0.032430 0.439759 0.640351 0.521429 0.586817 0.337349 0.736842 0.462810 0.595745 0.268072 0.780702 0.399103 0.564721 0.226506 0.824561 0.355388 0.539610 4 khoa_tieng_nga suite24_evidence_residual 1659 114 0.068716 0.629059 0.928275 0.038234 0.010597 0.064220 -0.004496 0.493976 0.719298 0.585714 0.659164 0.357430 0.780702 0.490358 0.631206 0.286145 0.833333 0.426009 0.602792 0.243373 0.885965 0.381853 0.579793 4 khoa_tieng_nga suite24_graph_standalone 1659 114 0.068716 0.551961 0.905916 0.047494 0.024753 0.051110 -0.017606 0.433735 0.631579 0.514286 0.578778 0.349398 0.763158 0.479339 0.617021 0.268072 0.780702 0.399103 0.564721 0.233735 0.850877 0.366730 0.556831 4 khoa_tieng_nga suite24_history_residual 1659 114 0.068716 0.635001 0.928008 0.037428 0.014517 0.064303 -0.004413 0.493976 0.719298 0.585714 0.659164 0.357430 0.780702 0.490358 0.631206 0.277108 0.807018 0.412556 0.583756 0.240964 0.877193 0.378072 0.574053 4 khoa_tieng_nga suite24_posthoc_blend 1659 114 0.068716 0.626698 0.929546 0.040294 0.012958 0.056961 -0.011755 0.475904 0.692982 0.564286 0.635048 0.361446 0.789474 0.495868 0.638298 0.286145 0.833333 0.426009 0.602792 0.236145 0.859649 0.370510 0.562572 4 khoa_tieng_nga suite24_safe_scale 1659 114 0.068716 0.625857 0.928223 0.038196 0.010396 0.065347 -0.003369 0.487952 0.710526 0.578571 0.651125 0.357430 0.780702 0.490358 0.631206 0.286145 0.833333 0.426009 0.602792 0.240964 0.877193 0.378072 0.574053 4 khoa_tieng_nga suite24_structural_residual 1659 114 0.068716 0.608881 0.925617 0.039575 0.011508 0.067549 -0.001167 0.469880 0.684211 0.557143 0.627010 0.357430 0.780702 0.490358 0.631206 0.280120 0.815789 0.417040 0.590102 0.238554 0.868421 0.374291 0.568312 4 khoa_tieng_nhat committee 2413 38 0.015748 0.166735 0.861307 0.015721 0.012607 0.013597 -0.002151 0.099585 0.631579 0.172043 0.305344 0.074586 0.710526 0.135000 0.262646 0.057971 0.736842 0.107486 0.220472 0.053068 0.842105 0.099844 0.211921 4 khoa_tieng_nhat suite14 2413 38 0.015748 0.166735 0.861307 0.015721 0.012607 0.013597 -0.002151 0.099585 0.631579 0.172043 0.305344 0.074586 0.710526 0.135000 0.262646 0.057971 0.736842 0.107486 0.220472 0.053068 0.842105 0.099844 0.211921 4 khoa_tieng_nhat suite16 2413 38 0.015748 0.186532 0.871712 0.017572 0.011513 0.021975 0.006227 0.099585 0.631579 0.172043 0.305344 0.071823 0.684211 0.130000 0.252918 0.064182 0.815789 0.119002 0.244094 0.053068 0.842105 0.099844 0.211921 4 khoa_tieng_nhat suite17 2413 38 0.015748 0.177684 0.880975 0.015798 0.012531 0.015357 -0.000391 0.099585 0.631579 0.172043 0.305344 0.074586 0.710526 0.135000 0.262646 0.062112 0.789474 0.115163 0.236220 0.054726 0.868421 0.102964 0.218543 4 khoa_tieng_nhat suite18 2413 38 0.015748 0.181447 0.883535 0.015659 0.012275 0.015197 -0.000551 0.095436 0.605263 0.164875 0.292621 0.074586 0.710526 0.135000 0.262646 0.066253 0.842105 0.122841 0.251969 0.054726 0.868421 0.102964 0.218543 4 khoa_tieng_nhat suite20 2413 38 0.015748 0.286287 0.906105 0.072509 0.102681 0.118429 0.102681 0.095436 0.605263 0.164875 0.292621 0.071823 0.684211 0.130000 0.252918 0.060041 0.763158 0.111324 0.228346 0.056385 0.894737 0.106084 0.225166 4 khoa_tieng_nhat suite21 2413 38 0.015748 0.177007 0.869230 0.015956 0.012430 0.014327 -0.001421 0.099585 0.631579 0.172043 0.305344 0.074586 0.710526 0.135000 0.262646 0.064182 0.815789 0.119002 0.244094 0.053068 0.842105 0.099844 0.211921 4 khoa_tieng_nhat suite22 2413 38 0.015748 0.189639 0.886681 0.014409 0.009584 0.011291 -0.004457 0.095436 0.605263 0.164875 0.292621 0.080110 0.763158 0.145000 0.282101 0.066253 0.842105 0.122841 0.251969 0.054726 0.868421 0.102964 0.218543 4 khoa_tieng_nhat suite22_primary 2413 38 0.015748 0.264782 0.926449 0.013361 0.006282 0.010998 -0.004750 0.103734 0.657895 0.179211 0.318066 0.080110 0.763158 0.145000 0.282101 0.072464 0.921053 0.134357 0.275591 0.063018 1.000000 0.118565 0.251656 4 khoa_tieng_nhat suite22_relational 2413 38 0.015748 0.213701 0.915945 0.014058 0.007823 0.012704 -0.003044 0.099585 0.631579 0.172043 0.305344 0.080110 0.763158 0.145000 0.282101 0.070393 0.894737 0.130518 0.267717 0.059701 0.947368 0.112324 0.238411 4 khoa_tieng_nhat suite23 2413 38 0.015748 0.166735 0.861307 0.015721 0.012607 0.013597 -0.002151 0.099585 0.631579 0.172043 0.305344 0.074586 0.710526 0.135000 0.262646 0.057971 0.736842 0.107486 0.220472 0.053068 0.842105 0.099844 0.211921 4 khoa_tieng_nhat suite23_graph 2413 38 0.015748 0.400538 0.907579 0.012946 0.008958 0.019724 0.003976 0.107884 0.684211 0.186380 0.330789 0.077348 0.736842 0.140000 0.272374 0.064182 0.815789 0.119002 0.244094 0.056385 0.894737 0.106084 0.225166 4 khoa_tieng_nhat suite24_evidence_residual 2413 38 0.015748 0.171152 0.870460 0.015466 0.011994 0.012984 -0.002764 0.095436 0.605263 0.164875 0.292621 0.074586 0.710526 0.135000 0.262646 0.062112 0.789474 0.115163 0.236220 0.053068 0.842105 0.099844 0.211921 4 khoa_tieng_nhat suite24_graph_standalone 2413 38 0.015748 0.312033 0.864399 0.013529 0.004881 0.015074 -0.000674 0.095436 0.605263 0.164875 0.292621 0.080110 0.763158 0.145000 0.282101 0.062112 0.789474 0.115163 0.236220 0.051410 0.815789 0.096724 0.205298 4 khoa_tieng_nhat suite24_history_residual 2413 38 0.015748 0.170855 0.861263 0.015229 0.011737 0.011490 -0.004258 0.099585 0.631579 0.172043 0.305344 0.069061 0.657895 0.125000 0.243191 0.057971 0.736842 0.107486 0.220472 0.054726 0.868421 0.102964 0.218543 4 khoa_tieng_nhat suite24_posthoc_blend 2413 38 0.015748 0.229875 0.885053 0.013716 0.006029 0.010688 -0.005060 0.103734 0.657895 0.179211 0.318066 0.080110 0.763158 0.145000 0.282101 0.064182 0.815789 0.119002 0.244094 0.053068 0.842105 0.099844 0.211921 4 khoa_tieng_nhat suite24_safe_scale 2413 38 0.015748 0.169579 0.867003 0.015559 0.012367 0.012783 -0.002965 0.095436 0.605263 0.164875 0.292621 0.071823 0.684211 0.130000 0.252918 0.062112 0.789474 0.115163 0.236220 0.053068 0.842105 0.099844 0.211921 4 khoa_tieng_nhat suite24_structural_residual 2413 38 0.015748 0.165702 0.863047 0.015517 0.011457 0.012985 -0.002763 0.099585 0.631579 0.172043 0.305344 0.071823 0.684211 0.130000 0.252918 0.060041 0.763158 0.111324 0.228346 0.049751 0.789474 0.093604 0.198675 4 khoa_tieng_phap committee 2275 19 0.008352 0.294413 0.839411 0.009178 0.014767 0.022986 0.014634 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.030769 0.736842 0.059072 0.131827 0.024605 0.736842 0.047619 0.108527 4 khoa_tieng_phap suite14 2275 19 0.008352 0.392727 0.885358 0.011128 0.015318 0.023616 0.015265 0.057018 0.684211 0.105263 0.213816 0.041056 0.736842 0.077778 0.167866 0.030769 0.736842 0.059072 0.131827 0.029877 0.894737 0.057823 0.131783 4 khoa_tieng_phap suite16 2275 19 0.008352 0.325041 0.846071 0.014988 0.031783 0.040134 0.031783 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.030769 0.736842 0.059072 0.131827 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite17 2275 19 0.008352 0.310734 0.849874 0.009275 0.016841 0.024933 0.016581 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.032967 0.789474 0.063291 0.141243 0.028120 0.842105 0.054422 0.124031 4 khoa_tieng_phap suite18 2275 19 0.008352 0.303660 0.849757 0.009279 0.016701 0.024808 0.016456 0.057018 0.684211 0.105263 0.213816 0.041056 0.736842 0.077778 0.167866 0.030769 0.736842 0.059072 0.131827 0.028120 0.842105 0.054422 0.124031 4 khoa_tieng_phap suite20 2275 19 0.008352 0.289964 0.875397 0.112072 0.155364 0.163715 0.155364 0.052632 0.631579 0.097166 0.197368 0.038123 0.684211 0.072222 0.155875 0.030769 0.736842 0.059072 0.131827 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite21 2275 19 0.008352 0.323932 0.844718 0.009633 0.016286 0.024506 0.016154 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.030769 0.736842 0.059072 0.131827 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite22 2275 19 0.008352 0.326914 0.853163 0.007866 0.011631 0.019806 0.011454 0.057018 0.684211 0.105263 0.213816 0.041056 0.736842 0.077778 0.167866 0.030769 0.736842 0.059072 0.131827 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite22_primary 2275 19 0.008352 0.318931 0.872854 0.007653 0.010937 0.018502 0.010151 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.035165 0.842105 0.067511 0.150659 0.028120 0.842105 0.054422 0.124031 4 khoa_tieng_phap suite22_relational 2275 19 0.008352 0.271892 0.881812 0.009593 0.012409 0.020760 0.012409 0.061404 0.736842 0.113360 0.230263 0.043988 0.789474 0.083333 0.179856 0.032967 0.789474 0.063291 0.141243 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite23 2275 19 0.008352 0.298863 0.864058 0.007268 0.015946 0.022583 0.014232 0.052632 0.631579 0.097166 0.197368 0.041056 0.736842 0.077778 0.167866 0.030769 0.736842 0.059072 0.131827 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite23_graph 2275 19 0.008352 0.164763 0.860209 0.008351 0.021296 0.029366 0.021015 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.028571 0.684211 0.054852 0.122411 0.028120 0.842105 0.054422 0.124031 4 khoa_tieng_phap suite24_evidence_residual 2275 19 0.008352 0.313510 0.846491 0.009008 0.014221 0.022182 0.013831 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.028571 0.684211 0.054852 0.122411 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite24_graph_standalone 2275 19 0.008352 0.120072 0.865155 0.008722 0.014721 0.023073 0.014721 0.065789 0.789474 0.121457 0.246711 0.046921 0.842105 0.088889 0.191847 0.035165 0.842105 0.067511 0.150659 0.028120 0.842105 0.054422 0.124031 4 khoa_tieng_phap suite24_history_residual 2275 19 0.008352 0.318160 0.845511 0.008903 0.013977 0.022249 0.013898 0.057018 0.684211 0.105263 0.213816 0.041056 0.736842 0.077778 0.167866 0.030769 0.736842 0.059072 0.131827 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite24_posthoc_blend 2275 19 0.008352 0.328172 0.869284 0.007395 0.013220 0.019537 0.011185 0.057018 0.684211 0.105263 0.213816 0.041056 0.736842 0.077778 0.167866 0.032967 0.789474 0.063291 0.141243 0.028120 0.842105 0.054422 0.124031 4 khoa_tieng_phap suite24_safe_scale 2275 19 0.008352 0.307174 0.843832 0.008950 0.013846 0.021778 0.013427 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.030769 0.736842 0.059072 0.131827 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite24_structural_residual 2275 19 0.008352 0.330994 0.852417 0.008841 0.016652 0.024026 0.015674 0.052632 0.631579 0.097166 0.197368 0.038123 0.684211 0.072222 0.155875 0.032967 0.789474 0.063291 0.141243 0.026362 0.789474 0.051020 0.116279 ============================================================================================================================================================================ SUITE24 TARGET FOLD 5 ============================================================================================================================================================================ [DATA] history=419,467 fail=8,736 (2.08%) train=313,390 validation=106,077 target=50,698 fail=1,797 (3.54%) [EVIDENCE CACHE] history... [EVIDENCE CACHE] 25,000/419,467 [EVIDENCE CACHE] 50,000/419,467 [EVIDENCE CACHE] 75,000/419,467 [EVIDENCE CACHE] 100,000/419,467 [EVIDENCE CACHE] 125,000/419,467 [EVIDENCE CACHE] 150,000/419,467 [EVIDENCE CACHE] 175,000/419,467 [EVIDENCE CACHE] 200,000/419,467 [EVIDENCE CACHE] 225,000/419,467 [EVIDENCE CACHE] 250,000/419,467 [EVIDENCE CACHE] 275,000/419,467 [EVIDENCE CACHE] 300,000/419,467 [EVIDENCE CACHE] 325,000/419,467 [EVIDENCE CACHE] 350,000/419,467 [EVIDENCE CACHE] 375,000/419,467 [EVIDENCE CACHE] 400,000/419,467 [EVIDENCE CACHE] target... [EVIDENCE CACHE] 25,000/50,698 [EVIDENCE CACHE] 50,000/50,698 FOLD 5 SUITE24 EVIDENCE SUPPORT — TARGET -------------------------------------------------------------------------------- faculty rows prevalence history_courses_mean structural_courses_mean related_history_mean same_course_history_mean failed_history_mean direct_structural_mean history_zero_rate structural_zero_rate khoa_cong_nghe_thong_tin 6398 0.054861 13.759612 1.722413 0.207096 0.120975 1.952641 1.062520 0.0 0.267584 khoa_quan_tri_kinh_doanh_va_du_lich 7604 0.053524 13.715676 4.186086 0.710021 0.114150 1.599290 3.313256 0.0 0.014992 khoa_quoc_te_hoc 2674 0.021690 13.345176 5.124533 0.952132 0.109574 1.327599 4.924084 0.0 0.090127 khoa_tieng_anh 8345 0.015818 15.501618 2.895386 0.768604 0.044218 3.570641 2.611144 0.0 0.387418 khoa_tieng_bo_dao_nha 1138 0.070299 15.155536 1.464851 0.376098 0.150264 2.072056 0.969244 0.0 0.360281 khoa_tieng_duc 1975 0.029873 14.626835 0.680000 0.184304 0.091139 1.293671 0.552405 0.0 0.688608 khoa_tieng_han_quoc 3573 0.018752 15.257767 2.652953 0.668066 0.035544 0.514414 2.297509 0.0 0.218584 khoa_tieng_italia 2129 0.038985 15.254110 2.218882 0.928605 0.152184 1.650070 1.674495 0.0 0.120244 khoa_tieng_nga 2047 0.065462 15.067416 1.872985 0.567660 0.132877 1.853444 1.106497 0.0 0.292135 khoa_tieng_nhat 2593 0.026610 15.174701 3.625916 0.808330 0.041651 0.649055 2.827227 0.0 0.100270 khoa_tieng_phap 2983 0.019108 15.116326 3.863560 0.590345 0.065370 1.130741 3.137110 0.0 0.150520 khoa_tieng_tay_ban_nha 1606 0.052304 15.062267 3.864882 0.943337 0.086550 1.417808 3.259651 0.0 0.136364 khoa_tieng_trung_quoc 6995 0.022159 15.465332 1.825733 0.570979 0.024589 1.331094 1.524946 0.0 0.235740 khoa_viet_nam_hoc 638 0.095611 11.070533 0.000000 0.000000 0.043887 1.437304 0.000000 0.0 1.000000 [CHRONOLOGY AUDIT] violations=0 / 470,165 | strict historical interaction semester < query semester ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_history_residual] [SELECT HISTORY] epoch=01/10 loss=0.15913 macroAP=0.3825 F2@20=0.3443 Brier=0.0219 corr=0.2572 gate=0.5000 best=01 [SELECT HISTORY] epoch=02/10 loss=0.14916 macroAP=0.3770 F2@20=0.3464 Brier=0.0220 corr=0.3046 gate=0.5000 best=01 [SELECT HISTORY] epoch=03/10 loss=0.14198 macroAP=0.3766 F2@20=0.3419 Brier=0.0219 corr=0.3468 gate=0.5000 best=01 [SELECT HISTORY] epoch=04/10 loss=0.14204 macroAP=0.3797 F2@20=0.3419 Brier=0.0221 corr=0.3629 gate=0.5000 best=01 [SELECT HISTORY] epoch=05/10 loss=0.13521 macroAP=0.3870 F2@20=0.3438 Brier=0.0224 corr=0.3596 gate=0.5000 best=05 [SELECT HISTORY] epoch=06/10 loss=0.13125 macroAP=0.3805 F2@20=0.3475 Brier=0.0218 corr=0.3734 gate=0.5000 best=05 [SELECT HISTORY] epoch=07/10 loss=0.13212 macroAP=0.3888 F2@20=0.3448 Brier=0.0217 corr=0.3883 gate=0.5000 best=07 [SELECT HISTORY] epoch=08/10 loss=0.12807 macroAP=0.3824 F2@20=0.3394 Brier=0.0218 corr=0.3820 gate=0.5000 best=07 [SELECT HISTORY] epoch=09/10 loss=0.12750 macroAP=0.3850 F2@20=0.3455 Brier=0.0215 corr=0.4109 gate=0.5000 best=07 [SELECT HISTORY] epoch=10/10 loss=0.12587 macroAP=0.3844 F2@20=0.3449 Brier=0.0218 corr=0.3979 gate=0.5000 best=07 [REFIT HISTORY] epoch=01/7 loss=0.15592 corr=0.2237 [REFIT HISTORY] epoch=07/7 loss=0.13515 corr=0.3864 [VARIANT suite24_history_residual] selected_epochs=7 target macroAP=0.2836 ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_structural_residual] [SELECT STRUCTURAL] epoch=01/10 loss=0.15169 macroAP=0.3804 F2@20=0.3493 Brier=0.0229 corr=0.3585 gate=0.8343 best=01 [SELECT STRUCTURAL] epoch=02/10 loss=0.14093 macroAP=0.3792 F2@20=0.3522 Brier=0.0218 corr=0.4742 gate=0.8341 best=01 [SELECT STRUCTURAL] epoch=03/10 loss=0.13804 macroAP=0.3782 F2@20=0.3458 Brier=0.0225 corr=0.4938 gate=0.8337 best=01 [SELECT STRUCTURAL] epoch=04/10 loss=0.13215 macroAP=0.3745 F2@20=0.3466 Brier=0.0226 corr=0.5192 gate=0.8340 best=01 [SELECT STRUCTURAL] epoch=05/10 loss=0.12443 macroAP=0.3731 F2@20=0.3404 Brier=0.0227 corr=0.5489 gate=0.8333 best=01 [REFIT STRUCTURAL] epoch=01/1 loss=0.15297 corr=0.2793 [VARIANT suite24_structural_residual] selected_epochs=1 target macroAP=0.2914 ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_evidence_residual] [SELECT EVIDENCE] epoch=01/10 loss=0.15797 macroAP=0.3809 F2@20=0.3476 Brier=0.0212 corr=0.1368 gate=0.3179 best=01 [SELECT EVIDENCE] epoch=02/10 loss=0.15169 macroAP=0.3791 F2@20=0.3470 Brier=0.0220 corr=0.2222 gate=0.3600 best=01 [SELECT EVIDENCE] epoch=03/10 loss=0.14501 macroAP=0.3811 F2@20=0.3494 Brier=0.0217 corr=0.2825 gate=0.4041 best=03 [SELECT EVIDENCE] epoch=04/10 loss=0.14175 macroAP=0.3823 F2@20=0.3494 Brier=0.0223 corr=0.3290 gate=0.4493 best=04 [SELECT EVIDENCE] epoch=05/10 loss=0.14017 macroAP=0.3698 F2@20=0.3446 Brier=0.0220 corr=0.3629 gate=0.4876 best=04 [SELECT EVIDENCE] epoch=06/10 loss=0.13882 macroAP=0.3818 F2@20=0.3503 Brier=0.0219 corr=0.4199 gate=0.5225 best=04 [SELECT EVIDENCE] epoch=07/10 loss=0.13472 macroAP=0.3753 F2@20=0.3478 Brier=0.0232 corr=0.4628 gate=0.5546 best=04 [REFIT EVIDENCE] epoch=01/4 loss=0.15897 corr=0.1127 [REFIT EVIDENCE] epoch=04/4 loss=0.14122 corr=0.2751 [VARIANT suite24_evidence_residual] selected_epochs=4 target macroAP=0.2897 [SAFE SCALE] selected lambda=0.25 policyAP=0.4410 policyF2=0.3033 [POSTHOC BLEND ABLATION] selected alpha=0.50 policyAP=0.4572 SUITE24 TARGET FOLD 5 — NEW + AVAILABLE REFERENCE RESULTS -------------------------------------------------------------------------------- fold faculty model rows failures prevalence ap auc brier ece10 mean_score calibration_gap precision_at_10 recall_at_10 f1_at_10 fbeta_at_10 precision_at_15 recall_at_15 f1_at_15 fbeta_at_15 precision_at_20 recall_at_20 f1_at_20 fbeta_at_20 precision_at_25 recall_at_25 f1_at_25 fbeta_at_25 5 khoa_cong_nghe_thong_tin committee 6398 351 0.054861 0.275062 0.829203 0.045719 0.008376 0.062938 0.008077 0.245312 0.447293 0.316852 0.384051 0.210417 0.575499 0.308162 0.427242 0.182812 0.666667 0.286941 0.435917 0.157500 0.717949 0.258329 0.419441 5 khoa_cong_nghe_thong_tin council 6398 351 0.054861 0.291789 0.834749 0.052825 0.074601 0.129462 0.074601 0.260937 0.475783 0.337033 0.408513 0.214583 0.586895 0.314264 0.435702 0.190625 0.695157 0.299203 0.454545 0.162500 0.740741 0.266530 0.432756 5 khoa_cong_nghe_thong_tin suite14 6398 351 0.054861 0.275062 0.829203 0.045719 0.008376 0.062938 0.008077 0.245312 0.447293 0.316852 0.384051 0.210417 0.575499 0.308162 0.427242 0.182812 0.666667 0.286941 0.435917 0.157500 0.717949 0.258329 0.419441 5 khoa_cong_nghe_thong_tin suite16 6398 351 0.054861 0.280247 0.830107 0.096360 0.150201 0.205062 0.150201 0.271875 0.495726 0.351160 0.425636 0.216667 0.592593 0.317315 0.439932 0.180469 0.658120 0.283262 0.430328 0.152500 0.695157 0.250128 0.406125 5 khoa_cong_nghe_thong_tin suite17 6398 351 0.054861 0.274191 0.832320 0.045803 0.011625 0.065625 0.010764 0.248438 0.452991 0.320888 0.388943 0.213542 0.584046 0.312738 0.433587 0.182812 0.666667 0.286941 0.435917 0.154375 0.703704 0.253203 0.411119 5 khoa_cong_nghe_thong_tin suite18 6398 351 0.054861 0.278269 0.834254 0.045618 0.011737 0.065491 0.010630 0.251563 0.458689 0.324924 0.393836 0.215625 0.589744 0.315789 0.437817 0.183594 0.669516 0.288167 0.437779 0.156250 0.712251 0.256279 0.416112 5 khoa_cong_nghe_thong_tin suite20 6398 351 0.054861 0.231233 0.812766 0.083022 0.116500 0.171361 0.116500 0.234375 0.427350 0.302725 0.366928 0.197917 0.541311 0.289855 0.401861 0.167187 0.609687 0.262416 0.398659 0.151875 0.692308 0.249103 0.404461 5 khoa_cong_nghe_thong_tin suite21 6398 351 0.054861 0.279536 0.832935 0.046561 0.019534 0.074244 0.019383 0.250000 0.455840 0.322906 0.391389 0.209375 0.572650 0.306636 0.425127 0.185938 0.678063 0.291845 0.443368 0.161875 0.737892 0.265505 0.431092 5 khoa_cong_nghe_thong_tin suite22 6398 351 0.054861 0.276968 0.832893 0.045512 0.007016 0.061754 0.006893 0.246875 0.450142 0.318870 0.386497 0.211458 0.578348 0.309687 0.429357 0.181250 0.660969 0.284488 0.432191 0.159375 0.726496 0.261404 0.424434 5 khoa_cong_nghe_thong_tin suite22_primary 6398 351 0.054861 0.249137 0.817907 0.046562 0.010990 0.065366 0.010505 0.232813 0.424501 0.300706 0.364481 0.197917 0.541311 0.289855 0.401861 0.177344 0.646724 0.278357 0.422876 0.156250 0.712251 0.256279 0.416112 5 khoa_cong_nghe_thong_tin suite22_relational 6398 351 0.054861 0.277377 0.830912 0.046067 0.022522 0.034875 -0.019986 0.262500 0.478632 0.339051 0.410959 0.212500 0.581197 0.311213 0.431472 0.183594 0.669516 0.288167 0.437779 0.161875 0.737892 0.265505 0.431092 5 khoa_cong_nghe_thong_tin suite23 6398 351 0.054861 0.283065 0.836904 0.045209 0.004664 0.055692 0.000831 0.260937 0.475783 0.337033 0.408513 0.215625 0.589744 0.315789 0.437817 0.183594 0.669516 0.288167 0.437779 0.158750 0.723647 0.260379 0.422770 5 khoa_cong_nghe_thong_tin suite23_graph 6398 351 0.054861 0.251980 0.829147 0.046156 0.013971 0.043481 -0.011380 0.243750 0.444444 0.314834 0.381605 0.208333 0.569801 0.305111 0.423012 0.181250 0.660969 0.284488 0.432191 0.157500 0.717949 0.258329 0.419441 5 khoa_cong_nghe_thong_tin suite24_evidence_residual 6398 351 0.054861 0.287902 0.845912 0.046502 0.028276 0.029662 -0.025199 0.259375 0.472934 0.335015 0.406067 0.221875 0.606838 0.324943 0.450508 0.189844 0.692308 0.297977 0.452683 0.166875 0.760684 0.273706 0.444407 5 khoa_cong_nghe_thong_tin suite24_graph_standalone 6398 351 0.054861 0.243394 0.816860 0.048628 0.034718 0.020369 -0.034492 0.243750 0.444444 0.314834 0.381605 0.206250 0.564103 0.302059 0.418782 0.175000 0.638177 0.274678 0.417288 0.151875 0.692308 0.249103 0.404461 5 khoa_cong_nghe_thong_tin suite24_history_residual 6398 351 0.054861 0.265276 0.833026 0.047339 0.029463 0.030599 -0.024262 0.248438 0.452991 0.320888 0.388943 0.209375 0.572650 0.306636 0.425127 0.182031 0.663818 0.285714 0.434054 0.156875 0.715100 0.257304 0.417776 5 khoa_cong_nghe_thong_tin suite24_posthoc_blend 6398 351 0.054861 0.268832 0.833084 0.046317 0.021724 0.033923 -0.020937 0.250000 0.455840 0.322906 0.391389 0.205208 0.561254 0.300534 0.416667 0.178906 0.652422 0.280809 0.426602 0.159375 0.726496 0.261404 0.424434 5 khoa_cong_nghe_thong_tin suite24_safe_scale 6398 351 0.054861 0.281574 0.835800 0.046114 0.022100 0.036839 -0.018021 0.251563 0.458689 0.324924 0.393836 0.214583 0.586895 0.314264 0.435702 0.187500 0.683761 0.294298 0.447094 0.160000 0.729345 0.262430 0.426099 5 khoa_cong_nghe_thong_tin suite24_structural_residual 6398 351 0.054861 0.279277 0.848936 0.047058 0.030872 0.026628 -0.028233 0.262500 0.478632 0.339051 0.410959 0.219792 0.601140 0.321892 0.446277 0.191406 0.698006 0.300429 0.456408 0.164375 0.749288 0.269605 0.437750 5 khoa_cong_nghe_thong_tin v2 6398 351 0.054861 0.266546 0.829637 0.098030 0.124563 0.179424 0.124563 0.254688 0.464387 0.328961 0.398728 0.215625 0.589744 0.315789 0.437817 0.180469 0.658120 0.283262 0.430328 0.161875 0.737892 0.265505 0.431092 5 khoa_quan_tri_kinh_doanh_va_du_lich committee 7604 407 0.053524 0.372871 0.876945 0.040595 0.007197 0.050238 -0.003286 0.318421 0.594595 0.414739 0.506700 0.242770 0.680590 0.357881 0.500181 0.200526 0.749386 0.316390 0.484281 0.169911 0.793612 0.279896 0.457637 5 khoa_quan_tri_kinh_doanh_va_du_lich suite14 7604 407 0.053524 0.406201 0.888067 0.039547 0.012771 0.066296 0.012771 0.326316 0.609337 0.425021 0.519263 0.255039 0.714988 0.375969 0.525460 0.209073 0.781327 0.329876 0.504922 0.178327 0.832924 0.293761 0.480306 5 khoa_quan_tri_kinh_doanh_va_du_lich suite16 7604 407 0.053524 0.376968 0.883435 0.073638 0.118092 0.171616 0.118092 0.315789 0.589681 0.411311 0.502513 0.255916 0.717445 0.377261 0.527266 0.202498 0.756757 0.319502 0.489044 0.173067 0.808354 0.285095 0.466138 5 khoa_quan_tri_kinh_doanh_va_du_lich suite17 7604 407 0.053524 0.377594 0.879029 0.040626 0.008044 0.056042 0.002517 0.322368 0.601966 0.419880 0.512982 0.247152 0.692875 0.364341 0.509209 0.197239 0.737101 0.311203 0.476342 0.169911 0.793612 0.279896 0.457637 5 khoa_quan_tri_kinh_doanh_va_du_lich suite18 7604 407 0.053524 0.376814 0.879893 0.040659 0.008217 0.056023 0.002499 0.319737 0.597052 0.416452 0.508794 0.243646 0.683047 0.359173 0.501986 0.197896 0.739558 0.312241 0.477930 0.170963 0.798526 0.281629 0.460470 5 khoa_quan_tri_kinh_doanh_va_du_lich suite20 7604 407 0.053524 0.305657 0.867640 0.056297 0.056660 0.110184 0.056660 0.300000 0.560197 0.390746 0.477387 0.235758 0.660934 0.347545 0.485735 0.193294 0.722359 0.304979 0.466815 0.166754 0.778870 0.274697 0.449136 5 khoa_quan_tri_kinh_doanh_va_du_lich suite21 7604 407 0.053524 0.380964 0.881897 0.040184 0.010399 0.060684 0.007160 0.325000 0.606880 0.423308 0.517169 0.241893 0.678133 0.356589 0.498375 0.204471 0.764128 0.322614 0.493808 0.170963 0.798526 0.281629 0.460470 5 khoa_quan_tri_kinh_doanh_va_du_lich suite22 7604 407 0.053524 0.390041 0.884977 0.040271 0.007654 0.046892 -0.006632 0.322368 0.601966 0.419880 0.512982 0.246275 0.690418 0.363049 0.507403 0.204471 0.764128 0.322614 0.493808 0.171489 0.800983 0.282496 0.461887 5 khoa_quan_tri_kinh_doanh_va_du_lich suite22_primary 7604 407 0.053524 0.386975 0.890858 0.040630 0.011821 0.042094 -0.011430 0.311842 0.582310 0.406170 0.496231 0.248028 0.695332 0.365633 0.511015 0.213018 0.796069 0.336100 0.514449 0.177801 0.830467 0.292894 0.478889 5 khoa_quan_tri_kinh_doanh_va_du_lich suite22_relational 7604 407 0.053524 0.404675 0.881578 0.041873 0.027655 0.026184 -0.027341 0.325000 0.606880 0.423308 0.517169 0.255916 0.717445 0.377261 0.527266 0.203156 0.759214 0.320539 0.490632 0.172541 0.805897 0.284229 0.464721 5 khoa_quan_tri_kinh_doanh_va_du_lich suite23 7604 407 0.053524 0.396607 0.884712 0.041336 0.016804 0.036936 -0.016588 0.321053 0.599509 0.418166 0.510888 0.248028 0.695332 0.365633 0.511015 0.206443 0.771499 0.325726 0.498571 0.173067 0.808354 0.285095 0.466138 5 khoa_quan_tri_kinh_doanh_va_du_lich suite23_graph 7604 407 0.053524 0.349049 0.873660 0.045031 0.030397 0.023127 -0.030397 0.294737 0.550369 0.383890 0.469012 0.238387 0.668305 0.351421 0.491152 0.196581 0.734644 0.310166 0.474754 0.169911 0.793612 0.279896 0.457637 5 khoa_quan_tri_kinh_doanh_va_du_lich suite24_evidence_residual 7604 407 0.053524 0.381783 0.884045 0.042771 0.029935 0.024077 -0.029447 0.306579 0.572482 0.399314 0.487856 0.242770 0.680590 0.357881 0.500181 0.204471 0.764128 0.322614 0.493808 0.175171 0.818182 0.288562 0.471805 5 khoa_quan_tri_kinh_doanh_va_du_lich suite24_graph_standalone 7604 407 0.053524 0.352599 0.871612 0.045235 0.032706 0.020818 -0.032706 0.276316 0.515971 0.359897 0.439698 0.231376 0.648649 0.341085 0.476706 0.192636 0.719902 0.303942 0.465227 0.170963 0.798526 0.281629 0.460470 5 khoa_quan_tri_kinh_doanh_va_du_lich suite24_history_residual 7604 407 0.053524 0.400698 0.882424 0.042392 0.031169 0.022881 -0.030643 0.318421 0.594595 0.414739 0.506700 0.253287 0.710074 0.373385 0.521849 0.200526 0.749386 0.316390 0.484281 0.171489 0.800983 0.282496 0.461887 5 khoa_quan_tri_kinh_doanh_va_du_lich suite24_posthoc_blend 7604 407 0.053524 0.395747 0.884027 0.042322 0.023092 0.030591 -0.022934 0.313158 0.584767 0.407883 0.498325 0.248904 0.697789 0.366925 0.512821 0.202498 0.756757 0.319502 0.489044 0.172541 0.805897 0.284229 0.464721 5 khoa_quan_tri_kinh_doanh_va_du_lich suite24_safe_scale 7604 407 0.053524 0.382452 0.881167 0.041778 0.024732 0.029472 -0.024053 0.317105 0.592138 0.413025 0.504606 0.243646 0.683047 0.359173 0.501986 0.199869 0.746929 0.315353 0.482693 0.173067 0.808354 0.285095 0.466138 5 khoa_quan_tri_kinh_doanh_va_du_lich suite24_structural_residual 7604 407 0.053524 0.396633 0.886043 0.042547 0.029570 0.024444 -0.029080 0.321053 0.599509 0.418166 0.510888 0.245399 0.687961 0.361757 0.505598 0.205128 0.766585 0.323651 0.495395 0.178327 0.832924 0.293761 0.480306 5 khoa_quoc_te_hoc committee 2674 58 0.021690 0.163461 0.834645 0.019653 0.007283 0.028280 0.006590 0.104869 0.482759 0.172308 0.280561 0.074813 0.517241 0.130719 0.236967 0.069159 0.637931 0.124789 0.241199 0.067365 0.775862 0.123967 0.250000 5 khoa_quoc_te_hoc suite14 2674 58 0.021690 0.163461 0.834645 0.019653 0.007283 0.028280 0.006590 0.104869 0.482759 0.172308 0.280561 0.074813 0.517241 0.130719 0.236967 0.069159 0.637931 0.124789 0.241199 0.067365 0.775862 0.123967 0.250000 5 khoa_quoc_te_hoc suite16 2674 58 0.021690 0.164915 0.839469 0.048937 0.096085 0.117775 0.096085 0.116105 0.534483 0.190769 0.310621 0.089776 0.620690 0.156863 0.284360 0.069159 0.637931 0.124789 0.241199 0.059880 0.689655 0.110193 0.222222 5 khoa_quoc_te_hoc suite17 2674 58 0.021690 0.172231 0.839805 0.019748 0.008996 0.028626 0.006935 0.104869 0.482759 0.172308 0.280561 0.084788 0.586207 0.148148 0.268562 0.069159 0.637931 0.124789 0.241199 0.061377 0.706897 0.112948 0.227778 5 khoa_quoc_te_hoc suite18 2674 58 0.021690 0.171025 0.842059 0.019735 0.009032 0.028667 0.006976 0.101124 0.465517 0.166154 0.270541 0.082294 0.568966 0.143791 0.260664 0.067290 0.620690 0.121417 0.234681 0.065868 0.758621 0.121212 0.244444 5 khoa_quoc_te_hoc suite20 2674 58 0.021690 0.138389 0.835713 0.097286 0.150571 0.172261 0.150571 0.116105 0.534483 0.190769 0.310621 0.089776 0.620690 0.156863 0.284360 0.072897 0.672414 0.131535 0.254237 0.067365 0.775862 0.123967 0.250000 5 khoa_quoc_te_hoc suite21 2674 58 0.021690 0.182719 0.838593 0.020402 0.015710 0.037400 0.015710 0.101124 0.465517 0.166154 0.270541 0.084788 0.586207 0.148148 0.268562 0.074766 0.689655 0.134907 0.260756 0.062874 0.724138 0.115702 0.233333 5 khoa_quoc_te_hoc suite22 2674 58 0.021690 0.193638 0.853903 0.019218 0.006260 0.026821 0.005131 0.108614 0.500000 0.178462 0.290581 0.082294 0.568966 0.143791 0.260664 0.076636 0.706897 0.138280 0.267275 0.070359 0.810345 0.129477 0.261111 5 khoa_quoc_te_hoc suite22_primary 2674 58 0.021690 0.230851 0.864244 0.018972 0.008664 0.028609 0.006919 0.112360 0.517241 0.184615 0.300601 0.092269 0.637931 0.161220 0.292259 0.084112 0.775862 0.151771 0.293351 0.071856 0.827586 0.132231 0.266667 5 khoa_quoc_te_hoc suite22_relational 2674 58 0.021690 0.226230 0.835653 0.019285 0.012727 0.009723 -0.011967 0.097378 0.448276 0.160000 0.260521 0.082294 0.568966 0.143791 0.260664 0.071028 0.655172 0.128162 0.247718 0.067365 0.775862 0.123967 0.250000 5 khoa_quoc_te_hoc suite23 2674 58 0.021690 0.181769 0.850232 0.019318 0.002133 0.019692 -0.001999 0.112360 0.517241 0.184615 0.300601 0.084788 0.586207 0.148148 0.268562 0.071028 0.655172 0.128162 0.247718 0.067365 0.775862 0.123967 0.250000 5 khoa_quoc_te_hoc suite23_graph 2674 58 0.021690 0.188125 0.849474 0.020221 0.013351 0.008339 -0.013351 0.108614 0.500000 0.178462 0.290581 0.082294 0.568966 0.143791 0.260664 0.067290 0.620690 0.121417 0.234681 0.065868 0.758621 0.121212 0.244444 5 khoa_quoc_te_hoc suite24_evidence_residual 2674 58 0.021690 0.179855 0.837334 0.019586 0.011150 0.011730 -0.009961 0.101124 0.465517 0.166154 0.270541 0.087282 0.603448 0.152505 0.276461 0.069159 0.637931 0.124789 0.241199 0.062874 0.724138 0.115702 0.233333 5 khoa_quoc_te_hoc suite24_graph_standalone 2674 58 0.021690 0.167281 0.821753 0.020203 0.012583 0.009958 -0.011732 0.093633 0.431034 0.153846 0.250501 0.072319 0.500000 0.126362 0.229068 0.061682 0.568966 0.111298 0.215124 0.053892 0.620690 0.099174 0.200000 5 khoa_quoc_te_hoc suite24_history_residual 2674 58 0.021690 0.160085 0.831363 0.019738 0.012201 0.010691 -0.010999 0.093633 0.431034 0.153846 0.250501 0.077307 0.534483 0.135076 0.244866 0.065421 0.603448 0.118044 0.228162 0.064371 0.741379 0.118457 0.238889 5 khoa_quoc_te_hoc suite24_posthoc_blend 2674 58 0.021690 0.180594 0.842778 0.019548 0.006421 0.015269 -0.006421 0.089888 0.413793 0.147692 0.240481 0.082294 0.568966 0.143791 0.260664 0.071028 0.655172 0.128162 0.247718 0.062874 0.724138 0.115702 0.233333 5 khoa_quoc_te_hoc suite24_safe_scale 2674 58 0.021690 0.179057 0.837057 0.019548 0.009646 0.013681 -0.008009 0.104869 0.482759 0.172308 0.280561 0.077307 0.534483 0.135076 0.244866 0.072897 0.672414 0.131535 0.254237 0.064371 0.741379 0.118457 0.238889 5 khoa_quoc_te_hoc suite24_structural_residual 2674 58 0.021690 0.190683 0.842593 0.019452 0.009867 0.012827 -0.008863 0.101124 0.465517 0.166154 0.270541 0.092269 0.637931 0.161220 0.292259 0.071028 0.655172 0.128162 0.247718 0.064371 0.741379 0.118457 0.238889 5 khoa_tieng_anh committee 8345 132 0.015818 0.153075 0.832974 0.014608 0.010883 0.026028 0.010210 0.068345 0.431818 0.118012 0.209251 0.059105 0.560606 0.106936 0.207865 0.049730 0.628788 0.092171 0.188894 0.043145 0.681818 0.081154 0.172150 5 khoa_tieng_anh suite14 8345 132 0.015818 0.153075 0.832974 0.014608 0.010883 0.026028 0.010210 0.068345 0.431818 0.118012 0.209251 0.059105 0.560606 0.106936 0.207865 0.049730 0.628788 0.092171 0.188894 0.043145 0.681818 0.081154 0.172150 5 khoa_tieng_anh suite16 8345 132 0.015818 0.156690 0.838705 0.041010 0.096016 0.111834 0.096016 0.067146 0.424242 0.115942 0.205580 0.054313 0.515152 0.098266 0.191011 0.045536 0.575758 0.084398 0.172963 0.042186 0.666667 0.079351 0.168324 5 khoa_tieng_anh suite17 8345 132 0.015818 0.151762 0.834277 0.015159 0.015103 0.030260 0.014443 0.073141 0.462121 0.126294 0.223935 0.055911 0.530303 0.101156 0.196629 0.044338 0.560606 0.082177 0.168411 0.038830 0.613636 0.073039 0.154935 5 khoa_tieng_anh suite18 8345 132 0.015818 0.158154 0.845429 0.015100 0.015134 0.030275 0.014458 0.077938 0.492424 0.134576 0.238620 0.056709 0.537879 0.102601 0.199438 0.047334 0.598485 0.087729 0.179791 0.044104 0.696970 0.082958 0.175976 5 khoa_tieng_anh suite20 8345 132 0.015818 0.136418 0.857657 0.020990 0.021013 0.036831 0.021013 0.081535 0.515152 0.140787 0.249633 0.067093 0.636364 0.121387 0.235955 0.062313 0.787879 0.115491 0.236686 0.054171 0.856061 0.101894 0.216144 5 khoa_tieng_anh suite21 8345 132 0.015818 0.162112 0.846486 0.014787 0.011371 0.026789 0.010971 0.075540 0.477273 0.130435 0.231278 0.062300 0.590909 0.112717 0.219101 0.049730 0.628788 0.092171 0.188894 0.042665 0.674242 0.080252 0.170237 5 khoa_tieng_anh suite22 8345 132 0.015818 0.180069 0.866314 0.014385 0.008302 0.023377 0.007559 0.077938 0.492424 0.134576 0.238620 0.061502 0.583333 0.111272 0.216292 0.055123 0.696970 0.102165 0.209376 0.053212 0.840909 0.100090 0.212318 5 khoa_tieng_anh suite22_primary 8345 132 0.015818 0.173722 0.874245 0.014516 0.006292 0.021909 0.006091 0.086331 0.545455 0.149068 0.264317 0.071086 0.674242 0.128613 0.250000 0.061714 0.780303 0.114381 0.234411 0.053691 0.848485 0.100992 0.214231 5 khoa_tieng_anh suite22_relational 8345 132 0.015818 0.186836 0.849140 0.014295 0.004809 0.013520 -0.002298 0.087530 0.553030 0.151139 0.267988 0.066294 0.628788 0.119942 0.233146 0.055123 0.696970 0.102165 0.209376 0.047939 0.757576 0.090171 0.191278 5 khoa_tieng_anh suite23 8345 132 0.015818 0.169630 0.839033 0.014347 0.003938 0.018568 0.002750 0.074341 0.469697 0.128364 0.227606 0.058307 0.553030 0.105491 0.205056 0.050330 0.636364 0.093282 0.191170 0.045062 0.712121 0.084761 0.179801 5 khoa_tieng_anh suite23_graph 8345 132 0.015818 0.106655 0.811528 0.015069 0.007138 0.010774 -0.005044 0.076739 0.484848 0.132505 0.234949 0.057508 0.545455 0.104046 0.202247 0.047334 0.598485 0.087729 0.179791 0.041227 0.651515 0.077547 0.164499 5 khoa_tieng_anh suite24_evidence_residual 8345 132 0.015818 0.179731 0.835677 0.014356 0.008959 0.007791 -0.008027 0.070743 0.446970 0.122153 0.216593 0.056709 0.537879 0.102601 0.199438 0.047334 0.598485 0.087729 0.179791 0.044104 0.696970 0.082958 0.175976 5 khoa_tieng_anh suite24_graph_standalone 8345 132 0.015818 0.130248 0.791924 0.014823 0.008475 0.007382 -0.008436 0.064748 0.409091 0.111801 0.198238 0.057508 0.545455 0.104046 0.202247 0.047334 0.598485 0.087729 0.179791 0.040748 0.643939 0.076646 0.162586 5 khoa_tieng_anh suite24_history_residual 8345 132 0.015818 0.161402 0.838789 0.014438 0.008652 0.009093 -0.006725 0.073141 0.462121 0.126294 0.223935 0.056709 0.537879 0.102601 0.199438 0.049131 0.621212 0.091061 0.186618 0.046021 0.727273 0.086564 0.183627 5 khoa_tieng_anh suite24_posthoc_blend 8345 132 0.015818 0.170673 0.825164 0.014435 0.004149 0.011669 -0.004149 0.068345 0.431818 0.118012 0.209251 0.057508 0.545455 0.104046 0.202247 0.049730 0.628788 0.092171 0.188894 0.043145 0.681818 0.081154 0.172150 5 khoa_tieng_anh suite24_safe_scale 8345 132 0.015818 0.163997 0.834710 0.014342 0.005590 0.010636 -0.005182 0.071942 0.454545 0.124224 0.220264 0.058307 0.553030 0.105491 0.205056 0.048532 0.613636 0.089950 0.184342 0.043145 0.681818 0.081154 0.172150 5 khoa_tieng_anh suite24_structural_residual 8345 132 0.015818 0.176037 0.858333 0.014316 0.006515 0.009517 -0.006301 0.081535 0.515152 0.140787 0.249633 0.067093 0.636364 0.121387 0.235955 0.055123 0.696970 0.102165 0.209376 0.049856 0.787879 0.093778 0.198929 5 khoa_tieng_bo_dao_nha committee 1138 80 0.070299 0.312913 0.859511 0.055648 0.021055 0.086369 0.016070 0.350877 0.500000 0.412371 0.460829 0.292398 0.625000 0.398406 0.509165 0.245614 0.700000 0.363636 0.510949 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite14 1138 80 0.070299 0.312913 0.859511 0.055648 0.021055 0.086369 0.016070 0.350877 0.500000 0.412371 0.460829 0.292398 0.625000 0.398406 0.509165 0.245614 0.700000 0.363636 0.510949 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite16 1138 80 0.070299 0.298032 0.859983 0.139784 0.204791 0.275089 0.204791 0.342105 0.487500 0.402062 0.449309 0.298246 0.637500 0.406375 0.519348 0.258772 0.737500 0.383117 0.538321 0.214789 0.762500 0.335165 0.504967 5 khoa_tieng_bo_dao_nha suite17 1138 80 0.070299 0.314971 0.870510 0.055328 0.020889 0.088255 0.017956 0.350877 0.500000 0.412371 0.460829 0.298246 0.637500 0.406375 0.519348 0.258772 0.737500 0.383117 0.538321 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite18 1138 80 0.070299 0.317035 0.871337 0.055267 0.021950 0.088628 0.018329 0.359649 0.512500 0.422680 0.472350 0.304094 0.650000 0.414343 0.529532 0.263158 0.750000 0.389610 0.547445 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite20 1138 80 0.070299 0.314786 0.864272 0.138032 0.165329 0.235628 0.165329 0.350877 0.500000 0.412371 0.460829 0.304094 0.650000 0.414343 0.529532 0.254386 0.725000 0.376623 0.529197 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite21 1138 80 0.070299 0.318277 0.861000 0.059254 0.038254 0.108553 0.038254 0.385965 0.550000 0.453608 0.506912 0.280702 0.600000 0.382470 0.488798 0.236842 0.675000 0.350649 0.492701 0.228873 0.812500 0.357143 0.538079 5 khoa_tieng_bo_dao_nha suite22 1138 80 0.070299 0.331490 0.871255 0.054561 0.021398 0.088414 0.018115 0.368421 0.525000 0.432990 0.483871 0.304094 0.650000 0.414343 0.529532 0.263158 0.750000 0.389610 0.547445 0.225352 0.800000 0.351648 0.529801 5 khoa_tieng_bo_dao_nha suite22_primary 1138 80 0.070299 0.363765 0.883589 0.056326 0.035329 0.105627 0.035329 0.359649 0.512500 0.422680 0.472350 0.292398 0.625000 0.398406 0.509165 0.267544 0.762500 0.396104 0.556569 0.225352 0.800000 0.351648 0.529801 5 khoa_tieng_bo_dao_nha suite22_relational 1138 80 0.070299 0.376075 0.879407 0.055545 0.040618 0.040062 -0.030237 0.385965 0.550000 0.453608 0.506912 0.321637 0.687500 0.438247 0.560081 0.263158 0.750000 0.389610 0.547445 0.225352 0.800000 0.351648 0.529801 5 khoa_tieng_bo_dao_nha suite23 1138 80 0.070299 0.328460 0.867876 0.054356 0.011894 0.073319 0.003020 0.368421 0.525000 0.432990 0.483871 0.309942 0.662500 0.422311 0.539715 0.258772 0.737500 0.383117 0.538321 0.211268 0.750000 0.329670 0.496689 5 khoa_tieng_bo_dao_nha suite23_graph 1138 80 0.070299 0.370697 0.866966 0.054968 0.024040 0.054909 -0.015390 0.315789 0.450000 0.371134 0.414747 0.274854 0.587500 0.374502 0.478615 0.232456 0.662500 0.344156 0.483577 0.211268 0.750000 0.329670 0.496689 5 khoa_tieng_bo_dao_nha suite24_evidence_residual 1138 80 0.070299 0.317686 0.860952 0.057536 0.035416 0.044604 -0.025695 0.350877 0.500000 0.412371 0.460829 0.321637 0.687500 0.438247 0.560081 0.263158 0.750000 0.389610 0.547445 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite24_graph_standalone 1138 80 0.070299 0.445323 0.867746 0.054907 0.041776 0.028523 -0.041776 0.359649 0.512500 0.422680 0.472350 0.292398 0.625000 0.398406 0.509165 0.245614 0.700000 0.363636 0.510949 0.214789 0.762500 0.335165 0.504967 5 khoa_tieng_bo_dao_nha suite24_history_residual 1138 80 0.070299 0.310039 0.863422 0.056437 0.028098 0.052475 -0.017823 0.350877 0.500000 0.412371 0.460829 0.298246 0.637500 0.406375 0.519348 0.258772 0.737500 0.383117 0.538321 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite24_posthoc_blend 1138 80 0.070299 0.432150 0.871727 0.053179 0.024241 0.046058 -0.024241 0.350877 0.500000 0.412371 0.460829 0.309942 0.662500 0.422311 0.539715 0.250000 0.712500 0.370130 0.520073 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite24_safe_scale 1138 80 0.070299 0.310531 0.860834 0.056034 0.023990 0.056099 -0.014200 0.377193 0.537500 0.443299 0.495392 0.304094 0.650000 0.414343 0.529532 0.263158 0.750000 0.389610 0.547445 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite24_structural_residual 1138 80 0.070299 0.258855 0.848358 0.060342 0.036130 0.050679 -0.019620 0.271930 0.387500 0.319588 0.357143 0.304094 0.650000 0.414343 0.529532 0.254386 0.725000 0.376623 0.529197 0.214789 0.762500 0.335165 0.504967 5 khoa_tieng_duc committee 1975 59 0.029873 0.160231 0.868436 0.026970 0.012039 0.041836 0.011963 0.151515 0.508475 0.233463 0.345622 0.135135 0.677966 0.225352 0.375940 0.111392 0.745763 0.193833 0.348653 0.101215 0.847458 0.180832 0.342466 5 khoa_tieng_duc suite14 1975 59 0.029873 0.160231 0.868436 0.026970 0.012039 0.041836 0.011963 0.151515 0.508475 0.233463 0.345622 0.135135 0.677966 0.225352 0.375940 0.111392 0.745763 0.193833 0.348653 0.101215 0.847458 0.180832 0.342466 5 khoa_tieng_duc suite16 1975 59 0.029873 0.202287 0.882192 0.074061 0.147266 0.177139 0.147266 0.191919 0.644068 0.295720 0.437788 0.135135 0.677966 0.225352 0.375940 0.111392 0.745763 0.193833 0.348653 0.103239 0.864407 0.184448 0.349315 5 khoa_tieng_duc suite17 1975 59 0.029873 0.175483 0.873779 0.026741 0.015514 0.045387 0.015514 0.161616 0.542373 0.249027 0.368664 0.135135 0.677966 0.225352 0.375940 0.108861 0.728814 0.189427 0.340729 0.099190 0.830508 0.177215 0.335616 5 khoa_tieng_duc suite18 1975 59 0.029873 0.178440 0.878928 0.026656 0.015456 0.045330 0.015456 0.166667 0.559322 0.256809 0.380184 0.135135 0.677966 0.225352 0.375940 0.118987 0.796610 0.207048 0.372425 0.099190 0.830508 0.177215 0.335616 5 khoa_tieng_duc suite20 1975 59 0.029873 0.241251 0.835573 0.108066 0.151646 0.181519 0.151646 0.156566 0.525424 0.241245 0.357143 0.121622 0.610169 0.202817 0.338346 0.116456 0.779661 0.202643 0.364501 0.101215 0.847458 0.180832 0.342466 5 khoa_tieng_duc suite21 1975 59 0.029873 0.213181 0.878636 0.026657 0.019599 0.049473 0.019599 0.156566 0.525424 0.241245 0.357143 0.135135 0.677966 0.225352 0.375940 0.121519 0.813559 0.211454 0.380349 0.099190 0.830508 0.177215 0.335616 5 khoa_tieng_duc suite22 1975 59 0.029873 0.206841 0.868998 0.026348 0.008697 0.038300 0.008426 0.151515 0.508475 0.233463 0.345622 0.135135 0.677966 0.225352 0.375940 0.108861 0.728814 0.189427 0.340729 0.105263 0.881356 0.188065 0.356164 5 khoa_tieng_duc suite22_primary 1975 59 0.029873 0.266571 0.852986 0.027360 0.014497 0.040016 0.010143 0.151515 0.508475 0.233463 0.345622 0.111486 0.559322 0.185915 0.310150 0.101266 0.677966 0.176211 0.316957 0.099190 0.830508 0.177215 0.335616 5 khoa_tieng_duc suite22_relational 1975 59 0.029873 0.269250 0.861275 0.025463 0.010448 0.029017 -0.000857 0.196970 0.661017 0.303502 0.449309 0.141892 0.711864 0.236620 0.394737 0.113924 0.762712 0.198238 0.356577 0.097166 0.813559 0.173599 0.328767 5 khoa_tieng_duc suite23 1975 59 0.029873 0.185088 0.880480 0.026259 0.008335 0.035650 0.005777 0.171717 0.576271 0.264591 0.391705 0.138514 0.694915 0.230986 0.385338 0.121519 0.813559 0.211454 0.380349 0.099190 0.830508 0.177215 0.335616 5 khoa_tieng_duc suite23_graph 1975 59 0.029873 0.224356 0.869016 0.025721 0.006064 0.030923 0.001050 0.176768 0.593220 0.272374 0.403226 0.125000 0.627119 0.208451 0.347744 0.113924 0.762712 0.198238 0.356577 0.099190 0.830508 0.177215 0.335616 5 khoa_tieng_duc suite24_evidence_residual 1975 59 0.029873 0.205457 0.878667 0.026932 0.015325 0.014548 -0.015325 0.171717 0.576271 0.264591 0.391705 0.152027 0.762712 0.253521 0.422932 0.121519 0.813559 0.211454 0.380349 0.103239 0.864407 0.184448 0.349315 5 khoa_tieng_duc suite24_graph_standalone 1975 59 0.029873 0.233093 0.870617 0.026920 0.019241 0.011491 -0.018383 0.171717 0.576271 0.264591 0.391705 0.131757 0.661017 0.219718 0.366541 0.113924 0.762712 0.198238 0.356577 0.097166 0.813559 0.173599 0.328767 5 khoa_tieng_duc suite24_history_residual 1975 59 0.029873 0.189661 0.875367 0.027182 0.015912 0.014825 -0.015049 0.171717 0.576271 0.264591 0.391705 0.141892 0.711864 0.236620 0.394737 0.118987 0.796610 0.207048 0.372425 0.103239 0.864407 0.184448 0.349315 5 khoa_tieng_duc suite24_posthoc_blend 1975 59 0.029873 0.218618 0.883576 0.026418 0.010229 0.019700 -0.010173 0.181818 0.610169 0.280156 0.414747 0.141892 0.711864 0.236620 0.394737 0.124051 0.830508 0.215859 0.388273 0.101215 0.847458 0.180832 0.342466 5 khoa_tieng_duc suite24_safe_scale 1975 59 0.029873 0.173338 0.874598 0.026973 0.010939 0.019384 -0.010490 0.156566 0.525424 0.241245 0.357143 0.138514 0.694915 0.230986 0.385338 0.121519 0.813559 0.211454 0.380349 0.103239 0.864407 0.184448 0.349315 5 khoa_tieng_duc suite24_structural_residual 1975 59 0.029873 0.185321 0.881896 0.027103 0.014460 0.015585 -0.014289 0.171717 0.576271 0.264591 0.391705 0.141892 0.711864 0.236620 0.394737 0.124051 0.830508 0.215859 0.388273 0.105263 0.881356 0.188065 0.356164 5 khoa_tieng_han_quoc committee 3573 67 0.018752 0.191086 0.891608 0.016747 0.003539 0.020391 0.001639 0.109244 0.582090 0.183962 0.312000 0.097015 0.776119 0.172471 0.323383 0.078322 0.835821 0.143223 0.284842 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite14 3573 67 0.018752 0.191086 0.891608 0.016747 0.003539 0.020391 0.001639 0.109244 0.582090 0.183962 0.312000 0.097015 0.776119 0.172471 0.323383 0.078322 0.835821 0.143223 0.284842 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite16 3573 67 0.018752 0.205513 0.905631 0.030966 0.058064 0.076816 0.058064 0.128852 0.686567 0.216981 0.368000 0.102612 0.820896 0.182421 0.342040 0.081119 0.865672 0.148338 0.295015 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite17 3573 67 0.018752 0.202184 0.905495 0.016616 0.004917 0.023617 0.004866 0.126050 0.671642 0.212264 0.360000 0.104478 0.835821 0.185738 0.348259 0.082517 0.880597 0.150895 0.300102 0.069429 0.925373 0.129167 0.267011 5 khoa_tieng_han_quoc suite18 3573 67 0.018752 0.197592 0.901208 0.016686 0.005527 0.023672 0.004920 0.126050 0.671642 0.212264 0.360000 0.100746 0.805970 0.179104 0.335821 0.082517 0.880597 0.150895 0.300102 0.068309 0.910448 0.127083 0.262705 5 khoa_tieng_han_quoc suite20 3573 67 0.018752 0.204068 0.897308 0.078270 0.129231 0.147983 0.129231 0.137255 0.731343 0.231132 0.392000 0.098881 0.791045 0.175788 0.329602 0.078322 0.835821 0.143223 0.284842 0.068309 0.910448 0.127083 0.262705 5 khoa_tieng_han_quoc suite21 3573 67 0.018752 0.182205 0.898986 0.016663 0.003400 0.019344 0.000592 0.131653 0.701493 0.221698 0.376000 0.102612 0.820896 0.182421 0.342040 0.079720 0.850746 0.145780 0.289929 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite22 3573 67 0.018752 0.221774 0.903730 0.016545 0.002388 0.019067 0.000315 0.123249 0.656716 0.207547 0.352000 0.102612 0.820896 0.182421 0.342040 0.082517 0.880597 0.150895 0.300102 0.068309 0.910448 0.127083 0.262705 5 khoa_tieng_han_quoc suite22_primary 3573 67 0.018752 0.207559 0.901401 0.016469 0.004942 0.019654 0.000902 0.126050 0.671642 0.212264 0.360000 0.091418 0.731343 0.162521 0.304726 0.081119 0.865672 0.148338 0.295015 0.066069 0.880597 0.122917 0.254091 5 khoa_tieng_han_quoc suite22_relational 3573 67 0.018752 0.235304 0.892828 0.016180 0.006914 0.021637 0.002885 0.117647 0.626866 0.198113 0.336000 0.097015 0.776119 0.172471 0.323383 0.076923 0.820896 0.140665 0.279756 0.064950 0.865672 0.120833 0.249785 5 khoa_tieng_han_quoc suite23 3573 67 0.018752 0.191086 0.891608 0.016747 0.003539 0.020391 0.001639 0.109244 0.582090 0.183962 0.312000 0.097015 0.776119 0.172471 0.323383 0.078322 0.835821 0.143223 0.284842 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite23_graph 3573 67 0.018752 0.197931 0.919285 0.017332 0.011660 0.007654 -0.011098 0.137255 0.731343 0.231132 0.392000 0.108209 0.865672 0.192371 0.360697 0.082517 0.880597 0.150895 0.300102 0.069429 0.925373 0.129167 0.267011 5 khoa_tieng_han_quoc suite24_evidence_residual 3573 67 0.018752 0.205784 0.892568 0.017591 0.013764 0.004988 -0.013764 0.117647 0.626866 0.198113 0.336000 0.097015 0.776119 0.172471 0.323383 0.078322 0.835821 0.143223 0.284842 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite24_graph_standalone 3573 67 0.018752 0.138785 0.843386 0.018436 0.017101 0.002866 -0.015886 0.095238 0.507463 0.160377 0.272000 0.080224 0.641791 0.142620 0.267413 0.069930 0.746269 0.127877 0.254323 0.061590 0.820896 0.114583 0.236865 5 khoa_tieng_han_quoc suite24_history_residual 3573 67 0.018752 0.193801 0.893905 0.017398 0.012457 0.006295 -0.012457 0.112045 0.597015 0.188679 0.320000 0.100746 0.805970 0.179104 0.335821 0.078322 0.835821 0.143223 0.284842 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite24_posthoc_blend 3573 67 0.018752 0.170360 0.886468 0.017678 0.013457 0.005985 -0.012766 0.126050 0.671642 0.212264 0.360000 0.098881 0.791045 0.175788 0.329602 0.076923 0.820896 0.140665 0.279756 0.064950 0.865672 0.120833 0.249785 5 khoa_tieng_han_quoc suite24_safe_scale 3573 67 0.018752 0.188187 0.891955 0.017258 0.011029 0.007723 -0.011029 0.109244 0.582090 0.183962 0.312000 0.097015 0.776119 0.172471 0.323383 0.078322 0.835821 0.143223 0.284842 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite24_structural_residual 3573 67 0.018752 0.239354 0.898192 0.017235 0.012256 0.006496 -0.012256 0.131653 0.701493 0.221698 0.376000 0.102612 0.820896 0.182421 0.342040 0.079720 0.850746 0.145780 0.289929 0.068309 0.910448 0.127083 0.262705 5 khoa_tieng_italia committee 2129 83 0.038985 0.215484 0.790605 0.034617 0.012862 0.050240 0.011255 0.159624 0.409639 0.229730 0.311927 0.137931 0.530120 0.218905 0.337942 0.124413 0.638554 0.208251 0.349604 0.112782 0.722892 0.195122 0.347222 5 khoa_tieng_italia suite14 2129 83 0.038985 0.215484 0.790605 0.034617 0.012862 0.050240 0.011255 0.159624 0.409639 0.229730 0.311927 0.137931 0.530120 0.218905 0.337942 0.124413 0.638554 0.208251 0.349604 0.112782 0.722892 0.195122 0.347222 5 khoa_tieng_italia suite16 2129 83 0.038985 0.227578 0.798249 0.080552 0.148323 0.187309 0.148323 0.173709 0.445783 0.250000 0.339450 0.150470 0.578313 0.238806 0.368664 0.119718 0.614458 0.200393 0.336412 0.112782 0.722892 0.195122 0.347222 5 khoa_tieng_italia suite17 2129 83 0.038985 0.216127 0.802265 0.034552 0.016212 0.053889 0.014903 0.178404 0.457831 0.256757 0.348624 0.144201 0.554217 0.228856 0.353303 0.124413 0.638554 0.208251 0.349604 0.116541 0.746988 0.201626 0.358796 5 khoa_tieng_italia suite18 2129 83 0.038985 0.226988 0.804279 0.034551 0.016347 0.054073 0.015088 0.178404 0.457831 0.256757 0.348624 0.144201 0.554217 0.228856 0.353303 0.126761 0.650602 0.212181 0.356201 0.114662 0.734940 0.198374 0.353009 5 khoa_tieng_italia suite20 2129 83 0.038985 0.173013 0.826352 0.076229 0.103848 0.142834 0.103848 0.164319 0.421687 0.236486 0.321101 0.141066 0.542169 0.223881 0.345622 0.122066 0.626506 0.204322 0.343008 0.109023 0.698795 0.188618 0.335648 5 khoa_tieng_italia suite21 2129 83 0.038985 0.166010 0.786410 0.036688 0.018033 0.057018 0.018033 0.150235 0.385542 0.216216 0.293578 0.134796 0.518072 0.213930 0.330261 0.115023 0.590361 0.192534 0.323219 0.110902 0.710843 0.191870 0.341435 5 khoa_tieng_italia suite22 2129 83 0.038985 0.212746 0.795178 0.034572 0.007637 0.043424 0.004438 0.164319 0.421687 0.236486 0.321101 0.131661 0.506024 0.208955 0.322581 0.119718 0.614458 0.200393 0.336412 0.116541 0.746988 0.201626 0.358796 5 khoa_tieng_italia suite22_primary 2129 83 0.038985 0.201378 0.774915 0.036533 0.026018 0.040197 0.001212 0.122066 0.313253 0.175676 0.238532 0.109718 0.421687 0.174129 0.268817 0.107981 0.554217 0.180747 0.303430 0.107143 0.686747 0.185366 0.329861 5 khoa_tieng_italia suite22_relational 2129 83 0.038985 0.130084 0.767743 0.037514 0.027980 0.019766 -0.019219 0.117371 0.301205 0.168919 0.229358 0.119122 0.457831 0.189055 0.291859 0.103286 0.530120 0.172888 0.290237 0.090226 0.578313 0.156098 0.277778 5 khoa_tieng_italia suite23 2129 83 0.038985 0.191886 0.786604 0.034656 0.005970 0.035116 -0.003870 0.159624 0.409639 0.229730 0.311927 0.134796 0.518072 0.213930 0.330261 0.126761 0.650602 0.212181 0.356201 0.103383 0.662651 0.178862 0.318287 5 khoa_tieng_italia suite23_graph 2129 83 0.038985 0.143377 0.765381 0.036109 0.020538 0.022626 -0.016359 0.136150 0.349398 0.195946 0.266055 0.119122 0.457831 0.189055 0.291859 0.110329 0.566265 0.184676 0.310026 0.095865 0.614458 0.165854 0.295139 5 khoa_tieng_italia suite24_evidence_residual 2129 83 0.038985 0.232644 0.802480 0.034732 0.025309 0.017739 -0.021246 0.173709 0.445783 0.250000 0.339450 0.150470 0.578313 0.238806 0.368664 0.124413 0.638554 0.208251 0.349604 0.109023 0.698795 0.188618 0.335648 5 khoa_tieng_italia suite24_graph_standalone 2129 83 0.038985 0.170090 0.787805 0.036279 0.028872 0.013015 -0.025971 0.164319 0.421687 0.236486 0.321101 0.137931 0.530120 0.218905 0.337942 0.122066 0.626506 0.204322 0.343008 0.105263 0.674699 0.182114 0.324074 5 khoa_tieng_italia suite24_history_residual 2129 83 0.038985 0.233229 0.788871 0.034720 0.025806 0.019085 -0.019900 0.178404 0.457831 0.256757 0.348624 0.137931 0.530120 0.218905 0.337942 0.115023 0.590361 0.192534 0.323219 0.110902 0.710843 0.191870 0.341435 5 khoa_tieng_italia suite24_posthoc_blend 2129 83 0.038985 0.189927 0.794159 0.034992 0.020941 0.022048 -0.016937 0.169014 0.433735 0.243243 0.330275 0.134796 0.518072 0.213930 0.330261 0.124413 0.638554 0.208251 0.349604 0.107143 0.686747 0.185366 0.329861 5 khoa_tieng_italia suite24_safe_scale 2129 83 0.038985 0.224599 0.795672 0.034607 0.018700 0.023909 -0.015077 0.169014 0.433735 0.243243 0.330275 0.141066 0.542169 0.223881 0.345622 0.124413 0.638554 0.208251 0.349604 0.112782 0.722892 0.195122 0.347222 5 khoa_tieng_italia suite24_structural_residual 2129 83 0.038985 0.230596 0.810394 0.034616 0.021357 0.019786 -0.019199 0.183099 0.469880 0.263514 0.357798 0.150470 0.578313 0.238806 0.368664 0.129108 0.662651 0.216110 0.362797 0.109023 0.698795 0.188618 0.335648 5 khoa_tieng_nga committee 2047 134 0.065462 0.465978 0.926089 0.045760 0.030811 0.096214 0.030752 0.414634 0.634328 0.501475 0.573549 0.338762 0.776119 0.471655 0.616845 0.290954 0.888060 0.438306 0.629630 0.244141 0.932836 0.386997 0.596374 5 khoa_tieng_nga suite14 2047 134 0.065462 0.480738 0.934260 0.046716 0.043760 0.109222 0.043760 0.409756 0.626866 0.495575 0.566802 0.358306 0.820896 0.498866 0.652432 0.298289 0.910448 0.449355 0.645503 0.248047 0.947761 0.393189 0.605916 5 khoa_tieng_nga suite16 2047 134 0.065462 0.466422 0.921934 0.120902 0.203914 0.269376 0.203914 0.414634 0.634328 0.501475 0.573549 0.325733 0.746269 0.453515 0.593120 0.281174 0.858209 0.423573 0.608466 0.244141 0.932836 0.386997 0.596374 5 khoa_tieng_nga suite17 2047 134 0.065462 0.467819 0.923694 0.046159 0.038407 0.099953 0.034491 0.400000 0.611940 0.483776 0.553306 0.338762 0.776119 0.471655 0.616845 0.293399 0.895522 0.441989 0.634921 0.236328 0.902985 0.374613 0.577290 5 khoa_tieng_nga suite18 2047 134 0.065462 0.469949 0.925223 0.046024 0.037416 0.100476 0.035015 0.404878 0.619403 0.489676 0.560054 0.338762 0.776119 0.471655 0.616845 0.290954 0.888060 0.438306 0.629630 0.238281 0.910448 0.377709 0.582061 5 khoa_tieng_nga suite20 2047 134 0.065462 0.408238 0.913485 0.110982 0.160892 0.226354 0.160892 0.375610 0.574627 0.454277 0.519568 0.332248 0.761194 0.462585 0.604982 0.283619 0.865672 0.427256 0.613757 0.234375 0.895522 0.371517 0.572519 5 khoa_tieng_nga suite21 2047 134 0.065462 0.475666 0.925660 0.048546 0.050328 0.115790 0.050328 0.400000 0.611940 0.483776 0.553306 0.342020 0.783582 0.476190 0.622776 0.281174 0.858209 0.423573 0.608466 0.244141 0.932836 0.386997 0.596374 5 khoa_tieng_nga suite22 2047 134 0.065462 0.493713 0.928833 0.044078 0.022050 0.087121 0.021660 0.409756 0.626866 0.495575 0.566802 0.351792 0.805970 0.489796 0.640569 0.290954 0.888060 0.438306 0.629630 0.246094 0.940299 0.390093 0.601145 5 khoa_tieng_nga suite22_primary 2047 134 0.065462 0.515900 0.924944 0.043081 0.013637 0.076566 0.011104 0.424390 0.649254 0.513274 0.587045 0.351792 0.805970 0.489796 0.640569 0.283619 0.865672 0.427256 0.613757 0.238281 0.910448 0.377709 0.582061 5 khoa_tieng_nga suite22_relational 2047 134 0.065462 0.504120 0.905181 0.043788 0.019070 0.055368 -0.010094 0.424390 0.649254 0.513274 0.587045 0.332248 0.761194 0.462585 0.604982 0.264059 0.805970 0.397790 0.571429 0.218750 0.835821 0.346749 0.534351 5 khoa_tieng_nga suite23 2047 134 0.065462 0.478671 0.929376 0.044281 0.028356 0.085028 0.019566 0.404878 0.619403 0.489676 0.560054 0.351792 0.805970 0.489796 0.640569 0.295844 0.902985 0.445672 0.640212 0.242188 0.925373 0.383901 0.591603 5 khoa_tieng_nga suite23_graph 2047 134 0.065462 0.496562 0.914641 0.044549 0.019400 0.046736 -0.018725 0.400000 0.611940 0.483776 0.553306 0.332248 0.761194 0.462585 0.604982 0.268949 0.820896 0.405157 0.582011 0.230469 0.880597 0.365325 0.562977 5 khoa_tieng_nga suite24_evidence_residual 2047 134 0.065462 0.478848 0.921687 0.044704 0.019556 0.058975 -0.006487 0.419512 0.641791 0.507375 0.580297 0.342020 0.783582 0.476190 0.622776 0.273839 0.835821 0.412523 0.592593 0.234375 0.895522 0.371517 0.572519 5 khoa_tieng_nga suite24_graph_standalone 2047 134 0.065462 0.522348 0.917817 0.046276 0.031628 0.033834 -0.031628 0.443902 0.679104 0.536873 0.614035 0.328990 0.753731 0.458050 0.599051 0.261614 0.798507 0.394107 0.566138 0.230469 0.880597 0.365325 0.562977 5 khoa_tieng_nga suite24_history_residual 2047 134 0.065462 0.452441 0.918187 0.046356 0.016255 0.065145 -0.000316 0.385366 0.589552 0.466077 0.533063 0.328990 0.753731 0.458050 0.599051 0.268949 0.820896 0.405157 0.582011 0.234375 0.895522 0.371517 0.572519 5 khoa_tieng_nga suite24_posthoc_blend 2047 134 0.065462 0.522048 0.927710 0.042964 0.012894 0.054974 -0.010488 0.429268 0.656716 0.519174 0.593792 0.338762 0.776119 0.471655 0.616845 0.286064 0.873134 0.430939 0.619048 0.236328 0.902985 0.374613 0.577290 5 khoa_tieng_nga suite24_safe_scale 2047 134 0.065462 0.473070 0.926820 0.045167 0.016200 0.068754 0.003292 0.409756 0.626866 0.495575 0.566802 0.345277 0.791045 0.480726 0.628707 0.286064 0.873134 0.430939 0.619048 0.240234 0.917910 0.380805 0.586832 5 khoa_tieng_nga suite24_structural_residual 2047 134 0.065462 0.510218 0.929933 0.043228 0.016705 0.053665 -0.011796 0.443902 0.679104 0.536873 0.614035 0.342020 0.783582 0.476190 0.622776 0.281174 0.858209 0.423573 0.608466 0.240234 0.917910 0.380805 0.586832 5 khoa_tieng_nhat committee 2593 69 0.026610 0.226421 0.836164 0.023215 0.012741 0.036143 0.009533 0.119691 0.449275 0.189024 0.289720 0.113111 0.637681 0.192140 0.330827 0.102119 0.768116 0.180272 0.333333 0.081790 0.768116 0.147838 0.286797 5 khoa_tieng_nhat suite14 2593 69 0.026610 0.238167 0.836342 0.040956 0.067155 0.093765 0.067155 0.154440 0.579710 0.243902 0.373832 0.118252 0.666667 0.200873 0.345865 0.100193 0.753623 0.176871 0.327044 0.083333 0.782609 0.150628 0.292208 5 khoa_tieng_nhat suite16 2593 69 0.026610 0.252009 0.865488 0.054843 0.100309 0.126919 0.100309 0.154440 0.579710 0.243902 0.373832 0.125964 0.710145 0.213974 0.368421 0.104046 0.782609 0.183673 0.339623 0.089506 0.840580 0.161785 0.313853 5 khoa_tieng_nhat suite17 2593 69 0.026610 0.223935 0.849618 0.023779 0.015590 0.039713 0.013102 0.127413 0.478261 0.201220 0.308411 0.115681 0.652174 0.196507 0.338346 0.104046 0.782609 0.183673 0.339623 0.086420 0.811594 0.156206 0.303030 5 khoa_tieng_nhat suite18 2593 69 0.026610 0.227926 0.847424 0.023803 0.015403 0.039535 0.012925 0.131274 0.492754 0.207317 0.317757 0.115681 0.652174 0.196507 0.338346 0.102119 0.768116 0.180272 0.333333 0.086420 0.811594 0.156206 0.303030 5 khoa_tieng_nhat suite20 2593 69 0.026610 0.234734 0.878362 0.066173 0.088564 0.115174 0.088564 0.166023 0.623188 0.262195 0.401869 0.125964 0.710145 0.213974 0.368421 0.105973 0.797101 0.187075 0.345912 0.089506 0.840580 0.161785 0.313853 5 khoa_tieng_nhat suite21 2593 69 0.026610 0.233059 0.846787 0.023388 0.012051 0.037843 0.011233 0.119691 0.449275 0.189024 0.289720 0.118252 0.666667 0.200873 0.345865 0.102119 0.768116 0.180272 0.333333 0.087963 0.826087 0.158996 0.308442 5 khoa_tieng_nhat suite22 2593 69 0.026610 0.238576 0.855658 0.022787 0.005641 0.030890 0.004280 0.135135 0.507246 0.213415 0.327103 0.131105 0.739130 0.222707 0.383459 0.102119 0.768116 0.180272 0.333333 0.087963 0.826087 0.158996 0.308442 5 khoa_tieng_nhat suite22_primary 2593 69 0.026610 0.192955 0.878563 0.023744 0.006672 0.024840 -0.001771 0.162162 0.608696 0.256098 0.392523 0.138817 0.782609 0.235808 0.406015 0.107900 0.811594 0.190476 0.352201 0.089506 0.840580 0.161785 0.313853 5 khoa_tieng_nhat suite22_relational 2593 69 0.026610 0.264674 0.853046 0.022241 0.009107 0.021001 -0.005609 0.135135 0.507246 0.213415 0.327103 0.120823 0.681159 0.205240 0.353383 0.105973 0.797101 0.187075 0.345912 0.086420 0.811594 0.156206 0.303030 5 khoa_tieng_nhat suite23 2593 69 0.026610 0.252592 0.842911 0.022841 0.007520 0.019892 -0.006718 0.154440 0.579710 0.243902 0.373832 0.120823 0.681159 0.205240 0.353383 0.098266 0.739130 0.173469 0.320755 0.081790 0.768116 0.147838 0.286797 5 khoa_tieng_nhat suite23_graph 2593 69 0.026610 0.212255 0.809785 0.023961 0.013608 0.013002 -0.013608 0.146718 0.550725 0.231707 0.355140 0.113111 0.637681 0.192140 0.330827 0.094412 0.710145 0.166667 0.308176 0.081790 0.768116 0.147838 0.286797 5 khoa_tieng_nhat suite24_evidence_residual 2593 69 0.026610 0.244959 0.838897 0.022838 0.014819 0.012836 -0.013774 0.131274 0.492754 0.207317 0.317757 0.118252 0.666667 0.200873 0.345865 0.102119 0.768116 0.180272 0.333333 0.081790 0.768116 0.147838 0.286797 5 khoa_tieng_nhat suite24_graph_standalone 2593 69 0.026610 0.228315 0.785847 0.024741 0.021230 0.005380 -0.021230 0.131274 0.492754 0.207317 0.317757 0.110540 0.623188 0.187773 0.323308 0.086705 0.652174 0.153061 0.283019 0.074074 0.695652 0.133891 0.259740 5 khoa_tieng_nhat suite24_history_residual 2593 69 0.026610 0.228747 0.840740 0.023362 0.017200 0.012517 -0.014093 0.142857 0.536232 0.225610 0.345794 0.110540 0.623188 0.187773 0.323308 0.102119 0.768116 0.180272 0.333333 0.083333 0.782609 0.150628 0.292208 5 khoa_tieng_nhat suite24_posthoc_blend 2593 69 0.026610 0.255877 0.840488 0.023377 0.015075 0.011602 -0.015008 0.158301 0.594203 0.250000 0.383178 0.110540 0.623188 0.187773 0.323308 0.090559 0.681159 0.159864 0.295597 0.080247 0.753623 0.145049 0.281385 5 khoa_tieng_nhat suite24_safe_scale 2593 69 0.026610 0.235884 0.837743 0.022787 0.011996 0.017615 -0.008995 0.123552 0.463768 0.195122 0.299065 0.120823 0.681159 0.205240 0.353383 0.102119 0.768116 0.180272 0.333333 0.081790 0.768116 0.147838 0.286797 5 khoa_tieng_nhat suite24_structural_residual 2593 69 0.026610 0.229890 0.838926 0.022917 0.012507 0.015144 -0.011466 0.127413 0.478261 0.201220 0.308411 0.107969 0.608696 0.183406 0.315789 0.100193 0.753623 0.176871 0.327044 0.081790 0.768116 0.147838 0.286797 5 khoa_tieng_phap committee 2983 57 0.019108 0.254867 0.867558 0.016187 0.009773 0.027354 0.008246 0.137584 0.719298 0.230986 0.389734 0.093960 0.736842 0.166667 0.311111 0.075377 0.789474 0.137615 0.272727 0.061662 0.807018 0.114570 0.236140 5 khoa_tieng_phap suite14 2983 57 0.019108 0.253675 0.861070 0.024482 0.035378 0.054486 0.035378 0.107383 0.561404 0.180282 0.304183 0.080537 0.631579 0.142857 0.266667 0.072027 0.754386 0.131498 0.260606 0.064343 0.842105 0.119552 0.246407 5 khoa_tieng_phap suite16 2983 57 0.019108 0.253456 0.856193 0.041610 0.086931 0.106039 0.086931 0.127517 0.666667 0.214085 0.361217 0.091723 0.719298 0.162698 0.303704 0.070352 0.736842 0.128440 0.254545 0.057641 0.754386 0.107098 0.220739 5 khoa_tieng_phap suite17 2983 57 0.019108 0.252468 0.870747 0.016323 0.012909 0.029779 0.010670 0.134228 0.701754 0.225352 0.380228 0.091723 0.719298 0.162698 0.303704 0.072027 0.754386 0.131498 0.260606 0.061662 0.807018 0.114570 0.236140 5 khoa_tieng_phap suite18 2983 57 0.019108 0.257220 0.866658 0.016303 0.012840 0.029731 0.010623 0.134228 0.701754 0.225352 0.380228 0.091723 0.719298 0.162698 0.303704 0.070352 0.736842 0.128440 0.254545 0.058981 0.771930 0.109589 0.225873 5 khoa_tieng_phap suite20 2983 57 0.019108 0.259962 0.872912 0.056957 0.092745 0.111853 0.092745 0.114094 0.596491 0.191549 0.323194 0.080537 0.631579 0.142857 0.266667 0.068677 0.719298 0.125382 0.248485 0.057641 0.754386 0.107098 0.220739 5 khoa_tieng_phap suite21 2983 57 0.019108 0.235027 0.874519 0.016880 0.012498 0.031324 0.012215 0.130872 0.684211 0.219718 0.370722 0.091723 0.719298 0.162698 0.303704 0.075377 0.789474 0.137615 0.272727 0.061662 0.807018 0.114570 0.236140 5 khoa_tieng_phap suite22 2983 57 0.019108 0.271606 0.876192 0.015960 0.009593 0.025958 0.006850 0.137584 0.719298 0.230986 0.389734 0.093960 0.736842 0.166667 0.311111 0.075377 0.789474 0.137615 0.272727 0.061662 0.807018 0.114570 0.236140 5 khoa_tieng_phap suite22_primary 2983 57 0.019108 0.272846 0.877793 0.016167 0.009196 0.027367 0.008259 0.130872 0.684211 0.219718 0.370722 0.087248 0.684211 0.154762 0.288889 0.073702 0.771930 0.134557 0.266667 0.058981 0.771930 0.109589 0.225873 5 khoa_tieng_phap suite22_relational 2983 57 0.019108 0.241195 0.867738 0.016363 0.008290 0.013060 -0.006048 0.114094 0.596491 0.191549 0.323194 0.085011 0.666667 0.150794 0.281481 0.068677 0.719298 0.125382 0.248485 0.058981 0.771930 0.109589 0.225873 5 khoa_tieng_phap suite23 2983 57 0.019108 0.249692 0.881390 0.016091 0.006920 0.022612 0.003504 0.134228 0.701754 0.225352 0.380228 0.096197 0.754386 0.170635 0.318519 0.073702 0.771930 0.134557 0.266667 0.058981 0.771930 0.109589 0.225873 5 khoa_tieng_phap suite23_graph 2983 57 0.019108 0.205914 0.879621 0.016799 0.003329 0.016047 -0.003061 0.130872 0.684211 0.219718 0.370722 0.091723 0.719298 0.162698 0.303704 0.072027 0.754386 0.131498 0.260606 0.061662 0.807018 0.114570 0.236140 5 khoa_tieng_phap suite24_evidence_residual 2983 57 0.019108 0.227054 0.868013 0.016803 0.009903 0.010882 -0.008226 0.134228 0.701754 0.225352 0.380228 0.096197 0.754386 0.170635 0.318519 0.073702 0.771930 0.134557 0.266667 0.061662 0.807018 0.114570 0.236140 5 khoa_tieng_phap suite24_graph_standalone 2983 57 0.019108 0.228738 0.857287 0.017016 0.010254 0.010620 -0.008488 0.114094 0.596491 0.191549 0.323194 0.091723 0.719298 0.162698 0.303704 0.075377 0.789474 0.137615 0.272727 0.060322 0.789474 0.112080 0.231006 5 khoa_tieng_phap suite24_history_residual 2983 57 0.019108 0.254121 0.872390 0.016508 0.009008 0.011525 -0.007583 0.137584 0.719298 0.230986 0.389734 0.093960 0.736842 0.166667 0.311111 0.075377 0.789474 0.137615 0.272727 0.063003 0.824561 0.117061 0.241273 5 khoa_tieng_phap suite24_posthoc_blend 2983 57 0.019108 0.268257 0.875772 0.016262 0.004532 0.014927 -0.004182 0.134228 0.701754 0.225352 0.380228 0.093960 0.736842 0.166667 0.311111 0.073702 0.771930 0.134557 0.266667 0.063003 0.824561 0.117061 0.241273 5 khoa_tieng_phap suite24_safe_scale 2983 57 0.019108 0.246014 0.869159 0.016402 0.007630 0.013251 -0.005857 0.130872 0.684211 0.219718 0.370722 0.096197 0.754386 0.170635 0.318519 0.075377 0.789474 0.137615 0.272727 0.061662 0.807018 0.114570 0.236140 5 khoa_tieng_phap suite24_structural_residual 2983 57 0.019108 0.245899 0.876054 0.016344 0.007962 0.013809 -0.005299 0.134228 0.701754 0.225352 0.380228 0.093960 0.736842 0.166667 0.311111 0.075377 0.789474 0.137615 0.272727 0.060322 0.789474 0.112080 0.231006 ============================================================================================================================================================================ SUITE24 TARGET FOLD 6 ============================================================================================================================================================================ [DATA] history=470,165 fail=10,533 (2.24%) train=358,455 validation=111,710 target=43,359 fail=2,395 (5.52%) [EVIDENCE CACHE] history... [EVIDENCE CACHE] 25,000/470,165 [EVIDENCE CACHE] 50,000/470,165 [EVIDENCE CACHE] 75,000/470,165 [EVIDENCE CACHE] 100,000/470,165 [EVIDENCE CACHE] 125,000/470,165 [EVIDENCE CACHE] 150,000/470,165 [EVIDENCE CACHE] 175,000/470,165 [EVIDENCE CACHE] 200,000/470,165 [EVIDENCE CACHE] 225,000/470,165 [EVIDENCE CACHE] 250,000/470,165 [EVIDENCE CACHE] 275,000/470,165 [EVIDENCE CACHE] 300,000/470,165 [EVIDENCE CACHE] 325,000/470,165 [EVIDENCE CACHE] 350,000/470,165 [EVIDENCE CACHE] 375,000/470,165 [EVIDENCE CACHE] 400,000/470,165 [EVIDENCE CACHE] 425,000/470,165 [EVIDENCE CACHE] 450,000/470,165 [EVIDENCE CACHE] target... [EVIDENCE CACHE] 25,000/43,359 FOLD 6 SUITE24 EVIDENCE SUPPORT — TARGET -------------------------------------------------------------------------------- faculty rows prevalence history_courses_mean structural_courses_mean related_history_mean same_course_history_mean failed_history_mean direct_structural_mean history_zero_rate structural_zero_rate khoa_cong_nghe_thong_tin 5651 0.099628 15.611750 1.531410 0.455141 0.122633 2.279066 0.951336 0.0 0.404530 khoa_quan_tri_kinh_doanh_va_du_lich 7442 0.079683 15.491803 4.350712 0.896936 0.102392 1.890755 2.950148 0.0 0.088283 khoa_quoc_te_hoc 2466 0.024331 15.701135 4.536091 1.035685 0.069749 1.141119 3.882806 0.0 0.100973 khoa_tieng_anh 6204 0.019665 15.903288 4.288846 1.187460 0.047550 2.835106 4.034977 0.0 0.156028 khoa_tieng_bo_dao_nha 892 0.081839 15.845291 0.874439 0.340807 0.114350 1.815022 0.650224 0.0 0.614350 khoa_tieng_duc 1839 0.045677 15.889614 0.552474 0.226754 0.096792 1.312670 0.449701 0.0 0.769984 khoa_tieng_han_quoc 3277 0.037534 15.975587 1.434544 0.762893 0.023497 0.569118 1.204455 0.0 0.171498 khoa_tieng_italia 2026 0.046397 15.877098 2.456565 0.762093 0.137216 1.880553 2.015795 0.0 0.241362 khoa_tieng_nga 1842 0.111292 15.956026 1.299674 0.513572 0.103692 1.600977 0.864821 0.0 0.429425 khoa_tieng_nhat 2530 0.034783 15.954545 3.254150 0.949407 0.038735 0.708696 2.538340 0.0 0.131621 khoa_tieng_phap 2263 0.022095 15.948741 3.493593 1.092797 0.066284 0.940345 2.971277 0.0 0.138754 khoa_tieng_tay_ban_nha 1333 0.063766 15.942236 3.385596 1.114779 0.062266 1.444861 2.708927 0.0 0.065266 khoa_tieng_trung_quoc 4990 0.033467 15.911824 1.150501 0.655912 0.048497 2.012024 0.966934 0.0 0.303006 khoa_viet_nam_hoc 604 0.145695 10.743377 0.000000 0.000000 0.086093 1.589404 0.000000 0.0 1.000000 [CHRONOLOGY AUDIT] violations=0 / 513,524 | strict historical interaction semester < query semester ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_history_residual] [SELECT HISTORY] epoch=01/10 loss=0.15736 macroAP=0.3101 F2@20=0.3738 Brier=0.0272 corr=0.2259 gate=0.5000 best=01 [SELECT HISTORY] epoch=02/10 loss=0.14234 macroAP=0.3119 F2@20=0.3717 Brier=0.0265 corr=0.3180 gate=0.5000 best=02 [SELECT HISTORY] epoch=03/10 loss=0.14063 macroAP=0.3115 F2@20=0.3697 Brier=0.0268 corr=0.3357 gate=0.5000 best=02 [SELECT HISTORY] epoch=04/10 loss=0.13752 macroAP=0.3109 F2@20=0.3715 Brier=0.0266 corr=0.3451 gate=0.5000 best=02 [SELECT HISTORY] epoch=05/10 loss=0.13522 macroAP=0.3066 F2@20=0.3739 Brier=0.0269 corr=0.3587 gate=0.5000 best=02 [REFIT HISTORY] epoch=01/2 loss=0.16441 corr=0.1922 [REFIT HISTORY] epoch=02/2 loss=0.15605 corr=0.2586 [VARIANT suite24_history_residual] selected_epochs=2 target macroAP=0.3753 ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_structural_residual] [SELECT STRUCTURAL] epoch=01/10 loss=0.15287 macroAP=0.3157 F2@20=0.3719 Brier=0.0276 corr=0.3151 gate=0.8362 best=01 [SELECT STRUCTURAL] epoch=02/10 loss=0.14286 macroAP=0.3097 F2@20=0.3681 Brier=0.0277 corr=0.4196 gate=0.8362 best=01 [SELECT STRUCTURAL] epoch=03/10 loss=0.13687 macroAP=0.3181 F2@20=0.3731 Brier=0.0265 corr=0.4670 gate=0.8361 best=03 [SELECT STRUCTURAL] epoch=04/10 loss=0.13809 macroAP=0.3125 F2@20=0.3683 Brier=0.0270 corr=0.4900 gate=0.8356 best=03 [SELECT STRUCTURAL] epoch=05/10 loss=0.12699 macroAP=0.3190 F2@20=0.3729 Brier=0.0268 corr=0.5080 gate=0.8353 best=05 [SELECT STRUCTURAL] epoch=06/10 loss=0.12583 macroAP=0.3108 F2@20=0.3644 Brier=0.0270 corr=0.5276 gate=0.8355 best=05 [SELECT STRUCTURAL] epoch=07/10 loss=0.12240 macroAP=0.3163 F2@20=0.3669 Brier=0.0270 corr=0.5414 gate=0.8359 best=05 [SELECT STRUCTURAL] epoch=08/10 loss=0.12108 macroAP=0.3227 F2@20=0.3708 Brier=0.0269 corr=0.5513 gate=0.8362 best=08 [SELECT STRUCTURAL] epoch=09/10 loss=0.12133 macroAP=0.3001 F2@20=0.3593 Brier=0.0275 corr=0.5883 gate=0.8357 best=08 [SELECT STRUCTURAL] epoch=10/10 loss=0.11651 macroAP=0.3055 F2@20=0.3655 Brier=0.0270 corr=0.5822 gate=0.8356 best=08 [REFIT STRUCTURAL] epoch=01/8 loss=0.16248 corr=0.2719 [REFIT STRUCTURAL] epoch=08/8 loss=0.13505 corr=0.4903 [VARIANT suite24_structural_residual] selected_epochs=8 target macroAP=0.3650 ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_evidence_residual] [SELECT EVIDENCE] epoch=01/10 loss=0.15684 macroAP=0.3210 F2@20=0.3795 Brier=0.0263 corr=0.1320 gate=0.3177 best=01 [SELECT EVIDENCE] epoch=02/10 loss=0.15371 macroAP=0.3127 F2@20=0.3702 Brier=0.0265 corr=0.1995 gate=0.3613 best=01 [SELECT EVIDENCE] epoch=03/10 loss=0.14089 macroAP=0.3150 F2@20=0.3727 Brier=0.0263 corr=0.2622 gate=0.4025 best=01 [SELECT EVIDENCE] epoch=04/10 loss=0.13814 macroAP=0.3166 F2@20=0.3731 Brier=0.0263 corr=0.3160 gate=0.4398 best=01 [SELECT EVIDENCE] epoch=05/10 loss=0.13842 macroAP=0.3187 F2@20=0.3716 Brier=0.0262 corr=0.3660 gate=0.4760 best=01 [REFIT EVIDENCE] epoch=01/1 loss=0.16632 corr=0.1240 [VARIANT suite24_evidence_residual] selected_epochs=1 target macroAP=0.3665 [SAFE SCALE] selected lambda=1.00 policyAP=0.2879 policyF2=0.4005 [POSTHOC BLEND ABLATION] selected alpha=0.50 policyAP=0.2884 SUITE24 TARGET FOLD 6 — NEW + AVAILABLE REFERENCE RESULTS -------------------------------------------------------------------------------- fold faculty model rows failures prevalence ap auc brier ece10 mean_score calibration_gap precision_at_10 recall_at_10 f1_at_10 fbeta_at_10 precision_at_15 recall_at_15 f1_at_15 fbeta_at_15 precision_at_20 recall_at_20 f1_at_20 fbeta_at_20 precision_at_25 recall_at_25 f1_at_25 fbeta_at_25 6 khoa_cong_nghe_thong_tin committee 5651 563 0.099628 0.372426 0.836092 0.075250 0.023372 0.080206 -0.019422 0.396460 0.397869 0.397163 0.397586 0.354953 0.534636 0.426648 0.485484 0.319469 0.641208 0.426462 0.533708 0.281670 0.706927 0.402834 0.542974 6 khoa_cong_nghe_thong_tin council 5651 563 0.099628 0.420301 0.845960 0.073227 0.025329 0.124958 0.025329 0.456637 0.458259 0.457447 0.457934 0.377358 0.568384 0.453579 0.516129 0.330088 0.662522 0.440638 0.551449 0.290163 0.728242 0.414980 0.559345 6 khoa_cong_nghe_thong_tin suite14 5651 563 0.099628 0.408607 0.840564 0.087683 0.071141 0.170769 0.071141 0.423009 0.424512 0.423759 0.424210 0.353774 0.532860 0.425230 0.483871 0.311504 0.625222 0.415830 0.520402 0.280255 0.703375 0.400810 0.540246 6 khoa_cong_nghe_thong_tin suite16 5651 563 0.099628 0.394136 0.844240 0.080863 0.056059 0.155688 0.056059 0.424779 0.426288 0.425532 0.425985 0.370283 0.557726 0.445074 0.506452 0.321239 0.644760 0.428825 0.536665 0.288040 0.722913 0.411943 0.555252 6 khoa_cong_nghe_thong_tin suite17 5651 563 0.099628 0.387149 0.843400 0.073935 0.017863 0.081924 -0.017704 0.408850 0.410302 0.409574 0.410011 0.367925 0.554174 0.442240 0.503226 0.315044 0.632327 0.420555 0.526316 0.288747 0.724689 0.412955 0.556617 6 khoa_cong_nghe_thong_tin suite18 5651 563 0.099628 0.385139 0.842567 0.074014 0.017669 0.082120 -0.017509 0.414159 0.415631 0.414894 0.415335 0.366745 0.552398 0.440822 0.501613 0.316814 0.635879 0.422918 0.529273 0.287332 0.721137 0.410931 0.553888 6 khoa_cong_nghe_thong_tin suite20 5651 563 0.099628 0.409966 0.837632 0.090171 0.094695 0.194323 0.094695 0.412389 0.413854 0.413121 0.413561 0.376179 0.566607 0.452162 0.514516 0.321239 0.644760 0.428825 0.536665 0.281670 0.706927 0.402834 0.542974 6 khoa_cong_nghe_thong_tin suite21 5651 563 0.099628 0.380537 0.839752 0.074606 0.022878 0.080525 -0.019103 0.398230 0.399645 0.398936 0.399361 0.365566 0.550622 0.439405 0.500000 0.320354 0.642984 0.427643 0.535186 0.288040 0.722913 0.411943 0.555252 6 khoa_cong_nghe_thong_tin suite22 5651 563 0.099628 0.408999 0.844096 0.074655 0.034956 0.064938 -0.034690 0.426549 0.428064 0.427305 0.427760 0.370283 0.557726 0.445074 0.506452 0.323009 0.648313 0.431187 0.539622 0.284501 0.714032 0.406883 0.548431 6 khoa_cong_nghe_thong_tin suite22_primary 5651 563 0.099628 0.387553 0.824326 0.077004 0.040389 0.059319 -0.040309 0.387611 0.388988 0.388298 0.388711 0.338443 0.509769 0.406804 0.462903 0.295575 0.593250 0.394566 0.493791 0.263270 0.660746 0.376518 0.507503 6 khoa_cong_nghe_thong_tin suite22_relational 5651 563 0.099628 0.402086 0.834900 0.078263 0.056033 0.043852 -0.055777 0.412389 0.413854 0.413121 0.413561 0.353774 0.532860 0.425230 0.483871 0.315044 0.632327 0.420555 0.526316 0.273885 0.687389 0.391700 0.527967 6 khoa_cong_nghe_thong_tin suite23 5651 563 0.099628 0.421851 0.846548 0.073929 0.032805 0.066824 -0.032805 0.431858 0.433393 0.432624 0.433085 0.372642 0.561279 0.447909 0.509677 0.327434 0.657194 0.437094 0.547014 0.285209 0.715808 0.407895 0.549795 6 khoa_cong_nghe_thong_tin suite23_graph 5651 563 0.099628 0.409848 0.830127 0.076080 0.037398 0.062231 -0.037398 0.398230 0.399645 0.398936 0.399361 0.352594 0.531083 0.423813 0.482258 0.312389 0.626998 0.417011 0.521881 0.275301 0.690941 0.393725 0.530696 6 khoa_cong_nghe_thong_tin suite24_evidence_residual 5651 563 0.099628 0.391240 0.842047 0.078482 0.053459 0.047153 -0.052475 0.421239 0.422735 0.421986 0.422435 0.360849 0.543517 0.433735 0.493548 0.323894 0.650089 0.432369 0.541100 0.284501 0.714032 0.406883 0.548431 6 khoa_cong_nghe_thong_tin suite24_graph_standalone 5651 563 0.099628 0.377144 0.807077 0.076313 0.023712 0.075917 -0.023712 0.394690 0.396092 0.395390 0.395811 0.338443 0.509769 0.406804 0.462903 0.292920 0.587922 0.391022 0.489355 0.257608 0.646536 0.368421 0.496589 6 khoa_cong_nghe_thong_tin suite24_history_residual 5651 563 0.099628 0.397512 0.842620 0.077692 0.055007 0.048651 -0.050977 0.424779 0.426288 0.425532 0.425985 0.367925 0.554174 0.442240 0.503226 0.323009 0.648313 0.431187 0.539622 0.285209 0.715808 0.407895 0.549795 6 khoa_cong_nghe_thong_tin suite24_posthoc_blend 5651 563 0.099628 0.415863 0.839693 0.073764 0.026935 0.072694 -0.026935 0.423009 0.424512 0.423759 0.424210 0.370283 0.557726 0.445074 0.506452 0.313274 0.628774 0.418193 0.523359 0.277424 0.696270 0.396761 0.534789 6 khoa_cong_nghe_thong_tin suite24_safe_scale 5651 563 0.099628 0.391240 0.842047 0.078482 0.053459 0.047153 -0.052475 0.421239 0.422735 0.421986 0.422435 0.360849 0.543517 0.433735 0.493548 0.323894 0.650089 0.432369 0.541100 0.284501 0.714032 0.406883 0.548431 6 khoa_cong_nghe_thong_tin suite24_structural_residual 5651 563 0.099628 0.401610 0.846738 0.077391 0.052009 0.049564 -0.050064 0.426549 0.428064 0.427305 0.427760 0.366745 0.552398 0.440822 0.501613 0.324779 0.651865 0.433550 0.542578 0.292994 0.735346 0.419028 0.564802 6 khoa_cong_nghe_thong_tin v2 5651 563 0.099628 0.389334 0.839027 0.135528 0.162595 0.262224 0.162595 0.419469 0.420959 0.420213 0.420660 0.357311 0.538188 0.429483 0.488710 0.318584 0.639432 0.425281 0.532229 0.287332 0.721137 0.410931 0.553888 6 khoa_quan_tri_kinh_doanh_va_du_lich committee 7442 593 0.079683 0.377681 0.858278 0.060618 0.019649 0.062955 -0.016728 0.376344 0.472175 0.418848 0.449294 0.323477 0.608769 0.422469 0.517489 0.278226 0.698145 0.397886 0.536269 0.238710 0.748735 0.362006 0.524575 6 khoa_quan_tri_kinh_doanh_va_du_lich suite14 7442 593 0.079683 0.373873 0.857022 0.062246 0.018562 0.098245 0.018562 0.364247 0.456998 0.405385 0.434852 0.317204 0.596965 0.414277 0.507454 0.274194 0.688027 0.392119 0.528497 0.239785 0.752108 0.363636 0.526938 6 khoa_quan_tri_kinh_doanh_va_du_lich suite16 7442 593 0.079683 0.384463 0.868429 0.066177 0.050005 0.129688 0.050005 0.380376 0.477234 0.423336 0.454108 0.334229 0.629005 0.436513 0.534690 0.290323 0.728499 0.415185 0.559585 0.247849 0.777403 0.375866 0.544660 6 khoa_quan_tri_kinh_doanh_va_du_lich suite17 7442 593 0.079683 0.393085 0.867847 0.058972 0.011181 0.068502 -0.011181 0.391129 0.490725 0.435303 0.466945 0.337814 0.635750 0.441194 0.540424 0.288306 0.723440 0.412302 0.555699 0.245161 0.768971 0.371790 0.538752 6 khoa_quan_tri_kinh_doanh_va_du_lich suite18 7442 593 0.079683 0.391809 0.868214 0.059038 0.011383 0.068300 -0.011383 0.388441 0.487352 0.432311 0.463736 0.336022 0.632378 0.438853 0.537557 0.288306 0.723440 0.412302 0.555699 0.246237 0.772344 0.373420 0.541115 6 khoa_quan_tri_kinh_doanh_va_du_lich suite20 7442 593 0.079683 0.369619 0.867786 0.062940 0.031531 0.111214 0.031531 0.388441 0.487352 0.432311 0.463736 0.353943 0.666105 0.462259 0.566227 0.295699 0.741990 0.422874 0.569948 0.253226 0.794266 0.384020 0.556474 6 khoa_quan_tri_kinh_doanh_va_du_lich suite21 7442 593 0.079683 0.382240 0.860933 0.060422 0.020289 0.062166 -0.017517 0.381720 0.478921 0.424832 0.455712 0.323477 0.608769 0.422469 0.517489 0.279570 0.701518 0.399808 0.538860 0.240860 0.755481 0.365267 0.529301 6 khoa_quan_tri_kinh_doanh_va_du_lich suite22 7442 593 0.079683 0.425635 0.869400 0.061069 0.036555 0.043231 -0.036451 0.409946 0.514334 0.456245 0.489409 0.338710 0.637437 0.442364 0.541858 0.287634 0.721754 0.411341 0.554404 0.250000 0.784148 0.379128 0.549386 6 khoa_quan_tri_kinh_doanh_va_du_lich suite22_primary 7442 593 0.079683 0.424153 0.846648 0.062828 0.045119 0.034564 -0.045119 0.387097 0.485666 0.430815 0.462131 0.318996 0.600337 0.416618 0.510321 0.264785 0.664418 0.378664 0.510363 0.225806 0.708263 0.342438 0.496219 6 khoa_quan_tri_kinh_doanh_va_du_lich suite22_relational 7442 593 0.079683 0.444914 0.869305 0.061582 0.044942 0.034797 -0.044886 0.415323 0.521079 0.462229 0.495828 0.348566 0.655987 0.455237 0.557626 0.288306 0.723440 0.412302 0.555699 0.251075 0.787521 0.380758 0.551749 6 khoa_quan_tri_kinh_doanh_va_du_lich suite23 7442 593 0.079683 0.412969 0.871645 0.059060 0.020688 0.058995 -0.020688 0.393817 0.494098 0.438295 0.470154 0.344982 0.649241 0.450556 0.551892 0.289651 0.726813 0.414224 0.558290 0.250000 0.784148 0.379128 0.549386 6 khoa_quan_tri_kinh_doanh_va_du_lich suite23_graph 7442 593 0.079683 0.416356 0.864695 0.058572 0.018885 0.060797 -0.018885 0.391129 0.490725 0.435303 0.466945 0.314516 0.591906 0.410767 0.503154 0.278226 0.698145 0.397886 0.536269 0.252688 0.792580 0.383204 0.555293 6 khoa_quan_tri_kinh_doanh_va_du_lich suite24_evidence_residual 7442 593 0.079683 0.399002 0.865254 0.062538 0.040606 0.039255 -0.040428 0.384409 0.482293 0.427823 0.458922 0.333333 0.627319 0.435342 0.533257 0.279570 0.701518 0.399808 0.538860 0.242473 0.760540 0.367713 0.532845 6 khoa_quan_tri_kinh_doanh_va_du_lich suite24_graph_standalone 7442 593 0.079683 0.397982 0.848542 0.059257 0.009781 0.080090 0.000407 0.366935 0.460371 0.408377 0.438062 0.302867 0.569983 0.395553 0.484518 0.269489 0.676223 0.385392 0.519430 0.240860 0.755481 0.365267 0.529301 6 khoa_quan_tri_kinh_doanh_va_du_lich suite24_history_residual 7442 593 0.079683 0.407597 0.868153 0.063133 0.044818 0.035304 -0.044379 0.397849 0.499157 0.442782 0.474968 0.330645 0.622260 0.431831 0.528956 0.283602 0.711636 0.405574 0.546632 0.246774 0.774030 0.374236 0.542297 6 khoa_quan_tri_kinh_doanh_va_du_lich suite24_posthoc_blend 7442 593 0.079683 0.437881 0.872856 0.057935 0.015035 0.064870 -0.014813 0.408602 0.512648 0.454749 0.487805 0.340502 0.640809 0.444705 0.544725 0.287634 0.721754 0.411341 0.554404 0.251613 0.789207 0.381574 0.552930 6 khoa_quan_tri_kinh_doanh_va_du_lich suite24_safe_scale 7442 593 0.079683 0.399002 0.865254 0.062538 0.040606 0.039255 -0.040428 0.384409 0.482293 0.427823 0.458922 0.333333 0.627319 0.435342 0.533257 0.279570 0.701518 0.399808 0.538860 0.242473 0.760540 0.367713 0.532845 6 khoa_quan_tri_kinh_doanh_va_du_lich suite24_structural_residual 7442 593 0.079683 0.405254 0.860643 0.063218 0.045161 0.035331 -0.044352 0.387097 0.485666 0.430815 0.462131 0.328853 0.618887 0.429491 0.526089 0.279570 0.701518 0.399808 0.538860 0.240860 0.755481 0.365267 0.529301 6 khoa_quoc_te_hoc committee 2466 60 0.024331 0.277844 0.823937 0.021457 0.010890 0.033573 0.009242 0.113360 0.466667 0.182410 0.287474 0.091892 0.566667 0.158140 0.278689 0.081136 0.666667 0.144665 0.272851 0.074675 0.766667 0.136095 0.268692 6 khoa_quoc_te_hoc suite14 2466 60 0.024331 0.255004 0.837105 0.036916 0.073214 0.097391 0.073060 0.125506 0.516667 0.201954 0.318275 0.097297 0.600000 0.167442 0.295082 0.077079 0.633333 0.137432 0.259209 0.073052 0.750000 0.133136 0.262850 6 khoa_quoc_te_hoc suite16 2466 60 0.024331 0.296696 0.839852 0.031355 0.049272 0.072816 0.048485 0.125506 0.516667 0.201954 0.318275 0.105405 0.650000 0.181395 0.319672 0.085193 0.700000 0.151899 0.286494 0.073052 0.750000 0.133136 0.262850 6 khoa_quoc_te_hoc suite17 2466 60 0.024331 0.283949 0.842172 0.022469 0.016384 0.037948 0.013617 0.129555 0.533333 0.208469 0.328542 0.097297 0.600000 0.167442 0.295082 0.087221 0.716667 0.155515 0.293315 0.073052 0.750000 0.133136 0.262850 6 khoa_quoc_te_hoc suite18 2466 60 0.024331 0.291278 0.843551 0.022357 0.015319 0.037575 0.013244 0.129555 0.533333 0.208469 0.328542 0.100000 0.616667 0.172093 0.303279 0.087221 0.716667 0.155515 0.293315 0.074675 0.766667 0.136095 0.268692 6 khoa_quoc_te_hoc suite20 2466 60 0.024331 0.118150 0.809217 0.057422 0.080081 0.104412 0.080081 0.113360 0.466667 0.182410 0.287474 0.094595 0.583333 0.162791 0.286885 0.073022 0.600000 0.130199 0.245566 0.066558 0.683333 0.121302 0.239486 6 khoa_quoc_te_hoc suite21 2466 60 0.024331 0.275382 0.825966 0.021208 0.009555 0.032238 0.007907 0.117409 0.483333 0.188925 0.297741 0.097297 0.600000 0.167442 0.295082 0.081136 0.666667 0.144665 0.272851 0.073052 0.750000 0.133136 0.262850 6 khoa_quoc_te_hoc suite22 2466 60 0.024331 0.244673 0.821834 0.021389 0.007749 0.017157 -0.007174 0.129555 0.533333 0.208469 0.328542 0.089189 0.550000 0.153488 0.270492 0.081136 0.666667 0.144665 0.272851 0.069805 0.716667 0.127219 0.251168 6 khoa_quoc_te_hoc suite22_primary 2466 60 0.024331 0.145340 0.786028 0.022720 0.014429 0.011163 -0.013167 0.101215 0.416667 0.162866 0.256674 0.078378 0.483333 0.134884 0.237705 0.066937 0.550000 0.119349 0.225102 0.060065 0.616667 0.109467 0.216121 6 khoa_quoc_te_hoc suite22_relational 2466 60 0.024331 0.171401 0.825859 0.022325 0.012860 0.012147 -0.012184 0.109312 0.450000 0.175896 0.277207 0.094595 0.583333 0.162791 0.286885 0.081136 0.666667 0.144665 0.272851 0.073052 0.750000 0.133136 0.262850 6 khoa_quoc_te_hoc suite23 2466 60 0.024331 0.283862 0.831657 0.021033 0.010461 0.032609 0.008278 0.133603 0.550000 0.214984 0.338809 0.094595 0.583333 0.162791 0.286885 0.083164 0.683333 0.148282 0.279673 0.073052 0.750000 0.133136 0.262850 6 khoa_quoc_te_hoc suite23_graph 2466 60 0.024331 0.172933 0.821211 0.022354 0.017402 0.040165 0.015834 0.109312 0.450000 0.175896 0.277207 0.091892 0.566667 0.158140 0.278689 0.077079 0.633333 0.137432 0.259209 0.073052 0.750000 0.133136 0.262850 6 khoa_quoc_te_hoc suite24_evidence_residual 2466 60 0.024331 0.265786 0.824591 0.020771 0.008066 0.019591 -0.004739 0.117409 0.483333 0.188925 0.297741 0.091892 0.566667 0.158140 0.278689 0.077079 0.633333 0.137432 0.259209 0.069805 0.716667 0.127219 0.251168 6 khoa_quoc_te_hoc suite24_graph_standalone 2466 60 0.024331 0.178137 0.803851 0.022715 0.017781 0.041435 0.017104 0.109312 0.450000 0.175896 0.277207 0.078378 0.483333 0.134884 0.237705 0.068966 0.566667 0.122966 0.231924 0.064935 0.666667 0.118343 0.233645 6 khoa_quoc_te_hoc suite24_history_residual 2466 60 0.024331 0.284740 0.846751 0.020460 0.007219 0.019642 -0.004689 0.133603 0.550000 0.214984 0.338809 0.094595 0.583333 0.162791 0.286885 0.089249 0.733333 0.159132 0.300136 0.074675 0.766667 0.136095 0.268692 6 khoa_quoc_te_hoc suite24_posthoc_blend 2466 60 0.024331 0.261474 0.835197 0.021130 0.010843 0.032154 0.007823 0.129555 0.533333 0.208469 0.328542 0.097297 0.600000 0.167442 0.295082 0.081136 0.666667 0.144665 0.272851 0.071429 0.733333 0.130178 0.257009 6 khoa_quoc_te_hoc suite24_safe_scale 2466 60 0.024331 0.265786 0.824591 0.020771 0.008066 0.019591 -0.004739 0.117409 0.483333 0.188925 0.297741 0.091892 0.566667 0.158140 0.278689 0.077079 0.633333 0.137432 0.259209 0.069805 0.716667 0.127219 0.251168 6 khoa_quoc_te_hoc suite24_structural_residual 2466 60 0.024331 0.257255 0.827314 0.020978 0.010245 0.022221 -0.002110 0.121457 0.500000 0.195440 0.308008 0.091892 0.566667 0.158140 0.278689 0.081136 0.666667 0.144665 0.272851 0.073052 0.750000 0.133136 0.262850 6 khoa_tieng_anh committee 6204 122 0.019665 0.288202 0.825577 0.017505 0.011554 0.031088 0.011423 0.101613 0.516393 0.169811 0.284296 0.074114 0.565574 0.131054 0.243129 0.062047 0.631148 0.112986 0.222672 0.053514 0.680328 0.099223 0.203531 6 khoa_tieng_anh suite14 6204 122 0.019665 0.276804 0.829832 0.025224 0.045142 0.064645 0.044980 0.106452 0.540984 0.177898 0.297834 0.081633 0.622951 0.144349 0.267794 0.067687 0.688525 0.123258 0.242915 0.056093 0.713115 0.104005 0.213340 6 khoa_tieng_anh suite16 6204 122 0.019665 0.286351 0.820979 0.028001 0.050506 0.070171 0.050506 0.098387 0.500000 0.164420 0.275271 0.076262 0.581967 0.134853 0.250176 0.061241 0.622951 0.111519 0.219780 0.054159 0.688525 0.100418 0.205983 6 khoa_tieng_anh suite17 6204 122 0.019665 0.298938 0.826866 0.017430 0.013762 0.032612 0.012948 0.101613 0.516393 0.169811 0.284296 0.077336 0.590164 0.136752 0.253700 0.062047 0.631148 0.112986 0.222672 0.054159 0.688525 0.100418 0.205983 6 khoa_tieng_anh suite18 6204 122 0.019665 0.302783 0.833912 0.017518 0.013998 0.033113 0.013448 0.101613 0.516393 0.169811 0.284296 0.077336 0.590164 0.136752 0.253700 0.061241 0.622951 0.111519 0.219780 0.055448 0.704918 0.102809 0.210888 6 khoa_tieng_anh suite20 6204 122 0.019665 0.250822 0.811606 0.030760 0.048560 0.068225 0.048560 0.106452 0.540984 0.177898 0.297834 0.084855 0.647541 0.150047 0.278365 0.067687 0.688525 0.123258 0.242915 0.057382 0.729508 0.106396 0.218244 6 khoa_tieng_anh suite21 6204 122 0.019665 0.290274 0.830087 0.017464 0.011239 0.030773 0.011108 0.103226 0.524590 0.172507 0.288809 0.076262 0.581967 0.134853 0.250176 0.062853 0.639344 0.114453 0.225564 0.054159 0.688525 0.100418 0.205983 6 khoa_tieng_anh suite22 6204 122 0.019665 0.279098 0.833959 0.016454 0.005096 0.016873 -0.002791 0.119355 0.606557 0.199461 0.333935 0.090226 0.688525 0.159544 0.295983 0.070105 0.713115 0.127660 0.251591 0.058027 0.737705 0.107591 0.220696 6 khoa_tieng_anh suite22_primary 6204 122 0.019665 0.213729 0.813002 0.017188 0.009268 0.011748 -0.007917 0.109677 0.557377 0.183288 0.306859 0.082707 0.631148 0.146249 0.271318 0.069299 0.704918 0.126192 0.248699 0.059317 0.754098 0.109982 0.225601 6 khoa_tieng_anh suite22_relational 6204 122 0.019665 0.253209 0.847568 0.016821 0.007983 0.011752 -0.007913 0.124194 0.631148 0.207547 0.347473 0.092374 0.704918 0.163343 0.303030 0.074134 0.754098 0.134996 0.266050 0.061896 0.786885 0.114764 0.235410 6 khoa_tieng_anh suite23 6204 122 0.019665 0.298306 0.828175 0.016412 0.007820 0.027011 0.007346 0.106452 0.540984 0.177898 0.297834 0.075188 0.573770 0.132953 0.246653 0.062853 0.639344 0.114453 0.225564 0.055448 0.704918 0.102809 0.210888 6 khoa_tieng_anh suite23_graph 6204 122 0.019665 0.196078 0.800501 0.018400 0.011039 0.030450 0.010785 0.096774 0.491803 0.161725 0.270758 0.080559 0.614754 0.142450 0.264271 0.066076 0.672131 0.120323 0.237131 0.056093 0.713115 0.104005 0.213340 6 khoa_tieng_anh suite24_evidence_residual 6204 122 0.019665 0.317064 0.841773 0.016101 0.007986 0.017056 -0.002609 0.108065 0.549180 0.180593 0.302347 0.080559 0.614754 0.142450 0.264271 0.066076 0.672131 0.120323 0.237131 0.057382 0.729508 0.106396 0.218244 6 khoa_tieng_anh suite24_graph_standalone 6204 122 0.019665 0.222575 0.813051 0.016995 0.007082 0.024959 0.005294 0.109677 0.557377 0.183288 0.306859 0.079484 0.606557 0.140551 0.260747 0.063658 0.647541 0.115921 0.228456 0.056093 0.713115 0.104005 0.213340 6 khoa_tieng_anh suite24_history_residual 6204 122 0.019665 0.318033 0.842692 0.015946 0.006430 0.016329 -0.003336 0.108065 0.549180 0.180593 0.302347 0.079484 0.606557 0.140551 0.260747 0.065270 0.663934 0.118855 0.234239 0.056738 0.721311 0.105200 0.215792 6 khoa_tieng_anh suite24_posthoc_blend 6204 122 0.019665 0.295528 0.838993 0.016175 0.005939 0.024048 0.004383 0.119355 0.606557 0.199461 0.333935 0.085929 0.655738 0.151947 0.281889 0.066882 0.680328 0.121790 0.240023 0.058027 0.737705 0.107591 0.220696 6 khoa_tieng_anh suite24_safe_scale 6204 122 0.019665 0.317064 0.841773 0.016101 0.007986 0.017056 -0.002609 0.108065 0.549180 0.180593 0.302347 0.080559 0.614754 0.142450 0.264271 0.066076 0.672131 0.120323 0.237131 0.057382 0.729508 0.106396 0.218244 6 khoa_tieng_anh suite24_structural_residual 6204 122 0.019665 0.281751 0.833586 0.016352 0.005312 0.017992 -0.001673 0.104839 0.532787 0.175202 0.293321 0.078410 0.598361 0.138651 0.257223 0.063658 0.647541 0.115921 0.228456 0.054159 0.688525 0.100418 0.205983 6 khoa_tieng_bo_dao_nha committee 892 73 0.081839 0.521049 0.880593 0.055004 0.028120 0.092157 0.010318 0.460674 0.561644 0.506173 0.538058 0.373134 0.684932 0.483092 0.586854 0.286517 0.698630 0.406375 0.542553 0.255605 0.780822 0.385135 0.553398 6 khoa_tieng_bo_dao_nha suite14 892 73 0.081839 0.493579 0.869721 0.082433 0.095324 0.167894 0.086056 0.460674 0.561644 0.506173 0.538058 0.350746 0.643836 0.454106 0.551643 0.297753 0.726027 0.422311 0.563830 0.255605 0.780822 0.385135 0.553398 6 khoa_tieng_bo_dao_nha suite16 892 73 0.081839 0.497832 0.884456 0.074888 0.076494 0.158333 0.076494 0.471910 0.575342 0.518519 0.551181 0.373134 0.684932 0.483092 0.586854 0.286517 0.698630 0.406375 0.542553 0.260090 0.794521 0.391892 0.563107 6 khoa_tieng_bo_dao_nha suite17 892 73 0.081839 0.529848 0.887735 0.055702 0.032786 0.093571 0.011733 0.460674 0.561644 0.506173 0.538058 0.365672 0.671233 0.473430 0.575117 0.303371 0.739726 0.430279 0.574468 0.255605 0.780822 0.385135 0.553398 6 khoa_tieng_bo_dao_nha suite18 892 73 0.081839 0.525607 0.887952 0.055966 0.037284 0.094295 0.012457 0.460674 0.561644 0.506173 0.538058 0.380597 0.698630 0.492754 0.598592 0.297753 0.726027 0.422311 0.563830 0.260090 0.794521 0.391892 0.563107 6 khoa_tieng_bo_dao_nha suite20 892 73 0.081839 0.390834 0.850570 0.138099 0.156388 0.238227 0.156388 0.393258 0.479452 0.432099 0.459318 0.328358 0.602740 0.425121 0.516432 0.269663 0.657534 0.382470 0.510638 0.233184 0.712329 0.351351 0.504854 6 khoa_tieng_bo_dao_nha suite21 892 73 0.081839 0.520012 0.879154 0.055579 0.027073 0.094707 0.012868 0.449438 0.547945 0.493827 0.524934 0.373134 0.684932 0.483092 0.586854 0.292135 0.712329 0.414343 0.553191 0.255605 0.780822 0.385135 0.553398 6 khoa_tieng_bo_dao_nha suite22 892 73 0.081839 0.508680 0.882533 0.055436 0.025070 0.060680 -0.021158 0.460674 0.561644 0.506173 0.538058 0.365672 0.671233 0.473430 0.575117 0.303371 0.739726 0.430279 0.574468 0.251121 0.767123 0.378378 0.543689 6 khoa_tieng_bo_dao_nha suite22_primary 892 73 0.081839 0.439787 0.867128 0.060997 0.038318 0.047614 -0.034225 0.393258 0.479452 0.432099 0.459318 0.328358 0.602740 0.425121 0.516432 0.286517 0.698630 0.406375 0.542553 0.237668 0.726027 0.358108 0.514563 6 khoa_tieng_bo_dao_nha suite22_relational 892 73 0.081839 0.439529 0.867296 0.060903 0.041846 0.042559 -0.039280 0.404494 0.493151 0.444444 0.472441 0.335821 0.616438 0.434783 0.528169 0.280899 0.684932 0.398406 0.531915 0.246637 0.753425 0.371622 0.533981 6 khoa_tieng_bo_dao_nha suite23 892 73 0.081839 0.521049 0.880593 0.055004 0.028120 0.092157 0.010318 0.460674 0.561644 0.506173 0.538058 0.373134 0.684932 0.483092 0.586854 0.286517 0.698630 0.406375 0.542553 0.255605 0.780822 0.385135 0.553398 6 khoa_tieng_bo_dao_nha suite23_graph 892 73 0.081839 0.477979 0.870908 0.056064 0.019767 0.075786 -0.006052 0.460674 0.561644 0.506173 0.538058 0.365672 0.671233 0.473430 0.575117 0.292135 0.712329 0.414343 0.553191 0.251121 0.767123 0.378378 0.543689 6 khoa_tieng_bo_dao_nha suite24_evidence_residual 892 73 0.081839 0.526707 0.882433 0.053781 0.027010 0.060095 -0.021744 0.460674 0.561644 0.506173 0.538058 0.365672 0.671233 0.473430 0.575117 0.292135 0.712329 0.414343 0.553191 0.260090 0.794521 0.391892 0.563107 6 khoa_tieng_bo_dao_nha suite24_graph_standalone 892 73 0.081839 0.453909 0.859819 0.058982 0.022753 0.079256 -0.002583 0.426966 0.520548 0.469136 0.498688 0.350746 0.643836 0.454106 0.551643 0.286517 0.698630 0.406375 0.542553 0.242152 0.739726 0.364865 0.524272 6 khoa_tieng_bo_dao_nha suite24_history_residual 892 73 0.081839 0.489808 0.876328 0.055434 0.024873 0.061550 -0.020289 0.449438 0.547945 0.493827 0.524934 0.350746 0.643836 0.454106 0.551643 0.292135 0.712329 0.414343 0.553191 0.260090 0.794521 0.391892 0.563107 6 khoa_tieng_bo_dao_nha suite24_posthoc_blend 892 73 0.081839 0.530877 0.885627 0.053730 0.018076 0.078274 -0.003564 0.516854 0.630137 0.567901 0.603675 0.358209 0.657534 0.463768 0.563380 0.308989 0.753425 0.438247 0.585106 0.255605 0.780822 0.385135 0.553398 6 khoa_tieng_bo_dao_nha suite24_safe_scale 892 73 0.081839 0.526707 0.882433 0.053781 0.027010 0.060095 -0.021744 0.460674 0.561644 0.506173 0.538058 0.365672 0.671233 0.473430 0.575117 0.292135 0.712329 0.414343 0.553191 0.260090 0.794521 0.391892 0.563107 6 khoa_tieng_bo_dao_nha suite24_structural_residual 892 73 0.081839 0.483756 0.877532 0.055549 0.027513 0.063724 -0.018115 0.438202 0.534247 0.481481 0.511811 0.365672 0.671233 0.473430 0.575117 0.297753 0.726027 0.422311 0.563830 0.251121 0.767123 0.378378 0.543689 6 khoa_tieng_duc committee 1839 84 0.045677 0.455834 0.922968 0.033443 0.012518 0.054016 0.008339 0.304348 0.666667 0.417910 0.538462 0.250000 0.821429 0.383333 0.563725 0.198370 0.869048 0.323009 0.518466 0.163043 0.892857 0.275735 0.471106 6 khoa_tieng_duc suite14 1839 84 0.045677 0.476797 0.933221 0.047978 0.073828 0.119505 0.073828 0.342391 0.750000 0.470149 0.605769 0.253623 0.833333 0.388889 0.571895 0.203804 0.892857 0.331858 0.532670 0.173913 0.952381 0.294118 0.502513 6 khoa_tieng_duc suite16 1839 84 0.045677 0.457941 0.929335 0.043164 0.046418 0.091659 0.045982 0.304348 0.666667 0.417910 0.538462 0.250000 0.821429 0.383333 0.563725 0.201087 0.880952 0.327434 0.525568 0.165217 0.904762 0.279412 0.477387 6 khoa_tieng_duc suite17 1839 84 0.045677 0.458582 0.930047 0.032535 0.011489 0.053582 0.007905 0.309783 0.678571 0.425373 0.548077 0.253623 0.833333 0.388889 0.571895 0.198370 0.869048 0.323009 0.518466 0.173913 0.952381 0.294118 0.502513 6 khoa_tieng_duc suite18 1839 84 0.045677 0.461428 0.930210 0.032505 0.012198 0.053574 0.007897 0.309783 0.678571 0.425373 0.548077 0.246377 0.809524 0.377778 0.555556 0.198370 0.869048 0.323009 0.518466 0.171739 0.940476 0.290441 0.496231 6 khoa_tieng_duc suite20 1839 84 0.045677 0.382837 0.927551 0.092818 0.145838 0.191515 0.145838 0.315217 0.690476 0.432836 0.557692 0.253623 0.833333 0.388889 0.571895 0.206522 0.904762 0.336283 0.539773 0.171739 0.940476 0.290441 0.496231 6 khoa_tieng_duc suite21 1839 84 0.045677 0.462564 0.927944 0.032905 0.010799 0.053971 0.008294 0.320652 0.702381 0.440299 0.567308 0.253623 0.833333 0.388889 0.571895 0.201087 0.880952 0.327434 0.525568 0.169565 0.928571 0.286765 0.489950 6 khoa_tieng_duc suite22 1839 84 0.045677 0.468225 0.928181 0.032510 0.013191 0.033541 -0.012136 0.309783 0.678571 0.425373 0.548077 0.260870 0.857143 0.400000 0.588235 0.201087 0.880952 0.327434 0.525568 0.165217 0.904762 0.279412 0.477387 6 khoa_tieng_duc suite22_primary 1839 84 0.045677 0.375872 0.885256 0.036107 0.019153 0.026709 -0.018968 0.288043 0.630952 0.395522 0.509615 0.221014 0.726190 0.338889 0.498366 0.176630 0.773810 0.287611 0.461648 0.145652 0.797619 0.246324 0.420854 6 khoa_tieng_duc suite22_relational 1839 84 0.045677 0.412426 0.911616 0.034934 0.020195 0.026025 -0.019652 0.315217 0.690476 0.432836 0.557692 0.235507 0.773810 0.361111 0.531046 0.187500 0.821429 0.305310 0.490057 0.158696 0.869048 0.268382 0.458543 6 khoa_tieng_duc suite23 1839 84 0.045677 0.415562 0.928666 0.032854 0.007216 0.046039 0.000362 0.320652 0.702381 0.440299 0.567308 0.242754 0.797619 0.372222 0.547386 0.209239 0.916667 0.340708 0.546875 0.169565 0.928571 0.286765 0.489950 6 khoa_tieng_duc suite23_graph 1839 84 0.045677 0.345671 0.906444 0.035023 0.011274 0.048424 0.002747 0.304348 0.666667 0.417910 0.538462 0.231884 0.761905 0.355556 0.522876 0.187500 0.821429 0.305310 0.490057 0.158696 0.869048 0.268382 0.458543 6 khoa_tieng_duc suite24_evidence_residual 1839 84 0.045677 0.447166 0.926974 0.032954 0.016564 0.034693 -0.010984 0.320652 0.702381 0.440299 0.567308 0.250000 0.821429 0.383333 0.563725 0.201087 0.880952 0.327434 0.525568 0.163043 0.892857 0.275735 0.471106 6 khoa_tieng_duc suite24_graph_standalone 1839 84 0.045677 0.347838 0.909812 0.035183 0.013273 0.053907 0.008230 0.288043 0.630952 0.395522 0.509615 0.228261 0.750000 0.350000 0.514706 0.184783 0.809524 0.300885 0.482955 0.156522 0.857143 0.264706 0.452261 6 khoa_tieng_duc suite24_history_residual 1839 84 0.045677 0.455944 0.925014 0.032406 0.012111 0.036719 -0.008958 0.298913 0.654762 0.410448 0.528846 0.250000 0.821429 0.383333 0.563725 0.201087 0.880952 0.327434 0.525568 0.165217 0.904762 0.279412 0.477387 6 khoa_tieng_duc suite24_posthoc_blend 1839 84 0.045677 0.439524 0.935189 0.032052 0.007489 0.047765 0.002088 0.315217 0.690476 0.432836 0.557692 0.253623 0.833333 0.388889 0.571895 0.203804 0.892857 0.331858 0.532670 0.171739 0.940476 0.290441 0.496231 6 khoa_tieng_duc suite24_safe_scale 1839 84 0.045677 0.447166 0.926974 0.032954 0.016564 0.034693 -0.010984 0.320652 0.702381 0.440299 0.567308 0.250000 0.821429 0.383333 0.563725 0.201087 0.880952 0.327434 0.525568 0.163043 0.892857 0.275735 0.471106 6 khoa_tieng_duc suite24_structural_residual 1839 84 0.045677 0.442569 0.926994 0.033117 0.015959 0.040671 -0.005006 0.304348 0.666667 0.417910 0.538462 0.250000 0.821429 0.383333 0.563725 0.201087 0.880952 0.327434 0.525568 0.165217 0.904762 0.279412 0.477387 6 khoa_tieng_han_quoc committee 3277 123 0.037534 0.253130 0.858679 0.032348 0.019293 0.027792 -0.009742 0.216463 0.577236 0.314856 0.432927 0.178862 0.715447 0.286179 0.447154 0.143511 0.764228 0.241645 0.409765 0.123321 0.821138 0.214437 0.385202 6 khoa_tieng_han_quoc suite14 3277 123 0.037534 0.274150 0.856393 0.039031 0.042920 0.080454 0.042920 0.234756 0.626016 0.341463 0.469512 0.174797 0.699187 0.279675 0.436992 0.143511 0.764228 0.241645 0.409765 0.122100 0.813008 0.212314 0.381388 6 khoa_tieng_han_quoc suite16 3277 123 0.037534 0.265785 0.865988 0.034751 0.019382 0.047157 0.009623 0.225610 0.601626 0.328160 0.451220 0.184959 0.739837 0.295935 0.462398 0.145038 0.772358 0.244216 0.414124 0.123321 0.821138 0.214437 0.385202 6 khoa_tieng_han_quoc suite17 3277 123 0.037534 0.270115 0.866704 0.031640 0.015351 0.031442 -0.006093 0.225610 0.601626 0.328160 0.451220 0.180894 0.723577 0.289431 0.452236 0.145038 0.772358 0.244216 0.414124 0.123321 0.821138 0.214437 0.385202 6 khoa_tieng_han_quoc suite18 3277 123 0.037534 0.268417 0.866591 0.031673 0.014826 0.031415 -0.006120 0.225610 0.601626 0.328160 0.451220 0.180894 0.723577 0.289431 0.452236 0.143511 0.764228 0.241645 0.409765 0.122100 0.813008 0.212314 0.381388 6 khoa_tieng_han_quoc suite20 3277 123 0.037534 0.246169 0.831274 0.080598 0.107509 0.145043 0.107509 0.182927 0.487805 0.266075 0.365854 0.158537 0.634146 0.253659 0.396341 0.132824 0.707317 0.223650 0.379250 0.114774 0.764228 0.199575 0.358505 6 khoa_tieng_han_quoc suite21 3277 123 0.037534 0.263040 0.860634 0.032002 0.017686 0.027312 -0.010223 0.225610 0.601626 0.328160 0.451220 0.176829 0.707317 0.282927 0.442073 0.140458 0.747967 0.236504 0.401046 0.120879 0.804878 0.210191 0.377574 6 khoa_tieng_han_quoc suite22 3277 123 0.037534 0.296354 0.865751 0.031882 0.019988 0.017733 -0.019802 0.246951 0.658537 0.359202 0.493902 0.176829 0.707317 0.282927 0.442073 0.141985 0.756098 0.239075 0.405405 0.122100 0.813008 0.212314 0.381388 6 khoa_tieng_han_quoc suite22_primary 3277 123 0.037534 0.265299 0.837893 0.032662 0.021212 0.016409 -0.021126 0.189024 0.504065 0.274945 0.378049 0.148374 0.593496 0.237398 0.370935 0.131298 0.699187 0.221080 0.374891 0.112332 0.747967 0.195329 0.350877 6 khoa_tieng_han_quoc suite22_relational 3277 123 0.037534 0.309439 0.853800 0.032025 0.024841 0.013136 -0.024398 0.192073 0.512195 0.279379 0.384146 0.158537 0.634146 0.253659 0.396341 0.137405 0.731707 0.231362 0.392328 0.117216 0.780488 0.203822 0.366133 6 khoa_tieng_han_quoc suite23 3277 123 0.037534 0.264688 0.858256 0.031939 0.017511 0.023890 -0.013644 0.225610 0.601626 0.328160 0.451220 0.176829 0.707317 0.282927 0.442073 0.141985 0.756098 0.239075 0.405405 0.118437 0.788618 0.205945 0.369947 6 khoa_tieng_han_quoc suite23_graph 3277 123 0.037534 0.231526 0.765368 0.032204 0.010878 0.029355 -0.008179 0.185976 0.495935 0.270510 0.371951 0.148374 0.593496 0.237398 0.370935 0.120611 0.642276 0.203085 0.344377 0.100122 0.666667 0.174098 0.312738 6 khoa_tieng_han_quoc suite24_evidence_residual 3277 123 0.037534 0.269686 0.857236 0.032516 0.022671 0.015764 -0.021770 0.225610 0.601626 0.328160 0.451220 0.178862 0.715447 0.286179 0.447154 0.141985 0.756098 0.239075 0.405405 0.123321 0.821138 0.214437 0.385202 6 khoa_tieng_han_quoc suite24_graph_standalone 3277 123 0.037534 0.252976 0.783955 0.032754 0.017530 0.020005 -0.017530 0.170732 0.455285 0.248337 0.341463 0.134146 0.536585 0.214634 0.335366 0.117557 0.626016 0.197943 0.335658 0.098901 0.658537 0.171975 0.308924 6 khoa_tieng_han_quoc suite24_history_residual 3277 123 0.037534 0.270497 0.857899 0.032302 0.022323 0.016900 -0.020634 0.222561 0.593496 0.323725 0.445122 0.174797 0.699187 0.279675 0.436992 0.141985 0.756098 0.239075 0.405405 0.123321 0.821138 0.214437 0.385202 6 khoa_tieng_han_quoc suite24_posthoc_blend 3277 123 0.037534 0.283787 0.857961 0.032064 0.018721 0.019174 -0.018360 0.240854 0.642276 0.350333 0.481707 0.178862 0.715447 0.286179 0.447154 0.143511 0.764228 0.241645 0.409765 0.120879 0.804878 0.210191 0.377574 6 khoa_tieng_han_quoc suite24_safe_scale 3277 123 0.037534 0.269686 0.857236 0.032516 0.022671 0.015764 -0.021770 0.225610 0.601626 0.328160 0.451220 0.178862 0.715447 0.286179 0.447154 0.141985 0.756098 0.239075 0.405405 0.123321 0.821138 0.214437 0.385202 6 khoa_tieng_han_quoc suite24_structural_residual 3277 123 0.037534 0.270275 0.865392 0.032263 0.022464 0.017091 -0.020443 0.225610 0.601626 0.328160 0.451220 0.172764 0.691057 0.276423 0.431911 0.141985 0.756098 0.239075 0.405405 0.122100 0.813008 0.212314 0.381388 6 khoa_tieng_italia committee 2026 94 0.046397 0.228617 0.798709 0.046662 0.035086 0.075035 0.028638 0.216749 0.468085 0.296296 0.379965 0.177632 0.574468 0.271357 0.397059 0.148148 0.638298 0.240481 0.384123 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite14 2026 94 0.046397 0.238430 0.821990 0.068429 0.102672 0.149069 0.102672 0.221675 0.478723 0.303030 0.388601 0.194079 0.627660 0.296482 0.433824 0.153086 0.659574 0.248497 0.396927 0.128458 0.691489 0.216667 0.368481 6 khoa_tieng_italia suite16 2026 94 0.046397 0.225944 0.805846 0.070245 0.086087 0.132484 0.086087 0.211823 0.457447 0.289562 0.371330 0.180921 0.585106 0.276382 0.404412 0.150617 0.648936 0.244489 0.390525 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite17 2026 94 0.046397 0.235013 0.812861 0.044427 0.030763 0.075055 0.028658 0.211823 0.457447 0.289562 0.371330 0.180921 0.585106 0.276382 0.404412 0.155556 0.670213 0.252505 0.403329 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite18 2026 94 0.046397 0.234196 0.811726 0.044466 0.030032 0.074810 0.028413 0.216749 0.468085 0.296296 0.379965 0.180921 0.585106 0.276382 0.404412 0.155556 0.670213 0.252505 0.403329 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite20 2026 94 0.046397 0.177238 0.782600 0.123951 0.169325 0.215722 0.169325 0.187192 0.404255 0.255892 0.328152 0.154605 0.500000 0.236181 0.345588 0.135802 0.585106 0.220441 0.352113 0.128458 0.691489 0.216667 0.368481 6 khoa_tieng_italia suite21 2026 94 0.046397 0.230835 0.798046 0.046574 0.031035 0.076576 0.030179 0.216749 0.468085 0.296296 0.379965 0.180921 0.585106 0.276382 0.404412 0.148148 0.638298 0.240481 0.384123 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite22 2026 94 0.046397 0.240713 0.800961 0.039320 0.007999 0.041756 -0.004641 0.261084 0.563830 0.356902 0.457686 0.197368 0.638298 0.301508 0.441176 0.150617 0.648936 0.244489 0.390525 0.124506 0.670213 0.210000 0.357143 6 khoa_tieng_italia suite22_primary 2026 94 0.046397 0.181675 0.759438 0.041586 0.018467 0.030567 -0.015830 0.182266 0.393617 0.249158 0.319516 0.144737 0.468085 0.221106 0.323529 0.130864 0.563830 0.212425 0.339309 0.110672 0.595745 0.186667 0.317460 6 khoa_tieng_italia suite22_relational 2026 94 0.046397 0.193010 0.784817 0.041173 0.018699 0.029816 -0.016580 0.201970 0.436170 0.276094 0.354059 0.167763 0.542553 0.256281 0.375000 0.133333 0.574468 0.216433 0.345711 0.116601 0.627660 0.196667 0.334467 6 khoa_tieng_italia suite23 2026 94 0.046397 0.237671 0.810862 0.041185 0.019933 0.065402 0.019005 0.231527 0.500000 0.316498 0.405872 0.190789 0.617021 0.291457 0.426471 0.155556 0.670213 0.252505 0.403329 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite23_graph 2026 94 0.046397 0.203012 0.801253 0.041844 0.026080 0.069300 0.022904 0.231527 0.500000 0.316498 0.405872 0.194079 0.627660 0.296482 0.433824 0.150617 0.648936 0.244489 0.390525 0.124506 0.670213 0.210000 0.357143 6 khoa_tieng_italia suite24_evidence_residual 2026 94 0.046397 0.237398 0.799315 0.041303 0.028269 0.047322 0.000925 0.216749 0.468085 0.296296 0.379965 0.171053 0.553191 0.261307 0.382353 0.148148 0.638298 0.240481 0.384123 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite24_graph_standalone 2026 94 0.046397 0.219747 0.779299 0.042596 0.023544 0.069147 0.022750 0.187192 0.404255 0.255892 0.328152 0.164474 0.531915 0.251256 0.367647 0.145679 0.627660 0.236473 0.377721 0.128458 0.691489 0.216667 0.368481 6 khoa_tieng_italia suite24_history_residual 2026 94 0.046397 0.237731 0.806341 0.041147 0.026253 0.046616 0.000220 0.221675 0.478723 0.303030 0.388601 0.174342 0.563830 0.266332 0.389706 0.148148 0.638298 0.240481 0.384123 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite24_posthoc_blend 2026 94 0.046397 0.263079 0.808836 0.039799 0.015964 0.062093 0.015696 0.236453 0.510638 0.323232 0.414508 0.190789 0.617021 0.291457 0.426471 0.160494 0.691489 0.260521 0.416133 0.132411 0.712766 0.223333 0.379819 6 khoa_tieng_italia suite24_safe_scale 2026 94 0.046397 0.237398 0.799315 0.041303 0.028269 0.047322 0.000925 0.216749 0.468085 0.296296 0.379965 0.171053 0.553191 0.261307 0.382353 0.148148 0.638298 0.240481 0.384123 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite24_structural_residual 2026 94 0.046397 0.251550 0.807448 0.040657 0.020457 0.047612 0.001215 0.231527 0.500000 0.316498 0.405872 0.180921 0.585106 0.276382 0.404412 0.148148 0.638298 0.240481 0.384123 0.128458 0.691489 0.216667 0.368481 6 khoa_tieng_nga committee 1842 205 0.111292 0.480149 0.778807 0.077699 0.048070 0.090493 -0.020799 0.516304 0.463415 0.488432 0.473108 0.384058 0.517073 0.440748 0.483577 0.317935 0.570732 0.408377 0.492424 0.286957 0.643902 0.396992 0.515625 6 khoa_tieng_nga suite14 1842 205 0.111292 0.486138 0.793958 0.086941 0.068322 0.144715 0.033423 0.516304 0.463415 0.488432 0.473108 0.394928 0.531707 0.453222 0.497263 0.326087 0.585366 0.418848 0.505051 0.282609 0.634146 0.390977 0.507812 6 khoa_tieng_nga suite16 1842 205 0.111292 0.487353 0.792416 0.089870 0.070423 0.147086 0.035794 0.516304 0.463415 0.488432 0.473108 0.391304 0.526829 0.449064 0.492701 0.320652 0.575610 0.411867 0.496633 0.282609 0.634146 0.390977 0.507812 6 khoa_tieng_nga suite17 1842 205 0.111292 0.486381 0.790879 0.078432 0.050721 0.092391 -0.018901 0.510870 0.458537 0.483290 0.468127 0.380435 0.512195 0.436590 0.479015 0.323370 0.580488 0.415358 0.500842 0.282609 0.634146 0.390977 0.507812 6 khoa_tieng_nga suite18 1842 205 0.111292 0.487798 0.793209 0.078398 0.047560 0.092038 -0.019254 0.516304 0.463415 0.488432 0.473108 0.384058 0.517073 0.440748 0.483577 0.323370 0.580488 0.415358 0.500842 0.286957 0.643902 0.396992 0.515625 6 khoa_tieng_nga suite20 1842 205 0.111292 0.451087 0.799270 0.114993 0.108329 0.193461 0.082169 0.478261 0.429268 0.452442 0.438247 0.413043 0.556098 0.474012 0.520073 0.326087 0.585366 0.418848 0.505051 0.282609 0.634146 0.390977 0.507812 6 khoa_tieng_nga suite21 1842 205 0.111292 0.481212 0.779945 0.077513 0.047882 0.090598 -0.020694 0.516304 0.463415 0.488432 0.473108 0.384058 0.517073 0.440748 0.483577 0.317935 0.570732 0.408377 0.492424 0.289130 0.648780 0.400000 0.519531 6 khoa_tieng_nga suite22 1842 205 0.111292 0.489454 0.798981 0.076042 0.042447 0.068845 -0.042447 0.532609 0.478049 0.503856 0.488048 0.405797 0.546341 0.465696 0.510949 0.336957 0.604878 0.432810 0.521886 0.286957 0.643902 0.396992 0.515625 6 khoa_tieng_nga suite22_primary 1842 205 0.111292 0.475614 0.808797 0.079289 0.055364 0.056382 -0.054910 0.527174 0.473171 0.498715 0.483068 0.423913 0.570732 0.486486 0.533759 0.345109 0.619512 0.443281 0.534512 0.286957 0.643902 0.396992 0.515625 6 khoa_tieng_nga suite22_relational 1842 205 0.111292 0.480096 0.810209 0.078788 0.059714 0.052654 -0.058638 0.516304 0.463415 0.488432 0.473108 0.423913 0.570732 0.486486 0.533759 0.355978 0.639024 0.457243 0.551347 0.297826 0.668293 0.412030 0.535156 6 khoa_tieng_nga suite23 1842 205 0.111292 0.485135 0.795938 0.075788 0.039220 0.092508 -0.018784 0.521739 0.468293 0.493573 0.478088 0.394928 0.531707 0.453222 0.497263 0.320652 0.575610 0.411867 0.496633 0.289130 0.648780 0.400000 0.519531 6 khoa_tieng_nga suite23_graph 1842 205 0.111292 0.451878 0.799687 0.077377 0.020852 0.106160 -0.005132 0.516304 0.463415 0.488432 0.473108 0.402174 0.541463 0.461538 0.506387 0.334239 0.600000 0.429319 0.517677 0.291304 0.653659 0.403008 0.523437 6 khoa_tieng_nga suite24_evidence_residual 1842 205 0.111292 0.479672 0.787234 0.078151 0.055890 0.061388 -0.049904 0.521739 0.468293 0.493573 0.478088 0.384058 0.517073 0.440748 0.483577 0.323370 0.580488 0.415358 0.500842 0.284783 0.639024 0.393985 0.511719 6 khoa_tieng_nga suite24_graph_standalone 1842 205 0.111292 0.443978 0.800359 0.081144 0.032442 0.081946 -0.029346 0.456522 0.409756 0.431877 0.418327 0.391304 0.526829 0.449064 0.492701 0.328804 0.590244 0.422339 0.509259 0.282609 0.634146 0.390977 0.507812 6 khoa_tieng_nga suite24_history_residual 1842 205 0.111292 0.484323 0.786007 0.077113 0.052586 0.064560 -0.046732 0.527174 0.473171 0.498715 0.483068 0.391304 0.526829 0.449064 0.492701 0.320652 0.575610 0.411867 0.496633 0.282609 0.634146 0.390977 0.507812 6 khoa_tieng_nga suite24_posthoc_blend 1842 205 0.111292 0.497457 0.800122 0.076452 0.036565 0.080653 -0.030639 0.532609 0.478049 0.503856 0.488048 0.398551 0.536585 0.457380 0.501825 0.331522 0.595122 0.425829 0.513468 0.284783 0.639024 0.393985 0.511719 6 khoa_tieng_nga suite24_safe_scale 1842 205 0.111292 0.479672 0.787234 0.078151 0.055890 0.061388 -0.049904 0.521739 0.468293 0.493573 0.478088 0.384058 0.517073 0.440748 0.483577 0.323370 0.580488 0.415358 0.500842 0.284783 0.639024 0.393985 0.511719 6 khoa_tieng_nga suite24_structural_residual 1842 205 0.111292 0.468335 0.794302 0.079094 0.051656 0.063145 -0.048147 0.516304 0.463415 0.488432 0.473108 0.387681 0.521951 0.444906 0.488139 0.328804 0.590244 0.422339 0.509259 0.271739 0.609756 0.375940 0.488281 6 khoa_tieng_nhat committee 2530 88 0.034783 0.176291 0.832526 0.032834 0.017889 0.036026 0.001244 0.181818 0.522727 0.269795 0.380165 0.139474 0.602273 0.226496 0.362022 0.112648 0.647727 0.191919 0.332168 0.102848 0.738636 0.180556 0.330285 6 khoa_tieng_nhat suite14 2530 88 0.034783 0.182082 0.860623 0.041501 0.047063 0.081845 0.047063 0.169960 0.488636 0.252199 0.355372 0.142105 0.613636 0.230769 0.368852 0.126482 0.727273 0.215488 0.372960 0.112342 0.806818 0.197222 0.360772 6 khoa_tieng_nhat suite16 2530 88 0.034783 0.184468 0.845835 0.040317 0.031902 0.063492 0.028709 0.177866 0.511364 0.263930 0.371901 0.139474 0.602273 0.226496 0.362022 0.118577 0.681818 0.202020 0.349650 0.104430 0.750000 0.183333 0.335366 6 khoa_tieng_nhat suite17 2530 88 0.034783 0.178249 0.841288 0.032799 0.021380 0.039862 0.005079 0.177866 0.511364 0.263930 0.371901 0.136842 0.590909 0.222222 0.355191 0.116601 0.670455 0.198653 0.343823 0.102848 0.738636 0.180556 0.330285 6 khoa_tieng_nhat suite18 2530 88 0.034783 0.176339 0.840293 0.032823 0.021340 0.039760 0.004978 0.173913 0.500000 0.258065 0.363636 0.136842 0.590909 0.222222 0.355191 0.116601 0.670455 0.198653 0.343823 0.102848 0.738636 0.180556 0.330285 6 khoa_tieng_nhat suite20 2530 88 0.034783 0.183912 0.855479 0.124188 0.172470 0.207252 0.172470 0.154150 0.443182 0.228739 0.322314 0.147368 0.636364 0.239316 0.382514 0.126482 0.727273 0.215488 0.372960 0.107595 0.772727 0.188889 0.345528 6 khoa_tieng_nhat suite21 2530 88 0.034783 0.184748 0.843548 0.032340 0.016800 0.036729 0.001946 0.177866 0.511364 0.263930 0.371901 0.136842 0.590909 0.222222 0.355191 0.114625 0.659091 0.195286 0.337995 0.106013 0.761364 0.186111 0.340447 6 khoa_tieng_nhat suite22 2530 88 0.034783 0.185277 0.851351 0.031522 0.018438 0.020794 -0.013989 0.177866 0.511364 0.263930 0.371901 0.136842 0.590909 0.222222 0.355191 0.116601 0.670455 0.198653 0.343823 0.106013 0.761364 0.186111 0.340447 6 khoa_tieng_nhat suite22_primary 2530 88 0.034783 0.146207 0.825795 0.032618 0.022773 0.016055 -0.018728 0.146245 0.420455 0.217009 0.305785 0.134211 0.579545 0.217949 0.348361 0.108696 0.625000 0.185185 0.320513 0.098101 0.704545 0.172222 0.315041 6 khoa_tieng_nhat suite22_relational 2530 88 0.034783 0.158008 0.844464 0.032258 0.022391 0.014654 -0.020129 0.154150 0.443182 0.228739 0.322314 0.134211 0.579545 0.217949 0.348361 0.114625 0.659091 0.195286 0.337995 0.104430 0.750000 0.183333 0.335366 6 khoa_tieng_nhat suite23 2530 88 0.034783 0.186089 0.847940 0.031253 0.008696 0.033193 -0.001589 0.181818 0.522727 0.269795 0.380165 0.139474 0.602273 0.226496 0.362022 0.120553 0.693182 0.205387 0.355478 0.102848 0.738636 0.180556 0.330285 6 khoa_tieng_nhat suite23_graph 2530 88 0.034783 0.155195 0.799703 0.032373 0.008740 0.043522 0.008740 0.150198 0.431818 0.222874 0.314050 0.131579 0.568182 0.213675 0.341530 0.112648 0.647727 0.191919 0.332168 0.098101 0.704545 0.172222 0.315041 6 khoa_tieng_nhat suite24_evidence_residual 2530 88 0.034783 0.183309 0.836628 0.031901 0.019305 0.023918 -0.010865 0.177866 0.511364 0.263930 0.371901 0.134211 0.579545 0.217949 0.348361 0.116601 0.670455 0.198653 0.343823 0.101266 0.727273 0.177778 0.325203 6 khoa_tieng_nhat suite24_graph_standalone 2530 88 0.034783 0.158339 0.824408 0.031643 0.011146 0.030784 -0.003998 0.166008 0.477273 0.246334 0.347107 0.131579 0.568182 0.213675 0.341530 0.106719 0.613636 0.181818 0.314685 0.101266 0.727273 0.177778 0.325203 6 khoa_tieng_nhat suite24_history_residual 2530 88 0.034783 0.196317 0.845688 0.031216 0.017295 0.024215 -0.010568 0.181818 0.522727 0.269795 0.380165 0.136842 0.590909 0.222222 0.355191 0.120553 0.693182 0.205387 0.355478 0.106013 0.761364 0.186111 0.340447 6 khoa_tieng_nhat suite24_posthoc_blend 2530 88 0.034783 0.196275 0.855679 0.030785 0.011703 0.028138 -0.006644 0.177866 0.511364 0.263930 0.371901 0.144737 0.625000 0.235043 0.375683 0.124506 0.715909 0.212121 0.367133 0.107595 0.772727 0.188889 0.345528 6 khoa_tieng_nhat suite24_safe_scale 2530 88 0.034783 0.183309 0.836628 0.031901 0.019305 0.023918 -0.010865 0.177866 0.511364 0.263930 0.371901 0.134211 0.579545 0.217949 0.348361 0.116601 0.670455 0.198653 0.343823 0.101266 0.727273 0.177778 0.325203 6 khoa_tieng_nhat suite24_structural_residual 2530 88 0.034783 0.208755 0.850732 0.032076 0.019781 0.027649 -0.007134 0.181818 0.522727 0.269795 0.380165 0.142105 0.613636 0.230769 0.368852 0.124506 0.715909 0.212121 0.367133 0.107595 0.772727 0.188889 0.345528 6 khoa_tieng_phap committee 2263 50 0.022095 0.279097 0.914609 0.019935 0.012963 0.035058 0.012963 0.172566 0.780000 0.282609 0.457746 0.123894 0.840000 0.215938 0.389610 0.094923 0.860000 0.170974 0.329250 0.075972 0.860000 0.139610 0.280679 6 khoa_tieng_phap suite14 2263 50 0.022095 0.299858 0.929033 0.028801 0.058162 0.080256 0.058162 0.172566 0.780000 0.282609 0.457746 0.126844 0.860000 0.221080 0.398887 0.094923 0.860000 0.170974 0.329250 0.079505 0.900000 0.146104 0.293734 6 khoa_tieng_phap suite16 2263 50 0.022095 0.294438 0.918192 0.026894 0.035586 0.057680 0.035586 0.176991 0.800000 0.289855 0.469484 0.120944 0.820000 0.210797 0.380334 0.094923 0.860000 0.170974 0.329250 0.075972 0.860000 0.139610 0.280679 6 khoa_tieng_phap suite17 2263 50 0.022095 0.283181 0.926688 0.019178 0.013462 0.035556 0.013462 0.176991 0.800000 0.289855 0.469484 0.120944 0.820000 0.210797 0.380334 0.094923 0.860000 0.170974 0.329250 0.075972 0.860000 0.139610 0.280679 6 khoa_tieng_phap suite18 2263 50 0.022095 0.285073 0.925667 0.019097 0.013626 0.035364 0.013269 0.176991 0.800000 0.289855 0.469484 0.126844 0.860000 0.221080 0.398887 0.094923 0.860000 0.170974 0.329250 0.075972 0.860000 0.139610 0.280679 6 khoa_tieng_phap suite20 2263 50 0.022095 0.308921 0.891252 0.059192 0.093304 0.115398 0.093304 0.137168 0.620000 0.224638 0.363850 0.106195 0.720000 0.185090 0.333952 0.090508 0.820000 0.163022 0.313936 0.074205 0.840000 0.136364 0.274151 6 khoa_tieng_phap suite21 2263 50 0.022095 0.280339 0.917144 0.019849 0.013043 0.035137 0.013043 0.168142 0.760000 0.275362 0.446009 0.123894 0.840000 0.215938 0.389610 0.097130 0.880000 0.174950 0.336907 0.077739 0.880000 0.142857 0.287206 6 khoa_tieng_phap suite22 2263 50 0.022095 0.316603 0.919132 0.017552 0.005014 0.021501 -0.000594 0.172566 0.780000 0.282609 0.457746 0.117994 0.800000 0.205656 0.371058 0.092715 0.840000 0.166998 0.321593 0.081272 0.920000 0.149351 0.300261 6 khoa_tieng_phap suite22_primary 2263 50 0.022095 0.306049 0.892101 0.018156 0.006923 0.016323 -0.005772 0.154867 0.700000 0.253623 0.410798 0.109145 0.740000 0.190231 0.343228 0.086093 0.780000 0.155070 0.298622 0.072438 0.820000 0.133117 0.267624 6 khoa_tieng_phap suite22_relational 2263 50 0.022095 0.274639 0.904763 0.019002 0.011284 0.013523 -0.008571 0.141593 0.640000 0.231884 0.375587 0.106195 0.720000 0.185090 0.333952 0.088300 0.800000 0.159046 0.306279 0.077739 0.880000 0.142857 0.287206 6 khoa_tieng_phap suite23 2263 50 0.022095 0.322248 0.912897 0.017476 0.004390 0.022696 0.000602 0.168142 0.760000 0.275362 0.446009 0.115044 0.780000 0.200514 0.361781 0.088300 0.800000 0.159046 0.306279 0.077739 0.880000 0.142857 0.287206 6 khoa_tieng_phap suite23_graph 2263 50 0.022095 0.293273 0.893213 0.018310 0.009032 0.020323 -0.001771 0.150442 0.680000 0.246377 0.399061 0.106195 0.720000 0.185090 0.333952 0.086093 0.780000 0.155070 0.298622 0.070671 0.800000 0.129870 0.261097 6 khoa_tieng_phap suite24_evidence_residual 2263 50 0.022095 0.262960 0.911667 0.018737 0.009391 0.024071 0.001976 0.172566 0.780000 0.282609 0.457746 0.117994 0.800000 0.205656 0.371058 0.094923 0.860000 0.170974 0.329250 0.077739 0.880000 0.142857 0.287206 6 khoa_tieng_phap suite24_graph_standalone 2263 50 0.022095 0.221840 0.874153 0.020125 0.022642 0.041962 0.019867 0.137168 0.620000 0.224638 0.363850 0.109145 0.740000 0.190231 0.343228 0.086093 0.780000 0.155070 0.298622 0.070671 0.800000 0.129870 0.261097 6 khoa_tieng_phap suite24_history_residual 2263 50 0.022095 0.298236 0.918075 0.018019 0.010740 0.023303 0.001209 0.163717 0.740000 0.268116 0.434272 0.126844 0.860000 0.221080 0.398887 0.094923 0.860000 0.170974 0.329250 0.075972 0.860000 0.139610 0.280679 6 khoa_tieng_phap suite24_posthoc_blend 2263 50 0.022095 0.300391 0.913050 0.018035 0.013447 0.032829 0.010734 0.168142 0.760000 0.275362 0.446009 0.120944 0.820000 0.210797 0.380334 0.090508 0.820000 0.163022 0.313936 0.074205 0.840000 0.136364 0.274151 6 khoa_tieng_phap suite24_safe_scale 2263 50 0.022095 0.262960 0.911667 0.018737 0.009391 0.024071 0.001976 0.172566 0.780000 0.282609 0.457746 0.117994 0.800000 0.205656 0.371058 0.094923 0.860000 0.170974 0.329250 0.077739 0.880000 0.142857 0.287206 6 khoa_tieng_phap suite24_structural_residual 2263 50 0.022095 0.314053 0.911740 0.018230 0.008188 0.025583 0.003488 0.159292 0.720000 0.260870 0.422535 0.115044 0.780000 0.200514 0.361781 0.094923 0.860000 0.170974 0.329250 0.075972 0.860000 0.139610 0.280679 ============================================================================================================================================================================ SUITE24 TARGET FOLD 7 ============================================================================================================================================================================ [DATA] history=514,858 fail=13,041 (2.53%) train=405,366 validation=109,492 target=53,645 fail=4,179 (7.79%) [EVIDENCE CACHE] history... [EVIDENCE CACHE] 25,000/514,858 [EVIDENCE CACHE] 50,000/514,858 [EVIDENCE CACHE] 75,000/514,858 [EVIDENCE CACHE] 100,000/514,858 [EVIDENCE CACHE] 125,000/514,858 [EVIDENCE CACHE] 150,000/514,858 [EVIDENCE CACHE] 175,000/514,858 [EVIDENCE CACHE] 200,000/514,858 [EVIDENCE CACHE] 225,000/514,858 [EVIDENCE CACHE] 250,000/514,858 [EVIDENCE CACHE] 275,000/514,858 [EVIDENCE CACHE] 300,000/514,858 [EVIDENCE CACHE] 325,000/514,858 [EVIDENCE CACHE] 350,000/514,858 [EVIDENCE CACHE] 375,000/514,858 [EVIDENCE CACHE] 400,000/514,858 [EVIDENCE CACHE] 425,000/514,858 [EVIDENCE CACHE] 450,000/514,858 [EVIDENCE CACHE] 475,000/514,858 [EVIDENCE CACHE] 500,000/514,858 [EVIDENCE CACHE] target... [EVIDENCE CACHE] 25,000/53,645 [EVIDENCE CACHE] 50,000/53,645 FOLD 7 SUITE24 EVIDENCE SUPPORT — TARGET -------------------------------------------------------------------------------- faculty rows prevalence history_courses_mean structural_courses_mean related_history_mean same_course_history_mean failed_history_mean direct_structural_mean history_zero_rate structural_zero_rate khoa_cong_nghe_thong_tin 6926 0.151314 13.294831 1.725960 0.199827 0.117239 1.917124 1.083454 0.0 0.335980 khoa_quan_tri_kinh_doanh_va_du_lich 8989 0.124930 13.135054 4.303593 0.706308 0.105017 1.579264 3.510624 0.0 0.017911 khoa_quoc_te_hoc 2755 0.046461 13.325227 5.509982 1.203267 0.084211 1.043557 5.329946 0.0 0.061706 khoa_tieng_anh 8369 0.029872 15.098578 3.879317 0.818258 0.047676 1.982674 3.710599 0.0 0.216872 khoa_tieng_bo_dao_nha 1209 0.118280 15.161290 1.507031 0.213400 0.158809 2.079404 1.089330 0.0 0.377171 khoa_tieng_duc 2284 0.048599 14.819615 0.811296 0.214536 0.084501 1.058669 0.701839 0.0 0.667250 khoa_tieng_han_quoc 3434 0.036401 14.988643 2.368957 0.758591 0.041934 0.695399 2.174432 0.0 0.172394 khoa_tieng_italia 2453 0.103547 15.134121 2.190379 0.770485 0.135344 1.736241 1.788422 0.0 0.170811 khoa_tieng_nga 1924 0.080042 15.172037 1.098753 0.333680 0.163202 1.883576 0.808212 0.0 0.516112 khoa_tieng_nhat 2795 0.051878 15.118784 2.241145 0.531306 0.053667 0.891950 1.840787 0.0 0.318068 khoa_tieng_phap 2915 0.040823 15.209262 3.874099 0.805146 0.071012 0.883362 3.454889 0.0 0.137564 khoa_tieng_tay_ban_nha 1957 0.097087 15.279509 3.105263 0.587634 0.105774 1.587123 2.662238 0.0 0.215125 khoa_tieng_trung_quoc 6657 0.032597 15.415502 1.324470 0.654499 0.062641 1.420910 1.129638 0.0 0.298483 khoa_viet_nam_hoc 978 0.175869 8.791411 0.374233 0.000000 0.032720 1.691207 0.374233 0.0 0.937628 [CHRONOLOGY AUDIT] violations=0 / 568,503 | strict historical interaction semester < query semester ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_history_residual] [SELECT HISTORY] epoch=01/10 loss=0.15546 macroAP=0.3330 F2@20=0.4209 Brier=0.0346 corr=0.2493 gate=0.5000 best=01 [SELECT HISTORY] epoch=02/10 loss=0.14997 macroAP=0.3256 F2@20=0.4134 Brier=0.0352 corr=0.2922 gate=0.5000 best=01 [SELECT HISTORY] epoch=03/10 loss=0.14468 macroAP=0.3311 F2@20=0.4167 Brier=0.0353 corr=0.3197 gate=0.5000 best=01 [SELECT HISTORY] epoch=04/10 loss=0.14161 macroAP=0.3315 F2@20=0.4165 Brier=0.0353 corr=0.3537 gate=0.5000 best=01 [SELECT HISTORY] epoch=05/10 loss=0.13780 macroAP=0.3309 F2@20=0.4156 Brier=0.0353 corr=0.3748 gate=0.5000 best=01 [REFIT HISTORY] epoch=01/1 loss=0.17235 corr=0.2014 [VARIANT suite24_history_residual] selected_epochs=1 target macroAP=0.3439 ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_structural_residual] [SELECT STRUCTURAL] epoch=01/10 loss=0.16031 macroAP=0.3327 F2@20=0.4181 Brier=0.0351 corr=0.3024 gate=0.8353 best=01 [SELECT STRUCTURAL] epoch=02/10 loss=0.14743 macroAP=0.3260 F2@20=0.4159 Brier=0.0355 corr=0.3880 gate=0.8345 best=01 [SELECT STRUCTURAL] epoch=03/10 loss=0.14561 macroAP=0.3306 F2@20=0.4179 Brier=0.0350 corr=0.4487 gate=0.8345 best=01 [SELECT STRUCTURAL] epoch=04/10 loss=0.13642 macroAP=0.3312 F2@20=0.4190 Brier=0.0358 corr=0.4429 gate=0.8352 best=01 [SELECT STRUCTURAL] epoch=05/10 loss=0.13270 macroAP=0.3323 F2@20=0.4181 Brier=0.0358 corr=0.4789 gate=0.8346 best=01 [REFIT STRUCTURAL] epoch=01/1 loss=0.17037 corr=0.2381 [VARIANT suite24_structural_residual] selected_epochs=1 target macroAP=0.3411 ------------------------------------------------------------------------------------------------------------------------------------ [VARIANT suite24_evidence_residual] [SELECT EVIDENCE] epoch=01/10 loss=0.16082 macroAP=0.3328 F2@20=0.4172 Brier=0.0355 corr=0.1370 gate=0.3190 best=01 [SELECT EVIDENCE] epoch=02/10 loss=0.15211 macroAP=0.3311 F2@20=0.4173 Brier=0.0361 corr=0.2044 gate=0.3600 best=01 [SELECT EVIDENCE] epoch=03/10 loss=0.14980 macroAP=0.3333 F2@20=0.4182 Brier=0.0349 corr=0.2549 gate=0.4012 best=03 [SELECT EVIDENCE] epoch=04/10 loss=0.14232 macroAP=0.3328 F2@20=0.4177 Brier=0.0351 corr=0.3034 gate=0.4385 best=03 [SELECT EVIDENCE] epoch=05/10 loss=0.14179 macroAP=0.3306 F2@20=0.4190 Brier=0.0353 corr=0.3394 gate=0.4721 best=03 [SELECT EVIDENCE] epoch=06/10 loss=0.14170 macroAP=0.3321 F2@20=0.4140 Brier=0.0357 corr=0.3855 gate=0.5019 best=03 [REFIT EVIDENCE] epoch=01/3 loss=0.17381 corr=0.1147 [REFIT EVIDENCE] epoch=03/3 loss=0.16339 corr=0.2022 [VARIANT suite24_evidence_residual] selected_epochs=3 target macroAP=0.3420 [SAFE SCALE] selected lambda=0.50 policyAP=0.4292 policyF2=0.4482 [POSTHOC BLEND ABLATION] selected alpha=0.25 policyAP=0.4341 SUITE24 TARGET FOLD 7 — NEW + AVAILABLE REFERENCE RESULTS -------------------------------------------------------------------------------- fold faculty model rows failures prevalence ap auc brier ece10 mean_score calibration_gap precision_at_10 recall_at_10 f1_at_10 fbeta_at_10 precision_at_15 recall_at_15 f1_at_15 fbeta_at_15 precision_at_20 recall_at_20 f1_at_20 fbeta_at_20 precision_at_25 recall_at_25 f1_at_25 fbeta_at_25 7 khoa_cong_nghe_thong_tin committee 6926 1048 0.151314 0.452730 0.808606 0.109826 0.056870 0.094664 -0.056650 0.544012 0.359733 0.433084 0.385875 0.478345 0.474237 0.476282 0.475053 0.421661 0.557252 0.480066 0.523579 0.381640 0.630725 0.475540 0.557900 7 khoa_cong_nghe_thong_tin council 6926 1048 0.151314 0.469554 0.820091 0.101543 0.005449 0.153609 0.002295 0.559885 0.370229 0.445721 0.397134 0.485082 0.480916 0.482990 0.481743 0.432491 0.571565 0.492396 0.537027 0.392610 0.648855 0.489209 0.573937 7 khoa_cong_nghe_thong_tin suite14 6926 1048 0.151314 0.436697 0.812011 0.105365 0.020490 0.154799 0.003486 0.496392 0.328244 0.395175 0.352098 0.461983 0.458015 0.459990 0.458803 0.412274 0.544847 0.469379 0.511924 0.382217 0.631679 0.476259 0.558744 7 khoa_cong_nghe_thong_tin suite16 6926 1048 0.151314 0.452808 0.804297 0.120705 0.095881 0.247195 0.095881 0.544012 0.359733 0.433084 0.385875 0.470645 0.466603 0.468615 0.467406 0.413718 0.546756 0.471023 0.513717 0.376443 0.622137 0.469065 0.550304 7 khoa_cong_nghe_thong_tin suite17 6926 1048 0.151314 0.448033 0.807381 0.112562 0.058201 0.093112 -0.058201 0.542569 0.358779 0.431936 0.384852 0.464870 0.460878 0.462865 0.461671 0.413718 0.546756 0.471023 0.513717 0.378176 0.625000 0.471223 0.552836 7 khoa_cong_nghe_thong_tin suite18 6926 1048 0.151314 0.443675 0.804949 0.112984 0.058825 0.092489 -0.058825 0.536797 0.354962 0.427341 0.380757 0.461983 0.458015 0.459990 0.458803 0.414440 0.547710 0.471845 0.514614 0.377021 0.623092 0.469784 0.551148 7 khoa_cong_nghe_thong_tin suite20 6926 1048 0.151314 0.404212 0.786572 0.121162 0.076374 0.197817 0.046503 0.473304 0.312977 0.376795 0.335722 0.434071 0.430344 0.432199 0.431084 0.387726 0.512405 0.441430 0.481442 0.354503 0.585878 0.441727 0.518231 7 khoa_cong_nghe_thong_tin suite21 6926 1048 0.151314 0.457833 0.805531 0.106416 0.038136 0.113409 -0.037905 0.552670 0.365458 0.439977 0.392016 0.487007 0.482824 0.484907 0.483655 0.425993 0.562977 0.484998 0.528958 0.383372 0.633588 0.477698 0.560432 7 khoa_cong_nghe_thong_tin suite22 6926 1048 0.151314 0.439532 0.806151 0.114838 0.074726 0.077158 -0.074156 0.515152 0.340649 0.410109 0.365404 0.470645 0.466603 0.468615 0.467406 0.425271 0.562023 0.484176 0.528062 0.375289 0.620229 0.467626 0.548616 7 khoa_cong_nghe_thong_tin suite22_primary 6926 1048 0.151314 0.403829 0.790014 0.120189 0.086038 0.065748 -0.085566 0.484848 0.320611 0.385985 0.343910 0.430221 0.426527 0.428366 0.427261 0.394946 0.521947 0.449651 0.490407 0.357968 0.591603 0.446043 0.523295 7 khoa_cong_nghe_thong_tin suite22_relational 6926 1048 0.151314 0.389028 0.784876 0.115053 0.068011 0.083351 -0.067963 0.467532 0.309160 0.372200 0.331627 0.429259 0.425573 0.427408 0.426305 0.382671 0.505725 0.435676 0.475166 0.352194 0.582061 0.438849 0.514855 7 khoa_cong_nghe_thong_tin suite23 6926 1048 0.151314 0.450967 0.809468 0.110841 0.060848 0.090903 -0.060411 0.541126 0.357824 0.430787 0.383828 0.473532 0.469466 0.471490 0.470273 0.420217 0.555344 0.478422 0.521786 0.384527 0.635496 0.479137 0.562120 7 khoa_cong_nghe_thong_tin suite23_graph 6926 1048 0.151314 0.371177 0.783022 0.121453 0.083852 0.067461 -0.083852 0.451659 0.298664 0.359563 0.320368 0.410972 0.407443 0.409200 0.408144 0.376173 0.497137 0.428278 0.467097 0.353349 0.583969 0.440288 0.516543 7 khoa_cong_nghe_thong_tin suite24_evidence_residual 6926 1048 0.151314 0.454289 0.811096 0.108921 0.058334 0.093440 -0.057874 0.531025 0.351145 0.422746 0.376663 0.476420 0.472328 0.474365 0.473141 0.433935 0.573473 0.494040 0.538820 0.398383 0.658397 0.496403 0.582377 7 khoa_cong_nghe_thong_tin suite24_graph_standalone 6926 1048 0.151314 0.374041 0.770317 0.119235 0.078059 0.074340 -0.076974 0.447330 0.295802 0.356117 0.317298 0.390760 0.387405 0.389075 0.388071 0.359567 0.475191 0.409371 0.446477 0.341801 0.564885 0.425899 0.499662 7 khoa_cong_nghe_thong_tin suite24_history_residual 6926 1048 0.151314 0.455397 0.808854 0.107788 0.052608 0.099514 -0.051799 0.544012 0.359733 0.433084 0.385875 0.481232 0.477099 0.479157 0.477920 0.436823 0.577290 0.497328 0.542406 0.387991 0.641221 0.483453 0.567184 7 khoa_cong_nghe_thong_tin suite24_posthoc_blend 6926 1048 0.151314 0.444902 0.806917 0.111991 0.065402 0.086382 -0.064932 0.531025 0.351145 0.422746 0.376663 0.465833 0.461832 0.463824 0.462627 0.420939 0.556298 0.479244 0.522682 0.386259 0.638359 0.481295 0.564652 7 khoa_cong_nghe_thong_tin suite24_safe_scale 6926 1048 0.151314 0.456846 0.811580 0.110089 0.062702 0.089226 -0.062088 0.546898 0.361641 0.435382 0.387922 0.485082 0.480916 0.482990 0.481743 0.433213 0.572519 0.493218 0.537924 0.393187 0.649809 0.489928 0.574781 7 khoa_cong_nghe_thong_tin suite24_structural_residual 6926 1048 0.151314 0.455120 0.809298 0.109890 0.062170 0.090096 -0.061218 0.542569 0.358779 0.431936 0.384852 0.472570 0.468511 0.470532 0.469318 0.435379 0.575382 0.495684 0.540613 0.389723 0.644084 0.485612 0.569716 7 khoa_cong_nghe_thong_tin v2 6926 1048 0.151314 0.455974 0.814170 0.150170 0.161980 0.313294 0.161980 0.555556 0.367366 0.442275 0.394063 0.479307 0.475191 0.477240 0.476008 0.421661 0.557252 0.480066 0.523579 0.377021 0.623092 0.469784 0.551148 7 khoa_quan_tri_kinh_doanh_va_du_lich committee 8989 1123 0.124930 0.420734 0.820544 0.092455 0.033308 0.091658 -0.033272 0.471635 0.377560 0.419387 0.393248 0.411721 0.494212 0.449211 0.475171 0.364294 0.583259 0.448477 0.520668 0.330218 0.660730 0.440356 0.550527 7 khoa_quan_tri_kinh_doanh_va_du_lich suite14 8989 1123 0.124930 0.429632 0.818054 0.093552 0.040122 0.129972 0.005042 0.466073 0.373108 0.414441 0.388611 0.409496 0.491541 0.446783 0.472603 0.365406 0.585040 0.449846 0.522258 0.327548 0.655387 0.436795 0.546075 7 khoa_quan_tri_kinh_doanh_va_du_lich suite16 8989 1123 0.124930 0.423531 0.822133 0.113955 0.124970 0.249900 0.124970 0.467186 0.373998 0.415430 0.389538 0.413947 0.496883 0.451639 0.477740 0.366518 0.586821 0.451215 0.523847 0.330663 0.661621 0.440950 0.551269 7 khoa_quan_tri_kinh_doanh_va_du_lich suite17 8989 1123 0.124930 0.422662 0.823105 0.094389 0.034920 0.090156 -0.034775 0.466073 0.373108 0.414441 0.388611 0.413947 0.496883 0.451639 0.477740 0.359288 0.575245 0.442314 0.513514 0.331108 0.662511 0.441543 0.552011 7 khoa_quan_tri_kinh_doanh_va_du_lich suite18 8989 1123 0.124930 0.424661 0.823354 0.094548 0.036699 0.089488 -0.035442 0.468298 0.374889 0.416419 0.390466 0.411721 0.494212 0.449211 0.475171 0.367075 0.587711 0.451900 0.524642 0.335113 0.670525 0.446884 0.558688 7 khoa_quan_tri_kinh_doanh_va_du_lich suite20 8989 1123 0.124930 0.371126 0.793751 0.104106 0.070994 0.172929 0.047998 0.429366 0.343722 0.381800 0.358004 0.378338 0.454141 0.412788 0.436644 0.338710 0.542297 0.416980 0.484102 0.308411 0.617097 0.411276 0.514171 7 khoa_quan_tri_kinh_doanh_va_du_lich suite21 8989 1123 0.124930 0.409326 0.815795 0.091391 0.021255 0.103718 -0.021212 0.460512 0.368655 0.409496 0.383973 0.389466 0.467498 0.424929 0.449486 0.349277 0.559216 0.429990 0.499205 0.320427 0.641140 0.427300 0.534204 7 khoa_quan_tri_kinh_doanh_va_du_lich suite22 8989 1123 0.124930 0.433960 0.822919 0.094610 0.053944 0.070987 -0.053944 0.480534 0.384684 0.427300 0.400668 0.422107 0.506679 0.460542 0.487158 0.368743 0.590383 0.453954 0.527027 0.331998 0.664292 0.442730 0.553495 7 khoa_quan_tri_kinh_doanh_va_du_lich suite22_primary 8989 1123 0.124930 0.422869 0.812281 0.097525 0.065772 0.059159 -0.065772 0.463849 0.371327 0.412463 0.386756 0.402077 0.482636 0.438689 0.464041 0.356507 0.570793 0.438891 0.509539 0.322652 0.645592 0.430267 0.537914 7 khoa_quan_tri_kinh_doanh_va_du_lich suite22_relational 8989 1123 0.124930 0.412924 0.813269 0.094293 0.053348 0.071582 -0.053348 0.461624 0.369546 0.410485 0.384901 0.390208 0.468388 0.425739 0.450342 0.350389 0.560997 0.431359 0.500795 0.314197 0.628673 0.418991 0.523817 7 khoa_quan_tri_kinh_doanh_va_du_lich suite23 8989 1123 0.124930 0.426798 0.824792 0.093274 0.039646 0.085285 -0.039646 0.472747 0.378451 0.420376 0.394175 0.414688 0.497774 0.452448 0.478596 0.368187 0.589492 0.453269 0.526232 0.336004 0.672306 0.448071 0.560172 7 khoa_quan_tri_kinh_doanh_va_du_lich suite23_graph 8989 1123 0.124930 0.385787 0.799617 0.099242 0.056315 0.068615 -0.056315 0.426029 0.341051 0.378833 0.355222 0.378338 0.454141 0.412788 0.436644 0.334260 0.535174 0.411503 0.477742 0.306631 0.613535 0.408902 0.511203 7 khoa_quan_tri_kinh_doanh_va_du_lich suite24_evidence_residual 8989 1123 0.124930 0.425242 0.818026 0.091648 0.034024 0.090906 -0.034024 0.464961 0.372217 0.413452 0.387683 0.408754 0.490650 0.445973 0.471747 0.362069 0.579697 0.445738 0.517488 0.324878 0.650045 0.433234 0.541623 7 khoa_quan_tri_kinh_doanh_va_du_lich suite24_graph_standalone 8989 1123 0.124930 0.395993 0.800458 0.095984 0.051556 0.073374 -0.051556 0.439377 0.351736 0.390702 0.366351 0.389466 0.467498 0.424929 0.449486 0.342047 0.547640 0.421089 0.488871 0.310636 0.621549 0.414243 0.517881 7 khoa_quan_tri_kinh_doanh_va_du_lich suite24_history_residual 8989 1123 0.124930 0.424012 0.817430 0.090680 0.023477 0.101453 -0.023477 0.474972 0.380232 0.422354 0.396030 0.399852 0.479964 0.436261 0.461473 0.365406 0.585040 0.449846 0.522258 0.329773 0.659840 0.439763 0.549785 7 khoa_quan_tri_kinh_doanh_va_du_lich suite24_posthoc_blend 8989 1123 0.124930 0.431383 0.824485 0.092793 0.040998 0.083933 -0.040998 0.477197 0.382012 0.424332 0.397885 0.418398 0.502226 0.456495 0.482877 0.373749 0.598397 0.460116 0.534181 0.331998 0.664292 0.442730 0.553495 7 khoa_quan_tri_kinh_doanh_va_du_lich suite24_safe_scale 8989 1123 0.124930 0.426850 0.821611 0.092444 0.038560 0.086371 -0.038560 0.474972 0.380232 0.422354 0.396030 0.413947 0.496883 0.451639 0.477740 0.368187 0.589492 0.453269 0.526232 0.328438 0.657168 0.437982 0.547559 7 khoa_quan_tri_kinh_doanh_va_du_lich suite24_structural_residual 8989 1123 0.124930 0.418602 0.813015 0.091547 0.028339 0.096592 -0.028339 0.461624 0.369546 0.410485 0.384901 0.402077 0.482636 0.438689 0.464041 0.359288 0.575245 0.442314 0.513514 0.318647 0.637578 0.424926 0.531236 7 khoa_quoc_te_hoc committee 2755 128 0.046461 0.244577 0.835587 0.041189 0.021055 0.025431 -0.021030 0.210145 0.453125 0.287129 0.368020 0.164649 0.531250 0.251386 0.367568 0.148820 0.640625 0.241532 0.385701 0.134978 0.726562 0.227662 0.387177 7 khoa_quoc_te_hoc suite14 2755 128 0.046461 0.276772 0.829166 0.045613 0.044744 0.090821 0.044360 0.224638 0.484375 0.306931 0.393401 0.184019 0.593750 0.280961 0.410811 0.150635 0.648438 0.244477 0.390405 0.132075 0.710938 0.222766 0.378851 7 khoa_quoc_te_hoc suite16 2755 128 0.046461 0.256292 0.833805 0.043374 0.045038 0.091499 0.045038 0.217391 0.468750 0.297030 0.380711 0.179177 0.578125 0.273567 0.400000 0.150635 0.648438 0.244477 0.390405 0.130624 0.703125 0.220318 0.374688 7 khoa_quoc_te_hoc suite17 2755 128 0.046461 0.251211 0.837389 0.040991 0.019601 0.026860 -0.019601 0.217391 0.468750 0.297030 0.380711 0.179177 0.578125 0.273567 0.400000 0.154265 0.664062 0.250368 0.399812 0.132075 0.710938 0.222766 0.378851 7 khoa_quoc_te_hoc suite18 2755 128 0.046461 0.254594 0.840514 0.041037 0.019923 0.026538 -0.019923 0.210145 0.453125 0.287129 0.368020 0.181598 0.585938 0.277264 0.405405 0.154265 0.664062 0.250368 0.399812 0.132075 0.710938 0.222766 0.378851 7 khoa_quoc_te_hoc suite20 2755 128 0.046461 0.293661 0.841731 0.085762 0.127868 0.174329 0.127868 0.239130 0.515625 0.326733 0.418782 0.193705 0.625000 0.295749 0.432432 0.154265 0.664062 0.250368 0.399812 0.132075 0.710938 0.222766 0.378851 7 khoa_quoc_te_hoc suite21 2755 128 0.046461 0.247735 0.826608 0.040636 0.017365 0.029096 -0.017365 0.213768 0.460938 0.292079 0.374365 0.176755 0.570312 0.269871 0.394595 0.143376 0.617188 0.232695 0.371590 0.124819 0.671875 0.210526 0.358035 7 khoa_quoc_te_hoc suite22 2755 128 0.046461 0.301344 0.847750 0.041061 0.025882 0.020870 -0.025591 0.250000 0.539062 0.341584 0.437817 0.184019 0.593750 0.280961 0.410811 0.159710 0.687500 0.259205 0.413923 0.134978 0.726562 0.227662 0.387177 7 khoa_quoc_te_hoc suite22_primary 2755 128 0.046461 0.290258 0.832074 0.040758 0.027133 0.020199 -0.026262 0.221014 0.476562 0.301980 0.387056 0.184019 0.593750 0.280961 0.410811 0.156080 0.671875 0.253314 0.404516 0.134978 0.726562 0.227662 0.387177 7 khoa_quoc_te_hoc suite22_relational 2755 128 0.046461 0.280852 0.833811 0.039668 0.026369 0.022448 -0.024013 0.231884 0.500000 0.316832 0.406091 0.188862 0.609375 0.288355 0.421622 0.163339 0.703125 0.265096 0.423330 0.136430 0.734375 0.230110 0.391341 7 khoa_quoc_te_hoc suite23 2755 128 0.046461 0.266959 0.852764 0.041020 0.021231 0.025230 -0.021231 0.224638 0.484375 0.306931 0.393401 0.181598 0.585938 0.277264 0.405405 0.157895 0.679688 0.256259 0.409219 0.143687 0.773438 0.242350 0.412157 7 khoa_quoc_te_hoc suite23_graph 2755 128 0.046461 0.298520 0.866212 0.040090 0.018223 0.029681 -0.016780 0.253623 0.546875 0.346535 0.444162 0.210654 0.679688 0.321627 0.470270 0.170599 0.734375 0.276878 0.442145 0.143687 0.773438 0.242350 0.412157 7 khoa_quoc_te_hoc suite24_evidence_residual 2755 128 0.046461 0.254584 0.838474 0.040761 0.021451 0.025010 -0.021451 0.210145 0.453125 0.287129 0.368020 0.176755 0.570312 0.269871 0.394595 0.150635 0.648438 0.244477 0.390405 0.134978 0.726562 0.227662 0.387177 7 khoa_quoc_te_hoc suite24_graph_standalone 2755 128 0.046461 0.221214 0.812328 0.040226 0.010109 0.038536 -0.007925 0.202899 0.437500 0.277228 0.355330 0.162228 0.523438 0.247689 0.362162 0.137931 0.593750 0.223859 0.357479 0.123367 0.664062 0.208078 0.353872 7 khoa_quoc_te_hoc suite24_history_residual 2755 128 0.046461 0.251946 0.838135 0.040500 0.018481 0.027980 -0.018481 0.231884 0.500000 0.316832 0.406091 0.181598 0.585938 0.277264 0.405405 0.148820 0.640625 0.241532 0.385701 0.132075 0.710938 0.222766 0.378851 7 khoa_quoc_te_hoc suite24_posthoc_blend 2755 128 0.046461 0.271060 0.845430 0.040736 0.020484 0.026302 -0.020159 0.221014 0.476562 0.301980 0.387056 0.184019 0.593750 0.280961 0.410811 0.152450 0.656250 0.247423 0.395108 0.134978 0.726562 0.227662 0.387177 7 khoa_quoc_te_hoc suite24_safe_scale 2755 128 0.046461 0.256129 0.839584 0.041163 0.023118 0.023343 -0.023118 0.210145 0.453125 0.287129 0.368020 0.174334 0.562500 0.266174 0.389189 0.148820 0.640625 0.241532 0.385701 0.136430 0.734375 0.230110 0.391341 7 khoa_quoc_te_hoc suite24_structural_residual 2755 128 0.046461 0.268366 0.840880 0.040331 0.017587 0.028874 -0.017587 0.217391 0.468750 0.297030 0.380711 0.184019 0.593750 0.280961 0.410811 0.154265 0.664062 0.250368 0.399812 0.130624 0.703125 0.220318 0.374688 7 khoa_tieng_anh committee 8369 250 0.029872 0.220891 0.838668 0.025903 0.010536 0.037179 0.007307 0.150538 0.504000 0.231831 0.342950 0.119522 0.600000 0.199336 0.332594 0.100956 0.676000 0.175676 0.316006 0.086520 0.724000 0.154569 0.292691 7 khoa_tieng_anh suite14 8369 250 0.029872 0.224717 0.849914 0.030271 0.026780 0.056653 0.026780 0.163680 0.548000 0.252070 0.372891 0.125100 0.628000 0.208638 0.348115 0.103943 0.696000 0.180873 0.325355 0.090822 0.760000 0.162254 0.307245 7 khoa_tieng_anh suite16 8369 250 0.029872 0.222178 0.851778 0.040644 0.071691 0.101563 0.071691 0.154122 0.516000 0.237351 0.351116 0.125896 0.632000 0.209967 0.350333 0.106930 0.716000 0.186071 0.334705 0.091778 0.768000 0.163962 0.310479 7 khoa_tieng_anh suite17 8369 250 0.029872 0.226466 0.851076 0.026203 0.012469 0.037402 0.007530 0.158901 0.532000 0.244710 0.362003 0.121116 0.608000 0.201993 0.337029 0.103345 0.692000 0.179834 0.323485 0.093212 0.780000 0.166524 0.315330 7 khoa_tieng_anh suite18 8369 250 0.029872 0.229178 0.851633 0.026111 0.013404 0.037649 0.007777 0.157706 0.528000 0.242870 0.359281 0.123506 0.620000 0.205980 0.343681 0.103345 0.692000 0.179834 0.323485 0.093212 0.780000 0.166524 0.315330 7 khoa_tieng_anh suite20 8369 250 0.029872 0.225304 0.850646 0.033741 0.036559 0.066431 0.036559 0.164875 0.552000 0.253910 0.375612 0.129084 0.648000 0.215282 0.359202 0.107527 0.720000 0.187110 0.336574 0.094646 0.792000 0.169086 0.320181 7 khoa_tieng_anh suite21 8369 250 0.029872 0.225915 0.841714 0.025722 0.005751 0.032642 0.002770 0.156511 0.524000 0.241030 0.356560 0.121912 0.612000 0.203322 0.339246 0.100956 0.676000 0.175676 0.316006 0.088432 0.740000 0.157985 0.299159 7 khoa_tieng_anh suite22 8369 250 0.029872 0.242628 0.852800 0.025584 0.007040 0.023233 -0.006639 0.154122 0.516000 0.237351 0.351116 0.122709 0.616000 0.204651 0.341463 0.103943 0.696000 0.180873 0.325355 0.088910 0.744000 0.158839 0.300776 7 khoa_tieng_anh suite22_primary 8369 250 0.029872 0.222989 0.842808 0.026022 0.011507 0.019345 -0.010527 0.152927 0.512000 0.235511 0.348394 0.119522 0.600000 0.199336 0.332594 0.102748 0.688000 0.178794 0.321616 0.087476 0.732000 0.156277 0.295925 7 khoa_tieng_anh suite22_relational 8369 250 0.029872 0.200856 0.837740 0.026431 0.009799 0.023419 -0.006453 0.149343 0.500000 0.229991 0.340229 0.121116 0.608000 0.201993 0.337029 0.102748 0.688000 0.178794 0.321616 0.088432 0.740000 0.157985 0.299159 7 khoa_tieng_anh suite23 8369 250 0.029872 0.227546 0.842672 0.025738 0.008864 0.034580 0.004707 0.157706 0.528000 0.242870 0.359281 0.122709 0.616000 0.204651 0.341463 0.102748 0.688000 0.178794 0.321616 0.086998 0.728000 0.155423 0.294308 7 khoa_tieng_anh suite23_graph 8369 250 0.029872 0.201967 0.805682 0.026306 0.005536 0.024336 -0.005536 0.137395 0.460000 0.211592 0.313010 0.116335 0.584000 0.194020 0.323725 0.097969 0.656000 0.170478 0.306657 0.084608 0.708000 0.151153 0.286223 7 khoa_tieng_anh suite24_evidence_residual 8369 250 0.029872 0.215066 0.836749 0.025850 0.004123 0.033424 0.003552 0.152927 0.512000 0.235511 0.348394 0.121116 0.608000 0.201993 0.337029 0.097969 0.656000 0.170478 0.306657 0.084608 0.708000 0.151153 0.286223 7 khoa_tieng_anh suite24_graph_standalone 8369 250 0.029872 0.195261 0.790105 0.026308 0.003867 0.028390 -0.001483 0.154122 0.516000 0.237351 0.351116 0.118725 0.596000 0.198007 0.330377 0.095579 0.640000 0.166320 0.299177 0.081262 0.680000 0.145175 0.274903 7 khoa_tieng_anh suite24_history_residual 8369 250 0.029872 0.231375 0.836141 0.025657 0.006117 0.033952 0.004080 0.156511 0.524000 0.241030 0.356560 0.118725 0.596000 0.198007 0.330377 0.099761 0.668000 0.173597 0.312266 0.084130 0.704000 0.150299 0.284605 7 khoa_tieng_anh suite24_posthoc_blend 8369 250 0.029872 0.235783 0.842027 0.025567 0.005109 0.030842 0.000969 0.158901 0.532000 0.244710 0.362003 0.126693 0.636000 0.211296 0.352550 0.105137 0.704000 0.182952 0.329095 0.089866 0.752000 0.160547 0.304010 7 khoa_tieng_anh suite24_safe_scale 8369 250 0.029872 0.221745 0.838535 0.025751 0.005878 0.032830 0.002958 0.151732 0.508000 0.233671 0.345672 0.121912 0.612000 0.203322 0.339246 0.098566 0.660000 0.171518 0.308527 0.086520 0.724000 0.154569 0.292691 7 khoa_tieng_anh suite24_structural_residual 8369 250 0.029872 0.221486 0.829757 0.025892 0.010843 0.037065 0.007193 0.146953 0.492000 0.226311 0.334785 0.118725 0.596000 0.198007 0.330377 0.097372 0.652000 0.169439 0.304787 0.083652 0.700000 0.149445 0.282988 7 khoa_tieng_bo_dao_nha committee 1209 143 0.118280 0.407454 0.793864 0.087043 0.014967 0.125831 0.007552 0.438017 0.370629 0.401515 0.382395 0.375691 0.475524 0.419753 0.451527 0.326446 0.552448 0.410390 0.485258 0.301325 0.636364 0.408989 0.520595 7 khoa_tieng_bo_dao_nha suite14 1209 143 0.118280 0.410330 0.800135 0.121050 0.111428 0.224915 0.106636 0.404959 0.342657 0.371212 0.353535 0.370166 0.468531 0.413580 0.444887 0.326446 0.552448 0.410390 0.485258 0.298013 0.629371 0.404494 0.514874 7 khoa_tieng_bo_dao_nha suite16 1209 143 0.118280 0.416213 0.807325 0.144803 0.205013 0.322635 0.204355 0.471074 0.398601 0.431818 0.411255 0.381215 0.482517 0.425926 0.458167 0.334711 0.566434 0.420779 0.497543 0.301325 0.636364 0.408989 0.520595 7 khoa_tieng_bo_dao_nha suite17 1209 143 0.118280 0.407123 0.806203 0.088706 0.025045 0.124066 0.005787 0.438017 0.370629 0.401515 0.382395 0.375691 0.475524 0.419753 0.451527 0.330579 0.559441 0.415584 0.491400 0.304636 0.643357 0.413483 0.526316 7 khoa_tieng_bo_dao_nha suite18 1209 143 0.118280 0.406984 0.804051 0.088566 0.024533 0.123780 0.005500 0.429752 0.363636 0.393939 0.375180 0.381215 0.482517 0.425926 0.458167 0.334711 0.566434 0.420779 0.497543 0.298013 0.629371 0.404494 0.514874 7 khoa_tieng_bo_dao_nha suite20 1209 143 0.118280 0.368151 0.793503 0.133773 0.126242 0.240465 0.122185 0.347107 0.293706 0.318182 0.303030 0.309392 0.391608 0.345679 0.371846 0.301653 0.510490 0.379221 0.448403 0.304636 0.643357 0.413483 0.526316 7 khoa_tieng_bo_dao_nha suite21 1209 143 0.118280 0.421969 0.794113 0.086812 0.022280 0.129662 0.011382 0.446281 0.377622 0.409091 0.389610 0.370166 0.468531 0.413580 0.444887 0.326446 0.552448 0.410390 0.485258 0.291391 0.615385 0.395506 0.503432 7 khoa_tieng_bo_dao_nha suite22 1209 143 0.118280 0.416755 0.826218 0.088001 0.036671 0.081609 -0.036671 0.454545 0.384615 0.416667 0.396825 0.392265 0.496503 0.438272 0.471448 0.347107 0.587413 0.436364 0.515971 0.321192 0.678322 0.435955 0.554920 7 khoa_tieng_bo_dao_nha suite22_primary 1209 143 0.118280 0.380703 0.827851 0.093287 0.059651 0.058629 -0.059651 0.396694 0.335664 0.363636 0.346320 0.381215 0.482517 0.425926 0.458167 0.363636 0.615385 0.457143 0.540541 0.327815 0.692308 0.444944 0.566362 7 khoa_tieng_bo_dao_nha suite22_relational 1209 143 0.118280 0.405848 0.808657 0.089156 0.044620 0.079896 -0.038384 0.396694 0.335664 0.363636 0.346320 0.375691 0.475524 0.419753 0.451527 0.347107 0.587413 0.436364 0.515971 0.324503 0.685315 0.440449 0.560641 7 khoa_tieng_bo_dao_nha suite23 1209 143 0.118280 0.376355 0.793181 0.090981 0.029528 0.088831 -0.029448 0.388430 0.328671 0.356061 0.339105 0.331492 0.419580 0.370370 0.398406 0.322314 0.545455 0.405195 0.479115 0.288079 0.608392 0.391011 0.497712 7 khoa_tieng_bo_dao_nha suite23_graph 1209 143 0.118280 0.328141 0.747727 0.097168 0.051380 0.066899 -0.051380 0.363636 0.307692 0.333333 0.317460 0.309392 0.391608 0.345679 0.371846 0.285124 0.482517 0.358442 0.423833 0.254967 0.538462 0.346067 0.440503 7 khoa_tieng_bo_dao_nha suite24_evidence_residual 1209 143 0.118280 0.389881 0.789272 0.088105 0.009399 0.116143 -0.002136 0.413223 0.349650 0.378788 0.360750 0.375691 0.475524 0.419753 0.451527 0.338843 0.573427 0.425974 0.503686 0.288079 0.608392 0.391011 0.497712 7 khoa_tieng_bo_dao_nha suite24_graph_standalone 1209 143 0.118280 0.327829 0.760873 0.093583 0.036749 0.087945 -0.030334 0.347107 0.293706 0.318182 0.303030 0.309392 0.391608 0.345679 0.371846 0.289256 0.489510 0.363636 0.429975 0.261589 0.552448 0.355056 0.451945 7 khoa_tieng_bo_dao_nha suite24_history_residual 1209 143 0.118280 0.407744 0.806879 0.086545 0.012699 0.121119 0.002839 0.429752 0.363636 0.393939 0.375180 0.397790 0.503497 0.444444 0.478088 0.342975 0.580420 0.431169 0.509828 0.298013 0.629371 0.404494 0.514874 7 khoa_tieng_bo_dao_nha suite24_posthoc_blend 1209 143 0.118280 0.404840 0.799532 0.087353 0.011935 0.109897 -0.008383 0.421488 0.356643 0.386364 0.367965 0.370166 0.468531 0.413580 0.444887 0.330579 0.559441 0.415584 0.491400 0.294702 0.622378 0.400000 0.509153 7 khoa_tieng_bo_dao_nha suite24_safe_scale 1209 143 0.118280 0.398520 0.792919 0.087363 0.011583 0.114748 -0.003532 0.421488 0.356643 0.386364 0.367965 0.370166 0.468531 0.413580 0.444887 0.330579 0.559441 0.415584 0.491400 0.301325 0.636364 0.408989 0.520595 7 khoa_tieng_bo_dao_nha suite24_structural_residual 1209 143 0.118280 0.392623 0.796193 0.087807 0.010123 0.110366 -0.007913 0.404959 0.342657 0.371212 0.353535 0.359116 0.454545 0.401235 0.431607 0.338843 0.573427 0.425974 0.503686 0.301325 0.636364 0.408989 0.520595 7 khoa_tieng_duc committee 2284 111 0.048599 0.295560 0.873899 0.039600 0.011405 0.052561 0.003962 0.250000 0.513514 0.336283 0.424107 0.212828 0.657658 0.321586 0.463787 0.185996 0.765766 0.299296 0.471698 0.166375 0.855856 0.278592 0.467980 7 khoa_tieng_duc suite14 2284 111 0.048599 0.307079 0.858443 0.069469 0.066918 0.104658 0.056059 0.254386 0.522523 0.342183 0.431548 0.218659 0.675676 0.330396 0.476493 0.177243 0.729730 0.285211 0.449501 0.154116 0.792793 0.258065 0.433498 7 khoa_tieng_duc suite16 2284 111 0.048599 0.315161 0.891415 0.056293 0.090237 0.138836 0.090237 0.289474 0.594595 0.389381 0.491071 0.239067 0.738739 0.361233 0.520966 0.199125 0.819820 0.320423 0.504994 0.168126 0.864865 0.281525 0.472906 7 khoa_tieng_duc suite17 2284 111 0.048599 0.318817 0.884707 0.039261 0.016696 0.051359 0.002760 0.285088 0.585586 0.383481 0.483631 0.236152 0.729730 0.356828 0.514612 0.192560 0.792793 0.309859 0.488346 0.166375 0.855856 0.278592 0.467980 7 khoa_tieng_duc suite18 2284 111 0.048599 0.322293 0.885710 0.039159 0.018121 0.051442 0.002843 0.289474 0.594595 0.389381 0.491071 0.230321 0.711712 0.348018 0.501906 0.196937 0.810811 0.316901 0.499445 0.164623 0.846847 0.275660 0.463054 7 khoa_tieng_duc suite20 2284 111 0.048599 0.274386 0.859131 0.067022 0.076423 0.125022 0.076423 0.254386 0.522523 0.342183 0.431548 0.204082 0.630631 0.308370 0.444727 0.175055 0.720721 0.281690 0.443951 0.150613 0.774775 0.252199 0.423645 7 khoa_tieng_duc suite21 2284 111 0.048599 0.309353 0.875760 0.039211 0.015049 0.053065 0.004466 0.263158 0.540541 0.353982 0.446429 0.218659 0.675676 0.330396 0.476493 0.190372 0.783784 0.306338 0.482797 0.159370 0.819820 0.266862 0.448276 7 khoa_tieng_duc suite22 2284 111 0.048599 0.337025 0.887742 0.038797 0.012881 0.035718 -0.012881 0.276316 0.567568 0.371681 0.468750 0.227405 0.702703 0.343612 0.495553 0.201313 0.828829 0.323944 0.510544 0.168126 0.864865 0.281525 0.472906 7 khoa_tieng_duc suite22_primary 2284 111 0.048599 0.333694 0.879943 0.039331 0.020070 0.029650 -0.018949 0.250000 0.513514 0.336283 0.424107 0.215743 0.666667 0.325991 0.470140 0.190372 0.783784 0.306338 0.482797 0.164623 0.846847 0.275660 0.463054 7 khoa_tieng_duc suite22_relational 2284 111 0.048599 0.294707 0.878762 0.039592 0.014405 0.037800 -0.010799 0.263158 0.540541 0.353982 0.446429 0.227405 0.702703 0.343612 0.495553 0.190372 0.783784 0.306338 0.482797 0.164623 0.846847 0.275660 0.463054 7 khoa_tieng_duc suite23 2284 111 0.048599 0.308791 0.886556 0.039295 0.008540 0.047592 -0.001007 0.263158 0.540541 0.353982 0.446429 0.233236 0.720721 0.352423 0.508259 0.201313 0.828829 0.323944 0.510544 0.166375 0.855856 0.278592 0.467980 7 khoa_tieng_duc suite23_graph 2284 111 0.048599 0.259042 0.872282 0.040615 0.004697 0.046004 -0.002595 0.236842 0.486486 0.318584 0.401786 0.209913 0.648649 0.317181 0.457433 0.185996 0.765766 0.299296 0.471698 0.161121 0.828829 0.269795 0.453202 7 khoa_tieng_duc suite24_evidence_residual 2284 111 0.048599 0.284096 0.874724 0.040079 0.007475 0.047023 -0.001576 0.258772 0.531532 0.348083 0.438988 0.218659 0.675676 0.330396 0.476493 0.192560 0.792793 0.309859 0.488346 0.166375 0.855856 0.278592 0.467980 7 khoa_tieng_duc suite24_graph_standalone 2284 111 0.048599 0.227995 0.848766 0.041909 0.007991 0.050529 0.001930 0.241228 0.495495 0.324484 0.409226 0.195335 0.603604 0.295154 0.425667 0.175055 0.720721 0.281690 0.443951 0.150613 0.774775 0.252199 0.423645 7 khoa_tieng_duc suite24_history_residual 2284 111 0.048599 0.297791 0.879214 0.039636 0.012995 0.051374 0.002775 0.271930 0.558559 0.365782 0.461310 0.218659 0.675676 0.330396 0.476493 0.192560 0.792793 0.309859 0.488346 0.166375 0.855856 0.278592 0.467980 7 khoa_tieng_duc suite24_posthoc_blend 2284 111 0.048599 0.298205 0.883770 0.039426 0.009914 0.048126 -0.000473 0.263158 0.540541 0.353982 0.446429 0.224490 0.693694 0.339207 0.489199 0.196937 0.810811 0.316901 0.499445 0.171629 0.882883 0.287390 0.482759 7 khoa_tieng_duc suite24_safe_scale 2284 111 0.048599 0.291178 0.874595 0.039815 0.008494 0.046834 -0.001765 0.254386 0.522523 0.342183 0.431548 0.212828 0.657658 0.321586 0.463787 0.192560 0.792793 0.309859 0.488346 0.166375 0.855856 0.278592 0.467980 7 khoa_tieng_duc suite24_structural_residual 2284 111 0.048599 0.306406 0.878480 0.039317 0.010774 0.049398 0.000799 0.267544 0.549550 0.359882 0.453869 0.215743 0.666667 0.325991 0.470140 0.192560 0.792793 0.309859 0.488346 0.168126 0.864865 0.281525 0.472906 7 khoa_tieng_han_quoc committee 3434 125 0.036401 0.378628 0.893046 0.027931 0.019712 0.046258 0.009857 0.250729 0.688000 0.367521 0.510083 0.178641 0.736000 0.287500 0.453202 0.145560 0.800000 0.246305 0.421230 0.122378 0.840000 0.213632 0.386598 7 khoa_tieng_han_quoc suite14 3434 125 0.036401 0.390847 0.894860 0.041802 0.083986 0.120113 0.083713 0.247813 0.680000 0.363248 0.504152 0.186408 0.768000 0.300000 0.472906 0.152838 0.840000 0.258621 0.442291 0.125874 0.864000 0.219736 0.397644 7 khoa_tieng_han_quoc suite16 3434 125 0.036401 0.369296 0.908961 0.042225 0.076943 0.113239 0.076839 0.247813 0.680000 0.363248 0.504152 0.184466 0.760000 0.296875 0.467980 0.152838 0.840000 0.258621 0.442291 0.128205 0.880000 0.223805 0.405007 7 khoa_tieng_han_quoc suite17 3434 125 0.036401 0.395896 0.907657 0.028624 0.025014 0.048008 0.011607 0.253644 0.696000 0.371795 0.516014 0.184466 0.760000 0.296875 0.467980 0.149927 0.824000 0.253695 0.433867 0.129371 0.888000 0.225839 0.408689 7 khoa_tieng_han_quoc suite18 3434 125 0.036401 0.397145 0.905077 0.028427 0.025321 0.048186 0.011786 0.253644 0.696000 0.371795 0.516014 0.186408 0.768000 0.300000 0.472906 0.149927 0.824000 0.253695 0.433867 0.129371 0.888000 0.225839 0.408689 7 khoa_tieng_han_quoc suite20 3434 125 0.036401 0.325721 0.870333 0.080771 0.155230 0.191630 0.155230 0.230321 0.632000 0.337607 0.468565 0.180583 0.744000 0.290625 0.458128 0.147016 0.808000 0.248768 0.425442 0.118881 0.816000 0.207528 0.375552 7 khoa_tieng_han_quoc suite21 3434 125 0.036401 0.409328 0.904446 0.027092 0.019248 0.046894 0.010493 0.256560 0.704000 0.376068 0.521945 0.190291 0.784000 0.306250 0.482759 0.151383 0.832000 0.256158 0.438079 0.124709 0.856000 0.217701 0.393962 7 khoa_tieng_han_quoc suite22 3434 125 0.036401 0.420860 0.903021 0.027502 0.011681 0.036048 -0.000353 0.247813 0.680000 0.363248 0.504152 0.178641 0.736000 0.287500 0.453202 0.142649 0.784000 0.241379 0.412805 0.122378 0.840000 0.213632 0.386598 7 khoa_tieng_han_quoc suite22_primary 3434 125 0.036401 0.367778 0.888051 0.028407 0.006603 0.034958 -0.001443 0.224490 0.616000 0.329060 0.456702 0.170874 0.704000 0.275000 0.433498 0.144105 0.792000 0.243842 0.417018 0.121212 0.832000 0.211597 0.382916 7 khoa_tieng_han_quoc suite22_relational 3434 125 0.036401 0.334423 0.881644 0.028951 0.007234 0.030779 -0.005622 0.230321 0.632000 0.337607 0.468565 0.166990 0.688000 0.268750 0.423645 0.135371 0.744000 0.229064 0.391744 0.118881 0.816000 0.207528 0.375552 7 khoa_tieng_han_quoc suite23 3434 125 0.036401 0.388981 0.897059 0.027755 0.020340 0.044922 0.008522 0.247813 0.680000 0.363248 0.504152 0.180583 0.744000 0.290625 0.458128 0.149927 0.824000 0.253695 0.433867 0.122378 0.840000 0.213632 0.386598 7 khoa_tieng_han_quoc suite23_graph 3434 125 0.036401 0.372797 0.888335 0.028799 0.013089 0.043089 0.006689 0.227405 0.624000 0.333333 0.462633 0.174757 0.720000 0.281250 0.443350 0.147016 0.808000 0.248768 0.425442 0.122378 0.840000 0.213632 0.386598 7 khoa_tieng_han_quoc suite24_evidence_residual 3434 125 0.036401 0.421452 0.892183 0.026808 0.016017 0.041227 0.004826 0.250729 0.688000 0.367521 0.510083 0.172816 0.712000 0.278125 0.438424 0.141194 0.776000 0.238916 0.408593 0.120047 0.824000 0.209563 0.379234 7 khoa_tieng_han_quoc suite24_graph_standalone 3434 125 0.036401 0.300647 0.811803 0.029565 0.004485 0.032865 -0.003536 0.206997 0.568000 0.303419 0.421115 0.155340 0.640000 0.250000 0.394089 0.125182 0.688000 0.211823 0.362258 0.106061 0.728000 0.185148 0.335052 7 khoa_tieng_han_quoc suite24_history_residual 3434 125 0.036401 0.402589 0.896085 0.027349 0.016529 0.041426 0.005025 0.241983 0.664000 0.354701 0.492289 0.176699 0.728000 0.284375 0.448276 0.145560 0.800000 0.246305 0.421230 0.123543 0.848000 0.215666 0.390280 7 khoa_tieng_han_quoc suite24_posthoc_blend 3434 125 0.036401 0.398967 0.893374 0.027696 0.014569 0.037240 0.000839 0.241983 0.664000 0.354701 0.492289 0.172816 0.712000 0.278125 0.438424 0.141194 0.776000 0.238916 0.408593 0.124709 0.856000 0.217701 0.393962 7 khoa_tieng_han_quoc suite24_safe_scale 3434 125 0.036401 0.408334 0.893321 0.027283 0.017006 0.040883 0.004482 0.250729 0.688000 0.367521 0.510083 0.176699 0.728000 0.284375 0.448276 0.145560 0.800000 0.246305 0.421230 0.122378 0.840000 0.213632 0.386598 7 khoa_tieng_han_quoc suite24_structural_residual 3434 125 0.036401 0.397718 0.890560 0.027563 0.019903 0.043619 0.007218 0.239067 0.656000 0.350427 0.486358 0.176699 0.728000 0.284375 0.448276 0.138282 0.760000 0.233990 0.400168 0.122378 0.840000 0.213632 0.386598 7 khoa_tieng_italia committee 2453 254 0.103547 0.376654 0.833768 0.081358 0.030066 0.074511 -0.029036 0.412245 0.397638 0.404810 0.400476 0.355978 0.515748 0.421222 0.473266 0.309572 0.598425 0.408054 0.504313 0.278956 0.673228 0.394464 0.524862 7 khoa_tieng_italia suite14 2453 254 0.103547 0.370111 0.815172 0.083474 0.045812 0.148349 0.044803 0.375510 0.362205 0.368737 0.364790 0.339674 0.492126 0.401929 0.451590 0.309572 0.598425 0.408054 0.504313 0.272431 0.657480 0.385236 0.512584 7 khoa_tieng_italia suite16 2453 254 0.103547 0.374142 0.841907 0.095756 0.116017 0.219564 0.116017 0.412245 0.397638 0.404810 0.400476 0.358696 0.519685 0.424437 0.476879 0.309572 0.598425 0.408054 0.504313 0.278956 0.673228 0.394464 0.524862 7 khoa_tieng_italia suite17 2453 254 0.103547 0.380997 0.843408 0.082405 0.038232 0.073915 -0.029632 0.432653 0.417323 0.424850 0.420301 0.347826 0.503937 0.411576 0.462428 0.305499 0.590551 0.402685 0.497678 0.280587 0.677165 0.396770 0.527931 7 khoa_tieng_italia suite18 2453 254 0.103547 0.379311 0.843700 0.082442 0.039211 0.073674 -0.029873 0.424490 0.409449 0.416834 0.412371 0.345109 0.500000 0.408360 0.458815 0.313646 0.606299 0.413423 0.510949 0.283850 0.685039 0.401384 0.534070 7 khoa_tieng_italia suite20 2453 254 0.103547 0.309218 0.790598 0.095503 0.069825 0.130270 0.026723 0.371429 0.358268 0.364729 0.360825 0.312500 0.452756 0.369775 0.415462 0.270876 0.523622 0.357047 0.441274 0.239804 0.578740 0.339100 0.451197 7 khoa_tieng_italia suite21 2453 254 0.103547 0.380500 0.833413 0.081002 0.031883 0.072278 -0.031269 0.408163 0.393701 0.400802 0.396511 0.350543 0.507874 0.414791 0.466040 0.311609 0.602362 0.410738 0.507631 0.277325 0.669291 0.392157 0.521793 7 khoa_tieng_italia suite22 2453 254 0.103547 0.388433 0.845596 0.082777 0.048007 0.055540 -0.048007 0.428571 0.413386 0.420842 0.416336 0.355978 0.515748 0.421222 0.473266 0.313646 0.606299 0.413423 0.510949 0.292007 0.704724 0.412918 0.549417 7 khoa_tieng_italia suite22_primary 2453 254 0.103547 0.353890 0.832868 0.084914 0.057566 0.046619 -0.056928 0.420408 0.405512 0.412826 0.408406 0.361413 0.523622 0.427653 0.480491 0.319756 0.618110 0.421477 0.520902 0.288744 0.696850 0.408304 0.543278 7 khoa_tieng_italia suite22_relational 2453 254 0.103547 0.367143 0.823126 0.080747 0.044379 0.060322 -0.043224 0.404082 0.389764 0.396794 0.392546 0.345109 0.500000 0.408360 0.458815 0.315682 0.610236 0.416107 0.514267 0.295269 0.712598 0.417532 0.555556 7 khoa_tieng_italia suite23 2453 254 0.103547 0.383335 0.838926 0.081594 0.033265 0.070282 -0.033265 0.412245 0.397638 0.404810 0.400476 0.347826 0.503937 0.411576 0.462428 0.307536 0.594488 0.405369 0.500995 0.280587 0.677165 0.396770 0.527931 7 khoa_tieng_italia suite23_graph 2453 254 0.103547 0.372226 0.811534 0.085138 0.055158 0.048389 -0.055158 0.395918 0.381890 0.388778 0.384615 0.339674 0.492126 0.401929 0.451590 0.283096 0.547244 0.373154 0.461181 0.269168 0.649606 0.380623 0.506446 7 khoa_tieng_italia suite24_evidence_residual 2453 254 0.103547 0.370845 0.831731 0.081194 0.034910 0.069359 -0.034188 0.379592 0.366142 0.372745 0.368755 0.317935 0.460630 0.376206 0.422688 0.301426 0.582677 0.397315 0.491042 0.277325 0.669291 0.392157 0.521793 7 khoa_tieng_italia suite24_graph_standalone 2453 254 0.103547 0.343052 0.810393 0.081903 0.038470 0.067596 -0.035951 0.371429 0.358268 0.364729 0.360825 0.307065 0.444882 0.363344 0.408237 0.293279 0.566929 0.386577 0.477770 0.269168 0.649606 0.380623 0.506446 7 khoa_tieng_italia suite24_history_residual 2453 254 0.103547 0.381267 0.833149 0.080100 0.030465 0.073082 -0.030465 0.428571 0.413386 0.420842 0.416336 0.336957 0.488189 0.398714 0.447977 0.305499 0.590551 0.402685 0.497678 0.274062 0.661417 0.387543 0.515654 7 khoa_tieng_italia suite24_posthoc_blend 2453 254 0.103547 0.380830 0.842248 0.080860 0.035236 0.068431 -0.035115 0.416327 0.401575 0.408818 0.404441 0.342391 0.496063 0.405145 0.455202 0.299389 0.578740 0.394631 0.487724 0.290375 0.700787 0.410611 0.546347 7 khoa_tieng_italia suite24_safe_scale 2453 254 0.103547 0.376886 0.835056 0.081692 0.037496 0.067386 -0.036160 0.408163 0.393701 0.400802 0.396511 0.339674 0.492126 0.401929 0.451590 0.301426 0.582677 0.397315 0.491042 0.275693 0.665354 0.389850 0.518723 7 khoa_tieng_italia suite24_structural_residual 2453 254 0.103547 0.364310 0.823630 0.081238 0.033305 0.073317 -0.030230 0.412245 0.397638 0.404810 0.400476 0.339674 0.492126 0.401929 0.451590 0.299389 0.578740 0.394631 0.487724 0.277325 0.669291 0.392157 0.521793 7 khoa_tieng_nga committee 1924 154 0.080042 0.273913 0.772320 0.069679 0.040335 0.120377 0.040335 0.322917 0.402597 0.358382 0.383663 0.259516 0.487013 0.338600 0.414365 0.231169 0.577922 0.330241 0.444555 0.203742 0.636364 0.308661 0.446673 7 khoa_tieng_nga suite14 1924 154 0.080042 0.280095 0.794402 0.102062 0.125900 0.205942 0.125900 0.302083 0.376623 0.335260 0.358911 0.276817 0.519481 0.361174 0.441989 0.241558 0.603896 0.345083 0.464535 0.212058 0.662338 0.321260 0.464904 7 khoa_tieng_nga suite16 1924 154 0.080042 0.286349 0.789757 0.132084 0.212355 0.292396 0.212355 0.322917 0.402597 0.358382 0.383663 0.262976 0.493506 0.343115 0.419890 0.238961 0.597403 0.341373 0.459540 0.224532 0.701299 0.340157 0.492252 7 khoa_tieng_nga suite17 1924 154 0.080042 0.283023 0.792087 0.067457 0.042707 0.119182 0.039141 0.322917 0.402597 0.358382 0.383663 0.266436 0.500000 0.347630 0.425414 0.236364 0.590909 0.337662 0.454545 0.224532 0.701299 0.340157 0.492252 7 khoa_tieng_nga suite18 1924 154 0.080042 0.284172 0.792065 0.067368 0.040907 0.118843 0.038802 0.328125 0.409091 0.364162 0.389851 0.262976 0.493506 0.343115 0.419890 0.241558 0.603896 0.345083 0.464535 0.218295 0.681818 0.330709 0.478578 7 khoa_tieng_nga suite20 1924 154 0.080042 0.300443 0.790201 0.114801 0.129937 0.209979 0.129937 0.302083 0.376623 0.335260 0.358911 0.252595 0.474026 0.329571 0.403315 0.220779 0.551948 0.315399 0.424575 0.195426 0.610390 0.296063 0.428441 7 khoa_tieng_nga suite21 1924 154 0.080042 0.274526 0.783495 0.070708 0.045359 0.125401 0.045359 0.312500 0.389610 0.346821 0.371287 0.259516 0.487013 0.338600 0.414365 0.231169 0.577922 0.330241 0.444555 0.209979 0.655844 0.318110 0.460346 7 khoa_tieng_nga suite22 1924 154 0.080042 0.296673 0.798918 0.065207 0.016046 0.076298 -0.003743 0.317708 0.396104 0.352601 0.377475 0.269896 0.506494 0.352144 0.430939 0.233766 0.584416 0.333952 0.449550 0.214137 0.668831 0.324409 0.469462 7 khoa_tieng_nga suite22_primary 1924 154 0.080042 0.304066 0.804439 0.065248 0.030153 0.053585 -0.026457 0.312500 0.389610 0.346821 0.371287 0.283737 0.532468 0.370203 0.453039 0.233766 0.584416 0.333952 0.449550 0.220374 0.688312 0.333858 0.483136 7 khoa_tieng_nga suite22_relational 1924 154 0.080042 0.273462 0.786830 0.066479 0.022843 0.070492 -0.009550 0.281250 0.350649 0.312139 0.334158 0.262976 0.493506 0.343115 0.419890 0.236364 0.590909 0.337662 0.454545 0.207900 0.649351 0.314961 0.455789 7 khoa_tieng_nga suite23 1924 154 0.080042 0.269359 0.785797 0.066653 0.016658 0.094190 0.014149 0.312500 0.389610 0.346821 0.371287 0.266436 0.500000 0.347630 0.425414 0.218182 0.545455 0.311688 0.419580 0.203742 0.636364 0.308661 0.446673 7 khoa_tieng_nga suite23_graph 1924 154 0.080042 0.237855 0.776915 0.067374 0.015506 0.070952 -0.009090 0.265625 0.331169 0.294798 0.315594 0.231834 0.435065 0.302483 0.370166 0.207792 0.519481 0.296846 0.399600 0.195426 0.610390 0.296063 0.428441 7 khoa_tieng_nga suite24_evidence_residual 1924 154 0.080042 0.261993 0.772195 0.069109 0.029056 0.102909 0.022868 0.302083 0.376623 0.335260 0.358911 0.259516 0.487013 0.338600 0.414365 0.223377 0.558442 0.319109 0.429570 0.207900 0.649351 0.314961 0.455789 7 khoa_tieng_nga suite24_graph_standalone 1924 154 0.080042 0.247211 0.774330 0.068332 0.019836 0.084042 0.004001 0.296875 0.370130 0.329480 0.352723 0.249135 0.467532 0.325056 0.397790 0.223377 0.558442 0.319109 0.429570 0.195426 0.610390 0.296063 0.428441 7 khoa_tieng_nga suite24_history_residual 1924 154 0.080042 0.265309 0.765419 0.069519 0.029837 0.109878 0.029837 0.307292 0.383117 0.341040 0.365099 0.252595 0.474026 0.329571 0.403315 0.212987 0.532468 0.304267 0.409590 0.207900 0.649351 0.314961 0.455789 7 khoa_tieng_nga suite24_posthoc_blend 1924 154 0.080042 0.274058 0.787545 0.067900 0.025988 0.105498 0.025456 0.322917 0.402597 0.358382 0.383663 0.262976 0.493506 0.343115 0.419890 0.231169 0.577922 0.330241 0.444555 0.207900 0.649351 0.314961 0.455789 7 khoa_tieng_nga suite24_safe_scale 1924 154 0.080042 0.265955 0.773340 0.068674 0.025467 0.105509 0.025467 0.307292 0.383117 0.341040 0.365099 0.262976 0.493506 0.343115 0.419890 0.233766 0.584416 0.333952 0.449550 0.203742 0.636364 0.308661 0.446673 7 khoa_tieng_nga suite24_structural_residual 1924 154 0.080042 0.260288 0.763556 0.068363 0.023372 0.102941 0.022899 0.317708 0.396104 0.352601 0.377475 0.242215 0.454545 0.316027 0.386740 0.215584 0.538961 0.307978 0.414585 0.203742 0.636364 0.308661 0.446673 7 khoa_tieng_nhat committee 2795 145 0.051878 0.219483 0.818690 0.044658 0.010347 0.057900 0.006022 0.221429 0.427586 0.291765 0.360465 0.190931 0.551724 0.283688 0.400400 0.169946 0.655172 0.269886 0.417032 0.147353 0.710345 0.244076 0.402658 7 khoa_tieng_nhat suite14 2795 145 0.051878 0.242224 0.814481 0.059030 0.084926 0.136662 0.084783 0.232143 0.448276 0.305882 0.377907 0.210024 0.606897 0.312057 0.440440 0.171735 0.662069 0.272727 0.421422 0.151645 0.731034 0.251185 0.414386 7 khoa_tieng_nhat suite16 2795 145 0.051878 0.214219 0.826428 0.070294 0.108857 0.160735 0.108857 0.232143 0.448276 0.305882 0.377907 0.202864 0.586207 0.301418 0.425425 0.168157 0.648276 0.267045 0.412643 0.150215 0.724138 0.248815 0.410477 7 khoa_tieng_nhat suite17 2795 145 0.051878 0.221994 0.828807 0.044421 0.008847 0.057476 0.005597 0.221429 0.427586 0.291765 0.360465 0.198091 0.572414 0.294326 0.415415 0.168157 0.648276 0.267045 0.412643 0.147353 0.710345 0.244076 0.402658 7 khoa_tieng_nhat suite18 2795 145 0.051878 0.223455 0.826025 0.044404 0.008346 0.057603 0.005724 0.225000 0.434483 0.296471 0.366279 0.200477 0.579310 0.297872 0.420420 0.169946 0.655172 0.269886 0.417032 0.148784 0.717241 0.246445 0.406568 7 khoa_tieng_nhat suite20 2795 145 0.051878 0.275866 0.825453 0.104720 0.145163 0.197042 0.145163 0.228571 0.441379 0.301176 0.372093 0.195704 0.565517 0.290780 0.410410 0.175313 0.675862 0.278409 0.430202 0.153076 0.737931 0.253555 0.418296 7 khoa_tieng_nhat suite21 2795 145 0.051878 0.238623 0.824379 0.044568 0.009483 0.061083 0.009205 0.246429 0.475862 0.324706 0.401163 0.186158 0.537931 0.276596 0.390390 0.168157 0.648276 0.267045 0.412643 0.151645 0.731034 0.251185 0.414386 7 khoa_tieng_nhat suite22 2795 145 0.051878 0.252934 0.831092 0.043939 0.013317 0.041895 -0.009983 0.239286 0.462069 0.315294 0.389535 0.193317 0.558621 0.287234 0.405405 0.168157 0.648276 0.267045 0.412643 0.155937 0.751724 0.258294 0.426114 7 khoa_tieng_nhat suite22_primary 2795 145 0.051878 0.247780 0.824455 0.044225 0.015714 0.036627 -0.015251 0.239286 0.462069 0.315294 0.389535 0.190931 0.551724 0.283688 0.400400 0.168157 0.648276 0.267045 0.412643 0.145923 0.703448 0.241706 0.398749 7 khoa_tieng_nhat suite22_relational 2795 145 0.051878 0.187521 0.794618 0.046536 0.016779 0.046816 -0.005062 0.214286 0.413793 0.282353 0.348837 0.174224 0.503448 0.258865 0.365365 0.155635 0.600000 0.247159 0.381914 0.134478 0.648276 0.222749 0.367475 7 khoa_tieng_nhat suite23 2795 145 0.051878 0.236686 0.836047 0.044427 0.009685 0.043060 -0.008819 0.217857 0.420690 0.287059 0.354651 0.198091 0.572414 0.294326 0.415415 0.177102 0.682759 0.281250 0.434592 0.153076 0.737931 0.253555 0.418296 7 khoa_tieng_nhat suite23_graph 2795 145 0.051878 0.226168 0.823446 0.045039 0.015309 0.036569 -0.015309 0.217857 0.420690 0.287059 0.354651 0.181384 0.524138 0.269504 0.380380 0.153846 0.593103 0.244318 0.377524 0.137339 0.662069 0.227488 0.375293 7 khoa_tieng_nhat suite24_evidence_residual 2795 145 0.051878 0.252164 0.828997 0.043917 0.007132 0.053498 0.001620 0.232143 0.448276 0.305882 0.377907 0.202864 0.586207 0.301418 0.425425 0.171735 0.662069 0.272727 0.421422 0.151645 0.731034 0.251185 0.414386 7 khoa_tieng_nhat suite24_graph_standalone 2795 145 0.051878 0.226060 0.793034 0.044834 0.014417 0.046438 -0.005440 0.221429 0.427586 0.291765 0.360465 0.176611 0.510345 0.262411 0.370370 0.162791 0.627586 0.258523 0.399473 0.143062 0.689655 0.236967 0.390930 7 khoa_tieng_nhat suite24_history_residual 2795 145 0.051878 0.234347 0.817494 0.044318 0.006798 0.053662 0.001784 0.232143 0.448276 0.305882 0.377907 0.190931 0.551724 0.283688 0.400400 0.162791 0.627586 0.258523 0.399473 0.143062 0.689655 0.236967 0.390930 7 khoa_tieng_nhat suite24_posthoc_blend 2795 145 0.051878 0.235489 0.828723 0.044260 0.005641 0.051259 -0.000619 0.217857 0.420690 0.287059 0.354651 0.193317 0.558621 0.287234 0.405405 0.164580 0.634483 0.261364 0.403863 0.151645 0.731034 0.251185 0.414386 7 khoa_tieng_nhat suite24_safe_scale 2795 145 0.051878 0.245236 0.826204 0.044143 0.007142 0.052240 0.000362 0.232143 0.448276 0.305882 0.377907 0.200477 0.579310 0.297872 0.420420 0.164580 0.634483 0.261364 0.403863 0.147353 0.710345 0.244076 0.402658 7 khoa_tieng_nhat suite24_structural_residual 2795 145 0.051878 0.249050 0.815787 0.044113 0.010989 0.059508 0.007629 0.232143 0.448276 0.305882 0.377907 0.190931 0.551724 0.283688 0.400400 0.162791 0.627586 0.258523 0.399473 0.145923 0.703448 0.241706 0.398749 7 khoa_tieng_phap committee 2915 119 0.040823 0.274774 0.827650 0.033839 0.012065 0.032723 -0.008100 0.191781 0.470588 0.272506 0.364583 0.151030 0.554622 0.237410 0.361446 0.123499 0.605042 0.205128 0.339943 0.108368 0.663866 0.186321 0.327801 7 khoa_tieng_phap suite14 2915 119 0.040823 0.282266 0.814095 0.040442 0.034559 0.075383 0.034559 0.188356 0.462185 0.267640 0.358073 0.141876 0.521008 0.223022 0.339540 0.116638 0.571429 0.193732 0.321058 0.108368 0.663866 0.186321 0.327801 7 khoa_tieng_phap suite16 2915 119 0.040823 0.283591 0.835107 0.043460 0.046963 0.087787 0.046963 0.195205 0.478992 0.277372 0.371094 0.146453 0.537815 0.230216 0.350493 0.121784 0.596639 0.202279 0.335222 0.111111 0.680672 0.191038 0.336100 7 khoa_tieng_phap suite17 2915 119 0.040823 0.284107 0.834938 0.034077 0.010263 0.033489 -0.007335 0.198630 0.487395 0.282238 0.377604 0.151030 0.554622 0.237410 0.361446 0.128645 0.630252 0.213675 0.354108 0.115226 0.705882 0.198113 0.348548 7 khoa_tieng_phap suite18 2915 119 0.040823 0.281321 0.833276 0.034042 0.010050 0.033336 -0.007487 0.202055 0.495798 0.287105 0.384115 0.146453 0.537815 0.230216 0.350493 0.125214 0.613445 0.207977 0.344665 0.113855 0.697479 0.195755 0.344398 7 khoa_tieng_phap suite20 2915 119 0.040823 0.251984 0.862496 0.052021 0.056728 0.097551 0.056728 0.205479 0.504202 0.291971 0.390625 0.160183 0.588235 0.251799 0.383352 0.135506 0.663866 0.225071 0.372993 0.123457 0.756303 0.212264 0.373444 7 khoa_tieng_phap suite21 2915 119 0.040823 0.271691 0.820289 0.033959 0.014537 0.031148 -0.009676 0.191781 0.470588 0.272506 0.364583 0.146453 0.537815 0.230216 0.350493 0.114923 0.563025 0.190883 0.316336 0.102881 0.630252 0.176887 0.311203 7 khoa_tieng_phap suite22 2915 119 0.040823 0.298361 0.846230 0.033820 0.020267 0.023475 -0.017348 0.202055 0.495798 0.287105 0.384115 0.155606 0.571429 0.244604 0.372399 0.130360 0.638655 0.216524 0.358829 0.117970 0.722689 0.202830 0.356846 7 khoa_tieng_phap suite22_primary 2915 119 0.040823 0.289604 0.835972 0.034573 0.021195 0.019725 -0.021099 0.191781 0.470588 0.272506 0.364583 0.151030 0.554622 0.237410 0.361446 0.133791 0.655462 0.222222 0.368272 0.120713 0.739496 0.207547 0.365145 7 khoa_tieng_phap suite22_relational 2915 119 0.040823 0.290878 0.858072 0.033813 0.020465 0.025010 -0.015814 0.208904 0.512605 0.296837 0.397135 0.171625 0.630252 0.269784 0.410734 0.152659 0.747899 0.253561 0.420208 0.131687 0.806723 0.226415 0.398340 7 khoa_tieng_phap suite23 2915 119 0.040823 0.281428 0.834442 0.033764 0.011652 0.031305 -0.009518 0.195205 0.478992 0.277372 0.371094 0.153318 0.563025 0.241007 0.366922 0.123499 0.605042 0.205128 0.339943 0.111111 0.680672 0.191038 0.336100 7 khoa_tieng_phap suite23_graph 2915 119 0.040823 0.296494 0.849196 0.034752 0.015161 0.025662 -0.015161 0.202055 0.495798 0.287105 0.384115 0.160183 0.588235 0.251799 0.383352 0.137221 0.672269 0.227920 0.377715 0.119342 0.731092 0.205189 0.360996 7 khoa_tieng_phap suite24_evidence_residual 2915 119 0.040823 0.267205 0.829531 0.034102 0.012543 0.031924 -0.008899 0.198630 0.487395 0.282238 0.377604 0.146453 0.537815 0.230216 0.350493 0.121784 0.596639 0.202279 0.335222 0.111111 0.680672 0.191038 0.336100 7 khoa_tieng_phap suite24_graph_standalone 2915 119 0.040823 0.259436 0.852009 0.034333 0.009077 0.035443 -0.005380 0.184932 0.453782 0.262774 0.351562 0.162471 0.596639 0.255396 0.388828 0.133791 0.655462 0.222222 0.368272 0.122085 0.747899 0.209906 0.369295 7 khoa_tieng_phap suite24_history_residual 2915 119 0.040823 0.261513 0.823490 0.034056 0.012053 0.034326 -0.006498 0.202055 0.495798 0.287105 0.384115 0.146453 0.537815 0.230216 0.350493 0.118353 0.579832 0.196581 0.325779 0.105624 0.647059 0.181604 0.319502 7 khoa_tieng_phap suite24_posthoc_blend 2915 119 0.040823 0.285448 0.852992 0.033687 0.013178 0.031022 -0.009801 0.198630 0.487395 0.282238 0.377604 0.153318 0.563025 0.241007 0.366922 0.133791 0.655462 0.222222 0.368272 0.126200 0.773109 0.216981 0.381743 7 khoa_tieng_phap suite24_safe_scale 2915 119 0.040823 0.272864 0.829543 0.033946 0.013432 0.030444 -0.010379 0.195205 0.478992 0.277372 0.371094 0.151030 0.554622 0.237410 0.361446 0.125214 0.613445 0.207977 0.344665 0.111111 0.680672 0.191038 0.336100 7 khoa_tieng_phap suite24_structural_residual 2915 119 0.040823 0.256847 0.807186 0.034152 0.007703 0.036463 -0.004360 0.178082 0.436975 0.253041 0.338542 0.139588 0.512605 0.219424 0.334064 0.113208 0.554622 0.188034 0.311615 0.101509 0.621849 0.174528 0.307054 SUITE24 ALL-FOLD MACRO SUMMARY — F1..F7 -------------------------------------------------------------------------------- model faculties mean_fold_ap mean_fold_auc mean_fold_brier mean_fold_ece10 mean_fold_mean_score mean_fold_calibration_gap mean_fold_precision_at_20 mean_fold_recall_at_20 mean_fold_f1_at_20 mean_fold_fbeta_at_20 council 1 0.383294 0.855707 0.051318 0.038571 0.102113 0.036700 0.219794 0.713506 0.315986 0.456062 suite22 14 0.372436 0.883711 0.031744 0.016681 0.039454 -0.002942 0.155678 0.777482 0.240468 0.380613 suite24_posthoc_blend 14 0.368226 0.879847 0.031737 0.017638 0.040377 -0.002018 0.154055 0.766467 0.237812 0.376162 suite17 14 0.365412 0.881649 0.032409 0.021339 0.050720 0.008324 0.154873 0.775350 0.239154 0.378685 suite23 14 0.365170 0.880518 0.031951 0.018668 0.044508 0.002113 0.154685 0.771253 0.238812 0.377867 suite18 14 0.364397 0.881092 0.032422 0.021219 0.050687 0.008292 0.155208 0.774247 0.239569 0.379101 suite21 14 0.361970 0.875832 0.032425 0.021011 0.053026 0.010630 0.152872 0.761517 0.235898 0.373167 suite14 14 0.361533 0.870571 0.040871 0.047178 0.084325 0.041930 0.151436 0.748357 0.233261 0.368112 suite16 14 0.360057 0.880558 0.055790 0.088683 0.130253 0.087858 0.154557 0.774494 0.238709 0.378085 committee 14 0.353854 0.870543 0.032294 0.019349 0.049202 0.006806 0.151948 0.754042 0.234244 0.370098 suite24_history_residual 14 0.352701 0.874004 0.032275 0.020740 0.040831 -0.001565 0.152117 0.755434 0.234440 0.370491 suite24_evidence_residual 14 0.352417 0.873192 0.032387 0.021546 0.040048 -0.002347 0.151991 0.751953 0.234221 0.369870 suite24_safe_scale 14 0.352272 0.872620 0.032287 0.020840 0.040391 -0.002005 0.152393 0.753904 0.234796 0.370720 suite24_structural_residual 14 0.351994 0.872523 0.032706 0.022566 0.043155 0.000760 0.151668 0.753028 0.233745 0.369330 v2 1 0.351818 0.856084 0.099018 0.143562 0.208975 0.143562 0.215630 0.707648 0.310683 0.449853 suite22_primary 14 0.331806 0.874561 0.033042 0.017945 0.035777 -0.006619 0.150628 0.758551 0.232863 0.369165 suite22_relational 14 0.328498 0.875074 0.033245 0.019819 0.033370 -0.009026 0.151426 0.764126 0.234137 0.371434 suite23_graph 14 0.311112 0.865060 0.034481 0.023921 0.041751 -0.000645 0.145662 0.737430 0.225378 0.357804 suite20 14 0.294114 0.866518 0.084017 0.106857 0.146452 0.104057 0.147111 0.741956 0.227711 0.361405 suite24_graph_standalone 14 0.292720 0.852326 0.034434 0.022472 0.041317 -0.001079 0.142364 0.710681 0.219634 0.347383 SUITE24 HOLDOUT MACRO SUMMARY — F6/F7 -------------------------------------------------------------------------------- model faculties mean_fold_ap mean_fold_auc mean_fold_brier mean_fold_ece10 mean_fold_mean_score mean_fold_calibration_gap mean_fold_precision_at_20 mean_fold_recall_at_20 mean_fold_f1_at_20 mean_fold_fbeta_at_20 council 1 0.444927 0.833026 0.087385 0.015389 0.139283 0.013812 0.381290 0.617044 0.466517 0.544238 v2 1 0.422654 0.826598 0.142849 0.162288 0.287759 0.162288 0.370122 0.598342 0.452673 0.527904 suite22 14 0.369159 0.855570 0.052508 0.023325 0.051735 -0.019106 0.235332 0.693883 0.328604 0.457353 suite24_posthoc_blend 14 0.362838 0.853278 0.052062 0.019741 0.063971 -0.006870 0.234074 0.690256 0.326745 0.454824 suite14 14 0.360232 0.850384 0.068662 0.073762 0.140512 0.069671 0.233303 0.686579 0.325251 0.452347 suite24_history_residual 14 0.359607 0.847857 0.052332 0.022939 0.058473 -0.012368 0.232902 0.682012 0.324065 0.449919 suite23 14 0.358265 0.850081 0.052685 0.022269 0.066189 -0.004652 0.233652 0.685744 0.325725 0.452802 suite17 14 0.357815 0.852825 0.053247 0.025095 0.073521 0.002680 0.234047 0.687406 0.326232 0.453504 suite18 14 0.357805 0.852900 0.053261 0.025283 0.073371 0.002530 0.235224 0.689275 0.327754 0.455319 suite21 14 0.357066 0.846907 0.053102 0.023850 0.076118 0.005277 0.230796 0.676295 0.321421 0.446429 suite16 14 0.356077 0.851952 0.072796 0.088931 0.157983 0.087142 0.234085 0.688178 0.326393 0.453872 suite24_safe_scale 14 0.354934 0.846360 0.052853 0.024942 0.056838 -0.014004 0.232907 0.680283 0.324115 0.449750 suite24_evidence_residual 14 0.354254 0.846098 0.052775 0.024209 0.057118 -0.013723 0.232192 0.678738 0.323175 0.448556 suite24_structural_residual 14 0.353068 0.844866 0.052746 0.023565 0.059021 -0.011820 0.231754 0.675995 0.322247 0.446928 committee 14 0.350152 0.843399 0.053294 0.024045 0.072407 0.001566 0.231095 0.675598 0.321675 0.446492 suite22_relational 14 0.340764 0.846168 0.053463 0.027534 0.047688 -0.023154 0.231217 0.682699 0.322820 0.449392 suite22_primary 14 0.336369 0.840535 0.054646 0.030688 0.042596 -0.028245 0.226298 0.663805 0.315606 0.438565 suite20 14 0.324935 0.839578 0.099934 0.118914 0.185249 0.114408 0.222727 0.666560 0.312170 0.436498 suite23_graph 14 0.321909 0.831552 0.055275 0.026463 0.057773 -0.013068 0.221040 0.654324 0.308978 0.430633 suite24_graph_standalone 14 0.310516 0.821832 0.054345 0.020617 0.061694 -0.009147 0.216766 0.634511 0.302059 0.419476 SUITE24 PRIMARY PAIRED HOLDOUT COMPARISON -------------------------------------------------------------------------------- candidate base cells wins losses mean_delta_ap median_delta_ap worst_delta_ap mean_delta_auc mean_delta_f2_at20 suite24_evidence_residual committee 28 14 14 0.004102 0.000541 -0.017572 0.002699 0.002064 suite24_evidence_residual suite17 28 12 16 -0.003561 -0.003260 -0.034721 -0.006727 -0.004948 suite24_evidence_residual suite18 28 13 15 -0.003551 -0.000428 -0.038197 -0.006802 -0.006763 suite24_evidence_residual suite21 28 11 17 -0.002812 -0.003443 -0.032088 -0.000808 0.002127 suite24_evidence_residual suite22 28 6 22 -0.014905 -0.017673 -0.053643 -0.009471 -0.008797 suite24_evidence_residual suite23 28 9 19 -0.004010 -0.004229 -0.059288 -0.003982 -0.004246 suite24_evidence_residual suite22_relational 28 16 12 0.013490 0.002557 -0.065786 -0.000069 -0.000836 suite24_evidence_residual suite23_graph 28 21 7 0.032345 0.027954 -0.043937 0.014546 0.017923 suite24_evidence_residual council 2 0 2 -0.022163 -0.022163 -0.029061 -0.006454 -0.004278 SUITE24 HOLDOUT FACULTY HEAD-TO-HEAD -------------------------------------------------------------------------------- faculty suite24_ap committee_ap delta_vs_committee suite17_ap delta_vs_suite17 suite18_ap delta_vs_suite18 suite21_ap delta_vs_suite21 suite22_ap delta_vs_suite22 suite23_ap delta_vs_suite23 suite22_relational_ap delta_vs_suite22_relational suite23_graph_ap delta_vs_suite23_graph council_ap delta_vs_council khoa_tieng_han_quoc 0.345569 0.315879 0.029690 0.333005 0.012564 0.332781 0.012788 0.336184 0.009386 0.358607 -0.013037 0.326835 0.018735 0.321931 0.023638 0.302161 0.043408 NaN NaN khoa_tieng_nhat 0.217737 0.197887 0.019849 0.200121 0.017615 0.199897 0.017840 0.211685 0.006051 0.219105 -0.001369 0.211387 0.006349 0.172764 0.044972 0.190682 0.027055 NaN NaN khoa_quan_tri_kinh_doanh_va_du_lich 0.412122 0.399207 0.012914 0.407873 0.004248 0.408235 0.003887 0.395783 0.016339 0.429798 -0.017676 0.419884 -0.007762 0.428919 -0.016797 0.401072 0.011050 NaN NaN khoa_tieng_anh 0.266065 0.254547 0.011518 0.262702 0.003363 0.265981 0.000085 0.258094 0.007971 0.260863 0.005202 0.262926 0.003139 0.227032 0.039033 0.199023 0.067043 NaN NaN khoa_cong_nghe_thong_tin 0.422765 0.412578 0.010186 0.417591 0.005174 0.414407 0.008358 0.419185 0.003580 0.424266 -0.001501 0.436409 -0.013644 0.395557 0.027208 0.390513 0.032252 0.444927 -0.022163 khoa_tieng_trung_quoc 0.255801 0.249532 0.006269 0.260093 -0.004292 0.259264 -0.003463 0.261752 -0.005951 0.276961 -0.021160 0.258389 -0.002589 0.255026 0.000775 0.192740 0.063060 NaN NaN khoa_tieng_tay_ban_nha 0.390748 0.387535 0.003213 0.395079 -0.004331 0.393249 -0.002501 0.408967 -0.018220 0.422826 -0.032078 0.396799 -0.006051 0.409366 -0.018618 0.376631 0.014116 NaN NaN khoa_tieng_italia 0.304122 0.302636 0.001486 0.308005 -0.003883 0.306753 -0.002631 0.305668 -0.001546 0.314573 -0.010451 0.310503 -0.006381 0.280077 0.024045 0.287619 0.016503 NaN NaN khoa_quoc_te_hoc 0.260185 0.261211 -0.001026 0.267580 -0.007395 0.272936 -0.012751 0.261558 -0.001373 0.273008 -0.012823 0.275410 -0.015225 0.226127 0.034058 0.235727 0.024458 NaN NaN khoa_viet_nam_hoc 0.624606 0.627200 -0.002594 0.631835 -0.007230 0.628428 -0.003822 0.629217 -0.004611 0.622336 0.002270 0.627200 -0.002594 0.618109 0.006497 0.585399 0.039207 NaN NaN khoa_tieng_bo_dao_nha 0.458294 0.464251 -0.005957 0.468486 -0.010192 0.466295 -0.008001 0.470990 -0.012696 0.462717 -0.004424 0.448702 0.009592 0.422689 0.035605 0.403060 0.055234 NaN NaN khoa_tieng_nga 0.370832 0.377031 -0.006199 0.384702 -0.013870 0.385985 -0.015153 0.377869 -0.007037 0.393063 -0.022231 0.377247 -0.006415 0.376779 -0.005947 0.344867 0.025965 NaN NaN khoa_tieng_duc 0.365631 0.375697 -0.010066 0.388699 -0.023068 0.391861 -0.026229 0.385958 -0.020327 0.402625 -0.036994 0.362176 0.003455 0.353566 0.012065 0.302357 0.063275 NaN NaN khoa_tieng_phap 0.265082 0.276935 -0.011853 0.283644 -0.018562 0.283197 -0.018115 0.276015 -0.010933 0.307482 -0.042400 0.301838 -0.036756 0.282759 -0.017676 0.294883 -0.029801 NaN NaN SUITE24 OPERATIONAL HOLDOUT SUMMARY -------------------------------------------------------------------------------- model policy precision recall f2 flag_rate council drift 0.362458 0.677219 0.577004 0.239326 v2 drift 0.329869 0.689634 0.566143 0.267790 suite22 drift 0.308292 0.559244 0.471545 0.136108 suite22_relational drift 0.282202 0.559786 0.462842 0.149110 suite21 drift 0.293533 0.549521 0.460218 0.137155 suite16 drift 0.306182 0.532161 0.459589 0.129384 suite14 drift 0.301348 0.577052 0.459410 0.152635 suite22_primary drift 0.280765 0.549106 0.458443 0.143752 suite17 drift 0.320536 0.526790 0.458270 0.123769 suite23 drift 0.298495 0.536196 0.457975 0.127811 suite18 drift 0.315042 0.526902 0.457464 0.126292 committee drift 0.297712 0.536400 0.456412 0.131944 suite20 drift 0.254200 0.588446 0.451344 0.169770 suite24_posthoc_blend drift 0.325142 0.514559 0.448843 0.120999 suite23_graph drift 0.273355 0.537770 0.440044 0.147205 suite24_history_residual drift 0.326951 0.491000 0.436239 0.122424 suite24_safe_scale drift 0.316134 0.499191 0.433434 0.123591 suite24_graph_standalone drift 0.256609 0.541299 0.428412 0.167098 suite24_structural_residual drift 0.334820 0.479524 0.427437 0.115421 suite24_evidence_residual drift 0.328779 0.482702 0.426244 0.115982 council fixed 0.337237 0.715084 0.584178 0.271607 v2 fixed 0.326554 0.697703 0.568481 0.273674 suite24_posthoc_blend fixed 0.253466 0.644501 0.481227 0.191691 suite23 fixed 0.261100 0.601835 0.471875 0.166373 suite22 fixed 0.303257 0.575038 0.469659 0.148487 suite21 fixed 0.263968 0.607119 0.467661 0.176598 suite14 fixed 0.229569 0.680828 0.464967 0.231594 suite18 fixed 0.276459 0.582698 0.464491 0.165061 committee fixed 0.252639 0.601720 0.464087 0.177001 suite22_relational fixed 0.258380 0.604078 0.462545 0.184614 suite17 fixed 0.275617 0.578188 0.459598 0.166242 suite24_safe_scale fixed 0.289312 0.548411 0.452820 0.148588 suite24_history_residual fixed 0.295843 0.548215 0.450184 0.156553 suite24_evidence_residual fixed 0.292799 0.543508 0.448997 0.145270 suite24_graph_standalone fixed 0.225790 0.613039 0.444006 0.208547 suite22_primary fixed 0.310156 0.520893 0.441704 0.131853 suite16 fixed 0.338597 0.486699 0.441082 0.113206 suite24_structural_residual fixed 0.319895 0.514732 0.436935 0.141577 suite23_graph fixed 0.260857 0.521173 0.424134 0.146983 suite20 fixed 0.296812 0.487541 0.417312 0.128561 SUITE24 PER-FACULTY OPERATIONAL HEAD-TO-HEAD -------------------------------------------------------------------------------- faculty model policy tp fp fn tn precision recall fbeta flag_rate ap auc khoa_cong_nghe_thong_tin committee fixed 1153 2473 458 8493 0.317981 0.715705 0.572493 0.288304 0.414021 0.822086 khoa_cong_nghe_thong_tin committee drift 1075 2054 536 8912 0.343560 0.667287 0.561475 0.248787 0.414021 0.822086 khoa_cong_nghe_thong_tin council fixed 1152 2264 459 8702 0.337237 0.715084 0.584178 0.271607 0.446910 0.832896 khoa_cong_nghe_thong_tin council drift 1091 1919 520 9047 0.362458 0.677219 0.577004 0.239326 0.446910 0.832896 khoa_cong_nghe_thong_tin suite22 fixed 1149 2484 462 8482 0.316268 0.713222 0.570110 0.288861 0.423616 0.823617 khoa_cong_nghe_thong_tin suite22 drift 1123 2325 488 8641 0.325696 0.697083 0.567630 0.274151 0.423616 0.823617 khoa_cong_nghe_thong_tin suite23 fixed 1070 1995 541 8971 0.349103 0.664184 0.562625 0.243699 0.440096 0.827965 khoa_cong_nghe_thong_tin suite23 drift 1049 1881 562 9085 0.358020 0.651148 0.559526 0.232965 0.440096 0.827965 khoa_cong_nghe_thong_tin suite24_evidence_residual fixed 1061 1988 550 8978 0.347983 0.658597 0.558833 0.242427 0.429979 0.824215 khoa_cong_nghe_thong_tin suite24_evidence_residual drift 1076 1934 535 9032 0.357475 0.667908 0.569071 0.239326 0.429979 0.824215 khoa_cong_nghe_thong_tin suite24_graph_standalone fixed 1291 4260 320 6706 0.232571 0.801366 0.538141 0.441361 0.366068 0.779773 khoa_cong_nghe_thong_tin suite24_graph_standalone drift 1260 3939 351 7027 0.242354 0.782123 0.541098 0.413374 0.366068 0.779773 khoa_cong_nghe_thong_tin suite24_safe_scale fixed 1156 2480 455 8486 0.317932 0.717567 0.573413 0.289099 0.431010 0.824322 khoa_cong_nghe_thong_tin suite24_safe_scale drift 1179 2547 432 8419 0.316425 0.731844 0.579646 0.296255 0.431010 0.824322 khoa_quan_tri_kinh_doanh_va_du_lich committee fixed 1038 1962 678 12753 0.346000 0.604895 0.526156 0.182582 0.401103 0.839085 khoa_quan_tri_kinh_doanh_va_du_lich committee drift 915 1534 801 13181 0.373622 0.533217 0.491249 0.149048 0.401103 0.839085 khoa_quan_tri_kinh_doanh_va_du_lich suite22 fixed 996 1687 720 13028 0.371226 0.580420 0.521630 0.163289 0.430447 0.846275 khoa_quan_tri_kinh_doanh_va_du_lich suite22 drift 1011 1723 705 12992 0.369788 0.589161 0.526672 0.166393 0.430447 0.846275 khoa_quan_tri_kinh_doanh_va_du_lich suite23 fixed 1117 2130 599 12585 0.344010 0.650932 0.552369 0.197614 0.419035 0.847746 khoa_quan_tri_kinh_doanh_va_du_lich suite23 drift 966 1578 750 13137 0.379717 0.562937 0.513393 0.154829 0.419035 0.847746 khoa_quan_tri_kinh_doanh_va_du_lich suite24_evidence_residual fixed 897 1556 819 13159 0.365675 0.522727 0.481378 0.149291 0.410705 0.834900 khoa_quan_tri_kinh_doanh_va_du_lich suite24_evidence_residual drift 924 1525 792 13190 0.377297 0.538462 0.496081 0.149048 0.410705 0.834900 khoa_quan_tri_kinh_doanh_va_du_lich suite24_graph_standalone fixed 1061 2520 655 12195 0.296286 0.618298 0.507899 0.217942 0.383742 0.814080 khoa_quan_tri_kinh_doanh_va_du_lich suite24_graph_standalone drift 982 2084 734 12631 0.320287 0.572261 0.494461 0.186599 0.383742 0.814080 khoa_quan_tri_kinh_doanh_va_du_lich suite24_safe_scale fixed 786 1110 930 13605 0.414557 0.458042 0.448630 0.115392 0.412168 0.836532 khoa_quan_tri_kinh_doanh_va_du_lich suite24_safe_scale drift 827 1195 889 13520 0.409001 0.481935 0.465339 0.123060 0.412168 0.836532 khoa_quoc_te_hoc committee fixed 64 289 124 4744 0.181303 0.340426 0.289593 0.067612 0.202390 0.826247 khoa_quoc_te_hoc committee drift 70 238 118 4795 0.227273 0.372340 0.330189 0.058993 0.202390 0.826247 khoa_quoc_te_hoc suite22 fixed 48 79 140 4954 0.377953 0.255319 0.273038 0.024325 0.254852 0.842817 khoa_quoc_te_hoc suite22 drift 72 179 116 4854 0.286853 0.382979 0.358923 0.048075 0.254852 0.842817 khoa_quoc_te_hoc suite23 fixed 84 401 104 4632 0.173196 0.446809 0.339531 0.092894 0.217853 0.836857 khoa_quoc_te_hoc suite23 drift 82 297 106 4736 0.216359 0.436170 0.362511 0.072591 0.217853 0.836857 khoa_quoc_te_hoc suite24_evidence_residual fixed 37 77 151 4956 0.324561 0.196809 0.213626 0.021835 0.238633 0.835812 khoa_quoc_te_hoc suite24_evidence_residual drift 48 103 140 4930 0.317881 0.255319 0.265781 0.028922 0.238633 0.835812 khoa_quoc_te_hoc suite24_graph_standalone fixed 103 773 85 4260 0.117580 0.547872 0.316339 0.167784 0.191856 0.803900 khoa_quoc_te_hoc suite24_graph_standalone drift 105 816 83 4217 0.114007 0.558511 0.313808 0.176403 0.191856 0.803900 khoa_quoc_te_hoc suite24_safe_scale fixed 60 177 128 4856 0.253165 0.319149 0.303337 0.045394 0.232469 0.835743 khoa_quoc_te_hoc suite24_safe_scale drift 76 275 112 4758 0.216524 0.404255 0.344515 0.067229 0.232469 0.835743 khoa_tieng_anh committee fixed 142 509 230 13692 0.218126 0.381720 0.331931 0.044672 0.230264 0.833433 khoa_tieng_anh committee drift 135 329 237 13872 0.290948 0.362903 0.345799 0.031840 0.230264 0.833433 khoa_tieng_anh suite22 fixed 118 269 254 13932 0.304910 0.317204 0.314667 0.026556 0.248333 0.848597 khoa_tieng_anh suite22 drift 110 235 262 13966 0.318841 0.295699 0.300055 0.023674 0.248333 0.848597 khoa_tieng_anh suite23 fixed 174 857 198 13344 0.168768 0.467742 0.345375 0.070747 0.247148 0.836089 khoa_tieng_anh suite23 drift 145 438 227 13763 0.248714 0.389785 0.350072 0.040005 0.247148 0.836089 khoa_tieng_anh suite24_evidence_residual fixed 152 594 220 13607 0.203753 0.408602 0.340197 0.051191 0.252621 0.832460 khoa_tieng_anh suite24_evidence_residual drift 129 335 243 13866 0.278017 0.346774 0.330430 0.031840 0.252621 0.832460 khoa_tieng_anh suite24_graph_standalone fixed 132 414 240 13787 0.241758 0.354839 0.324484 0.037467 0.200926 0.793675 khoa_tieng_anh suite24_graph_standalone drift 98 217 274 13984 0.311111 0.263441 0.271769 0.021615 0.200926 0.793675 khoa_tieng_anh suite24_safe_scale fixed 151 556 221 13645 0.213579 0.405914 0.343964 0.048514 0.253225 0.833458 khoa_tieng_anh suite24_safe_scale drift 133 331 239 13870 0.286638 0.357527 0.340676 0.031840 0.253225 0.833458 khoa_tieng_bo_dao_nha committee fixed 155 417 61 1468 0.270979 0.717593 0.539694 0.272251 0.446215 0.829222 khoa_tieng_bo_dao_nha committee drift 129 243 87 1642 0.346774 0.597222 0.521845 0.177059 0.446215 0.829222 khoa_tieng_bo_dao_nha suite22 fixed 126 214 90 1671 0.370588 0.583333 0.523256 0.161828 0.447569 0.849671 khoa_tieng_bo_dao_nha suite22 drift 127 211 89 1674 0.375740 0.587963 0.528286 0.160876 0.447569 0.849671 khoa_tieng_bo_dao_nha suite23 fixed 131 292 85 1593 0.309693 0.606481 0.508936 0.201333 0.409757 0.826152 khoa_tieng_bo_dao_nha suite23 drift 105 196 111 1689 0.348837 0.486111 0.450644 0.143265 0.409757 0.826152 khoa_tieng_bo_dao_nha suite24_evidence_residual fixed 162 435 54 1450 0.271357 0.750000 0.554415 0.284150 0.436265 0.827151 khoa_tieng_bo_dao_nha suite24_evidence_residual drift 136 284 80 1601 0.323810 0.629630 0.529595 0.199905 0.436265 0.827151 khoa_tieng_bo_dao_nha suite24_graph_standalone fixed 168 666 48 1219 0.201439 0.777778 0.494700 0.396954 0.359678 0.798070 khoa_tieng_bo_dao_nha suite24_graph_standalone drift 151 495 65 1390 0.233746 0.699074 0.500000 0.307473 0.359678 0.798070 khoa_tieng_bo_dao_nha suite24_safe_scale fixed 153 384 63 1501 0.284916 0.708333 0.546039 0.255593 0.446230 0.828937 khoa_tieng_bo_dao_nha suite24_safe_scale drift 131 251 85 1634 0.342932 0.606481 0.525682 0.181818 0.446230 0.828937 khoa_tieng_duc committee fixed 123 351 72 3577 0.259494 0.630769 0.490431 0.114965 0.363842 0.894585 khoa_tieng_duc committee drift 114 284 81 3644 0.286432 0.584615 0.483871 0.096532 0.363842 0.894585 khoa_tieng_duc suite22 fixed 129 351 66 3577 0.268750 0.661538 0.511905 0.116420 0.392566 0.905966 khoa_tieng_duc suite22 drift 138 401 57 3527 0.256030 0.707692 0.523124 0.130730 0.392566 0.905966 khoa_tieng_duc suite23 fixed 120 318 75 3610 0.273973 0.615385 0.492611 0.106233 0.356082 0.905573 khoa_tieng_duc suite23 drift 119 289 76 3639 0.291667 0.610256 0.500842 0.098957 0.356082 0.905573 khoa_tieng_duc suite24_evidence_residual fixed 106 267 89 3661 0.284182 0.543590 0.459670 0.090468 0.352288 0.888413 khoa_tieng_duc suite24_evidence_residual drift 108 260 87 3668 0.293478 0.553846 0.470383 0.089255 0.352288 0.888413 khoa_tieng_duc suite24_graph_standalone fixed 140 569 55 3359 0.197461 0.717949 0.470114 0.171962 0.265724 0.873454 khoa_tieng_duc suite24_graph_standalone drift 119 389 76 3539 0.234252 0.610256 0.461957 0.123211 0.265724 0.873454 khoa_tieng_duc suite24_safe_scale fixed 92 184 103 3744 0.333333 0.471795 0.435606 0.066942 0.356329 0.888521 khoa_tieng_duc suite24_safe_scale drift 90 188 105 3740 0.323741 0.461538 0.425331 0.067427 0.356329 0.888521 khoa_tieng_han_quoc committee fixed 155 578 93 5885 0.211460 0.625000 0.449275 0.109224 0.292469 0.850556 khoa_tieng_han_quoc committee drift 127 393 121 6070 0.244231 0.512097 0.419974 0.077485 0.292469 0.850556 khoa_tieng_han_quoc suite22 fixed 160 678 88 5785 0.190931 0.645161 0.437158 0.124870 0.335114 0.871189 khoa_tieng_han_quoc suite22 drift 151 555 97 5908 0.213881 0.608871 0.444641 0.105200 0.335114 0.871189 khoa_tieng_han_quoc suite23 fixed 149 505 99 5958 0.227829 0.600806 0.452612 0.097452 0.310464 0.853024 khoa_tieng_han_quoc suite23 drift 133 441 115 6022 0.231707 0.536290 0.424649 0.085531 0.310464 0.853024 khoa_tieng_han_quoc suite24_evidence_residual fixed 112 265 136 6198 0.297082 0.451613 0.409058 0.056176 0.326635 0.832177 khoa_tieng_han_quoc suite24_evidence_residual drift 95 187 153 6276 0.336879 0.383065 0.372841 0.042021 0.326635 0.832177 khoa_tieng_han_quoc suite24_graph_standalone fixed 116 434 132 6029 0.210909 0.467742 0.376135 0.081955 0.264766 0.788919 khoa_tieng_han_quoc suite24_graph_standalone drift 113 382 135 6081 0.228283 0.455645 0.379960 0.073759 0.264766 0.788919 khoa_tieng_han_quoc suite24_safe_scale fixed 123 341 125 6122 0.265086 0.495968 0.422390 0.069140 0.317379 0.832336 khoa_tieng_han_quoc suite24_safe_scale drift 121 320 127 6143 0.274376 0.487903 0.422191 0.065713 0.317379 0.832336 khoa_tieng_italia committee fixed 224 733 124 3398 0.234065 0.643678 0.476799 0.213664 0.257336 0.820244 khoa_tieng_italia committee drift 171 410 177 3721 0.294320 0.491379 0.433350 0.129716 0.257336 0.820244 khoa_tieng_italia suite22 fixed 229 624 119 3507 0.268464 0.658046 0.510022 0.190444 0.315563 0.839687 khoa_tieng_italia suite22 drift 189 445 159 3686 0.298107 0.543103 0.466436 0.141549 0.315563 0.839687 khoa_tieng_italia suite23 fixed 215 624 133 3507 0.256257 0.617816 0.481847 0.187319 0.282431 0.831205 khoa_tieng_italia suite23 drift 163 337 185 3794 0.326000 0.468391 0.430761 0.111632 0.282431 0.831205 khoa_tieng_italia suite24_evidence_residual fixed 279 1055 69 3076 0.209145 0.801724 0.511739 0.297834 0.295555 0.822553 khoa_tieng_italia suite24_evidence_residual drift 195 583 153 3548 0.250643 0.560345 0.449309 0.173699 0.295555 0.822553 khoa_tieng_italia suite24_graph_standalone fixed 220 842 128 3289 0.207156 0.632184 0.448248 0.237106 0.276640 0.795995 khoa_tieng_italia suite24_graph_standalone drift 148 414 200 3717 0.263345 0.425287 0.378710 0.125474 0.276640 0.795995 khoa_tieng_italia suite24_safe_scale fixed 280 1096 68 3035 0.203488 0.804598 0.505780 0.307211 0.290715 0.823447 khoa_tieng_italia suite24_safe_scale drift 197 581 151 3550 0.253213 0.566092 0.453917 0.173699 0.290715 0.823447 khoa_tieng_nga committee fixed 214 631 145 2776 0.253254 0.596100 0.469093 0.224376 0.382821 0.747446 khoa_tieng_nga committee drift 198 494 161 2913 0.286127 0.551532 0.465226 0.183749 0.382821 0.747446 khoa_tieng_nga suite22 fixed 200 439 159 2968 0.312989 0.557103 0.481928 0.169676 0.407338 0.783148 khoa_tieng_nga suite22 drift 211 510 148 2897 0.292649 0.587744 0.489105 0.191450 0.407338 0.783148 khoa_tieng_nga suite23 fixed 201 539 158 2868 0.271622 0.559889 0.461857 0.196495 0.399418 0.778121 khoa_tieng_nga suite23 drift 186 441 173 2966 0.296651 0.518106 0.450800 0.166490 0.399418 0.778121 khoa_tieng_nga suite24_evidence_residual fixed 188 457 171 2950 0.291473 0.523677 0.451706 0.171269 0.363638 0.741974 khoa_tieng_nga suite24_evidence_residual drift 193 481 166 2926 0.286350 0.537604 0.457346 0.178970 0.363638 0.741974 khoa_tieng_nga suite24_graph_standalone fixed 208 574 151 2833 0.265985 0.579387 0.468891 0.207647 0.328262 0.787861 khoa_tieng_nga suite24_graph_standalone drift 200 530 159 2877 0.273973 0.557103 0.461681 0.193840 0.328262 0.787861 khoa_tieng_nga suite24_safe_scale fixed 195 470 164 2937 0.293233 0.543175 0.464065 0.176580 0.365153 0.741720 khoa_tieng_nga suite24_safe_scale drift 198 485 161 2922 0.289898 0.551532 0.467202 0.181360 0.365153 0.741720 khoa_tieng_nhat committee fixed 147 785 86 4307 0.157725 0.630901 0.394313 0.175023 0.191519 0.815585 khoa_tieng_nhat committee drift 138 666 95 4426 0.171642 0.592275 0.397465 0.150986 0.191519 0.815585 khoa_tieng_nhat suite22 fixed 132 578 101 4514 0.185915 0.566524 0.401949 0.133333 0.211320 0.837031 khoa_tieng_nhat suite22 drift 120 476 113 4616 0.201342 0.515021 0.392670 0.111925 0.211320 0.837031 khoa_tieng_nhat suite23 fixed 134 615 99 4477 0.178905 0.575107 0.398572 0.140657 0.203545 0.841262 khoa_tieng_nhat suite23 drift 107 419 126 4673 0.203422 0.459227 0.366941 0.098779 0.203545 0.841262 khoa_tieng_nhat suite24_evidence_residual fixed 93 297 140 4795 0.238462 0.399142 0.351740 0.073239 0.206331 0.810534 khoa_tieng_nhat suite24_evidence_residual drift 53 125 180 4967 0.297753 0.227468 0.238739 0.033427 0.206331 0.810534 khoa_tieng_nhat suite24_graph_standalone fixed 128 656 105 4436 0.163265 0.549356 0.372960 0.147230 0.197573 0.804561 khoa_tieng_nhat suite24_graph_standalone drift 99 380 134 4712 0.206681 0.424893 0.350815 0.089953 0.197573 0.804561 khoa_tieng_nhat suite24_safe_scale fixed 94 311 139 4781 0.232099 0.403433 0.351533 0.076056 0.202458 0.809624 khoa_tieng_nhat suite24_safe_scale drift 57 143 176 4949 0.285000 0.244635 0.251767 0.037559 0.202458 0.809624 khoa_tieng_phap committee fixed 73 211 96 4798 0.257042 0.431953 0.380208 0.054847 0.254288 0.868525 khoa_tieng_phap committee drift 63 149 106 4860 0.297170 0.372781 0.354730 0.040942 0.254288 0.868525 khoa_tieng_phap suite22 fixed 66 124 103 4885 0.347368 0.390533 0.381062 0.036694 0.288201 0.877656 khoa_tieng_phap suite22 drift 63 114 106 4895 0.355932 0.372781 0.369285 0.034183 0.288201 0.877656 khoa_tieng_phap suite23 fixed 71 167 98 4842 0.298319 0.420118 0.388403 0.045964 0.293755 0.871389 khoa_tieng_phap suite23 drift 70 164 99 4845 0.299145 0.414201 0.384615 0.045191 0.293755 0.871389 khoa_tieng_phap suite24_evidence_residual fixed 64 134 105 4875 0.323232 0.378698 0.366133 0.038239 0.265013 0.873242 khoa_tieng_phap suite24_evidence_residual drift 54 90 115 4919 0.375000 0.319527 0.329268 0.027810 0.265013 0.873242 khoa_tieng_phap suite24_graph_standalone fixed 57 158 112 4851 0.265116 0.337278 0.319865 0.041522 0.232238 0.849059 khoa_tieng_phap suite24_graph_standalone drift 50 127 119 4882 0.282486 0.295858 0.293083 0.034183 0.232238 0.849059 khoa_tieng_phap suite24_safe_scale fixed 60 122 109 4887 0.329670 0.355030 0.349650 0.035149 0.260843 0.873075 khoa_tieng_phap suite24_safe_scale drift 52 80 117 4929 0.393939 0.307692 0.321782 0.025492 0.260843 0.873075 khoa_tieng_tay_ban_nha committee fixed 232 826 43 2189 0.219282 0.843636 0.537535 0.321581 0.371826 0.851534 khoa_tieng_tay_ban_nha committee drift 174 368 101 2647 0.321033 0.632727 0.529842 0.164742 0.371826 0.851534 khoa_tieng_tay_ban_nha suite22 fixed 240 729 35 2286 0.247678 0.872727 0.579990 0.294529 0.421542 0.876899 khoa_tieng_tay_ban_nha suite22 drift 197 425 78 2590 0.316720 0.716364 0.572009 0.189058 0.421542 0.876899 khoa_tieng_tay_ban_nha suite23 fixed 231 694 44 2321 0.249730 0.840000 0.570370 0.281155 0.373733 0.856295 khoa_tieng_tay_ban_nha suite23 drift 186 412 89 2603 0.311037 0.676364 0.547703 0.181763 0.373733 0.856295 khoa_tieng_tay_ban_nha suite24_evidence_residual fixed 172 370 103 2645 0.317343 0.625455 0.523752 0.164742 0.396758 0.854476 khoa_tieng_tay_ban_nha suite24_evidence_residual drift 116 169 159 2846 0.407018 0.421818 0.418773 0.086626 0.396758 0.854476 khoa_tieng_tay_ban_nha suite24_graph_standalone fixed 214 637 61 2378 0.251469 0.778182 0.548437 0.258663 0.388880 0.842569 khoa_tieng_tay_ban_nha suite24_graph_standalone drift 174 424 101 2591 0.290970 0.632727 0.512367 0.181763 0.388880 0.842569 khoa_tieng_tay_ban_nha suite24_safe_scale fixed 174 359 101 2656 0.326454 0.632727 0.532762 0.162006 0.395289 0.854315 khoa_tieng_tay_ban_nha suite24_safe_scale drift 112 173 163 2842 0.392982 0.407273 0.404332 0.086626 0.395289 0.854315 khoa_tieng_trung_quoc committee fixed 164 623 220 10640 0.208386 0.427083 0.352992 0.067571 0.239505 0.843861 khoa_tieng_trung_quoc committee drift 179 783 205 10480 0.186071 0.466146 0.358287 0.082596 0.239505 0.843861 khoa_tieng_trung_quoc suite22 fixed 177 644 207 10619 0.215591 0.460938 0.375477 0.070490 0.272660 0.877031 khoa_tieng_trung_quoc suite22 drift 175 637 209 10626 0.215517 0.455729 0.372658 0.069718 0.272660 0.877031 khoa_tieng_trung_quoc suite23 fixed 196 885 188 10378 0.181314 0.510417 0.374475 0.092814 0.251335 0.850400 khoa_tieng_trung_quoc suite23 drift 200 951 184 10312 0.173762 0.520833 0.372162 0.098824 0.251335 0.850400 khoa_tieng_trung_quoc suite24_evidence_residual fixed 218 1141 166 10122 0.160412 0.567708 0.376511 0.116682 0.245623 0.837477 khoa_tieng_trung_quoc suite24_evidence_residual drift 241 1360 143 9903 0.150531 0.627604 0.384125 0.137460 0.245623 0.837477 khoa_tieng_trung_quoc suite24_graph_standalone fixed 219 1313 165 9950 0.142950 0.570312 0.356910 0.131536 0.182937 0.827737 khoa_tieng_trung_quoc suite24_graph_standalone drift 185 966 199 10297 0.160730 0.481771 0.344250 0.098824 0.182937 0.827737 khoa_tieng_trung_quoc suite24_safe_scale fixed 204 1020 180 10243 0.166667 0.531250 0.369565 0.105091 0.243392 0.835865 khoa_tieng_trung_quoc suite24_safe_scale drift 236 1365 148 9898 0.147408 0.614583 0.376156 0.137460 0.243392 0.835865 khoa_viet_nam_hoc committee fixed 217 323 43 999 0.401852 0.834615 0.686709 0.341340 0.617953 0.871065 khoa_viet_nam_hoc committee drift 201 202 59 1120 0.498759 0.773077 0.696466 0.254741 0.617953 0.871065 khoa_viet_nam_hoc suite22 fixed 205 234 55 1088 0.466970 0.788462 0.693036 0.277497 0.610382 0.876650 khoa_viet_nam_hoc suite22 drift 200 209 60 1113 0.488998 0.769231 0.690131 0.258534 0.610382 0.876650 khoa_viet_nam_hoc suite23 fixed 221 372 39 950 0.372681 0.850000 0.676669 0.374842 0.617953 0.871065 khoa_viet_nam_hoc suite23 drift 202 207 58 1115 0.493888 0.776923 0.697032 0.258534 0.617953 0.871065 khoa_viet_nam_hoc suite24_evidence_residual fixed 203 234 57 1088 0.464531 0.780769 0.687204 0.276233 0.615990 0.868844 khoa_viet_nam_hoc suite24_evidence_residual drift 179 146 81 1176 0.550769 0.688462 0.655678 0.205436 0.615990 0.868844 khoa_viet_nam_hoc suite24_graph_standalone fixed 221 381 39 941 0.367110 0.850000 0.672960 0.380531 0.594549 0.865585 khoa_viet_nam_hoc suite24_graph_standalone drift 213 282 47 1040 0.430303 0.819231 0.693811 0.312895 0.594549 0.865585 khoa_viet_nam_hoc suite24_safe_scale fixed 216 303 44 1019 0.416185 0.830769 0.692752 0.328066 0.616316 0.867779 khoa_viet_nam_hoc suite24_safe_scale drift 199 204 61 1118 0.493797 0.765385 0.689536 0.254741 0.616316 0.867779 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite24_evidence_residual | fixed Actual\Pred Normal Failure Normal 8978 1988 Failure 550 1061 P=0.3480 R=0.6586 F2=0.5588 flag=0.2424 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite24_evidence_residual | drift Actual\Pred Normal Failure Normal 9032 1934 Failure 535 1076 P=0.3575 R=0.6679 F2=0.5691 flag=0.2393 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite24_graph_standalone | fixed Actual\Pred Normal Failure Normal 6706 4260 Failure 320 1291 P=0.2326 R=0.8014 F2=0.5381 flag=0.4414 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite24_graph_standalone | drift Actual\Pred Normal Failure Normal 7027 3939 Failure 351 1260 P=0.2424 R=0.7821 F2=0.5411 flag=0.4134 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite24_safe_scale | fixed Actual\Pred Normal Failure Normal 8486 2480 Failure 455 1156 P=0.3179 R=0.7176 F2=0.5734 flag=0.2891 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite24_safe_scale | drift Actual\Pred Normal Failure Normal 8419 2547 Failure 432 1179 P=0.3164 R=0.7318 F2=0.5796 flag=0.2963 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | committee | fixed Actual\Pred Normal Failure Normal 8493 2473 Failure 458 1153 P=0.3180 R=0.7157 F2=0.5725 flag=0.2883 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | committee | drift Actual\Pred Normal Failure Normal 8912 2054 Failure 536 1075 P=0.3436 R=0.6673 F2=0.5615 flag=0.2488 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite22 | fixed Actual\Pred Normal Failure Normal 8482 2484 Failure 462 1149 P=0.3163 R=0.7132 F2=0.5701 flag=0.2889 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite22 | drift Actual\Pred Normal Failure Normal 8641 2325 Failure 488 1123 P=0.3257 R=0.6971 F2=0.5676 flag=0.2742 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite23 | fixed Actual\Pred Normal Failure Normal 8971 1995 Failure 541 1070 P=0.3491 R=0.6642 F2=0.5626 flag=0.2437 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite23 | drift Actual\Pred Normal Failure Normal 9085 1881 Failure 562 1049 P=0.3580 R=0.6511 F2=0.5595 flag=0.2330 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | council | fixed Actual\Pred Normal Failure Normal 8702 2264 Failure 459 1152 P=0.3372 R=0.7151 F2=0.5842 flag=0.2716 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | council | drift Actual\Pred Normal Failure Normal 9047 1919 Failure 520 1091 P=0.3625 R=0.6772 F2=0.5770 flag=0.2393 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | v2 | fixed Actual\Pred Normal Failure Normal 8648 2318 Failure 487 1124 P=0.3266 R=0.6977 F2=0.5685 flag=0.2737 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | v2 | drift Actual\Pred Normal Failure Normal 8709 2257 Failure 500 1111 P=0.3299 R=0.6896 F2=0.5661 flag=0.2678 SUITE24 PAIRED BOOTSTRAP — HOLDOUT -------------------------------------------------------------------------------- faculty reference delta_ap ci_low ci_high positive_ci negative_ci khoa_cong_nghe_thong_tin committee 0.015958 0.007035 0.025107 True False khoa_cong_nghe_thong_tin suite18 0.025551 0.013826 0.038331 True False khoa_cong_nghe_thong_tin suite21 0.006601 -0.002568 0.015593 False False khoa_cong_nghe_thong_tin suite22 0.006363 -0.003674 0.017202 False False khoa_cong_nghe_thong_tin suite23 -0.010117 -0.018176 -0.002170 False True khoa_cong_nghe_thong_tin council -0.016931 -0.027568 -0.005082 False True khoa_quan_tri_kinh_doanh_va_du_lich committee 0.009602 0.000774 0.017717 True False khoa_quan_tri_kinh_doanh_va_du_lich suite18 0.017610 0.005078 0.029943 True False khoa_quan_tri_kinh_doanh_va_du_lich suite21 0.013946 0.006117 0.022235 True False khoa_quan_tri_kinh_doanh_va_du_lich suite22 -0.019742 -0.028105 -0.011015 False True khoa_quan_tri_kinh_doanh_va_du_lich suite23 -0.008329 -0.017000 -0.000387 False True khoa_quoc_te_hoc committee 0.036243 0.014317 0.059505 True False khoa_quoc_te_hoc suite18 0.042894 0.018131 0.070137 True False khoa_quoc_te_hoc suite21 0.022962 0.003626 0.042482 True False khoa_quoc_te_hoc suite22 -0.016219 -0.051699 0.016837 False False khoa_quoc_te_hoc suite23 0.020780 0.001847 0.042009 True False khoa_tieng_anh committee 0.022357 0.007450 0.036966 True False khoa_tieng_anh suite18 0.025884 0.007482 0.043540 True False khoa_tieng_anh suite21 0.019410 0.005806 0.032275 True False khoa_tieng_anh suite22 0.004288 -0.013055 0.022283 False False khoa_tieng_anh suite23 0.005473 -0.007008 0.018862 False False khoa_tieng_bo_dao_nha committee -0.009950 -0.033232 0.011084 False False khoa_tieng_bo_dao_nha suite18 0.005317 -0.025163 0.034577 False False khoa_tieng_bo_dao_nha suite21 -0.016450 -0.041569 0.007711 False False khoa_tieng_bo_dao_nha suite22 -0.011304 -0.034406 0.013364 False False khoa_tieng_bo_dao_nha suite23 0.026508 -0.008362 0.062489 False False khoa_tieng_duc committee -0.011555 -0.031213 0.006938 False False khoa_tieng_duc suite18 -0.012752 -0.039807 0.012672 False False khoa_tieng_duc suite21 -0.022609 -0.041138 -0.005407 False True khoa_tieng_duc suite22 -0.040278 -0.066561 -0.016759 False True khoa_tieng_duc suite23 -0.003794 -0.028235 0.016986 False False khoa_tieng_han_quoc committee 0.034166 0.009769 0.061731 True False khoa_tieng_han_quoc suite18 0.039780 0.005493 0.070255 True False khoa_tieng_han_quoc suite21 0.010085 -0.012459 0.036947 False False khoa_tieng_han_quoc suite22 -0.008479 -0.033537 0.018080 False False khoa_tieng_han_quoc suite23 0.016172 -0.011844 0.044335 False False khoa_tieng_italia committee 0.038219 0.022429 0.056598 True False khoa_tieng_italia suite18 0.051402 0.031239 0.071417 True False khoa_tieng_italia suite21 0.034974 0.019724 0.053158 True False khoa_tieng_italia suite22 -0.020008 -0.040262 -0.000598 False True khoa_tieng_italia suite23 0.013124 -0.001145 0.027748 False False khoa_tieng_nga committee -0.019184 -0.030430 -0.007183 False True khoa_tieng_nga suite18 -0.036665 -0.053310 -0.019024 False True khoa_tieng_nga suite21 -0.018322 -0.029778 -0.005960 False True khoa_tieng_nga suite22 -0.043701 -0.057540 -0.029400 False True khoa_tieng_nga suite23 -0.035781 -0.052521 -0.019909 False True khoa_tieng_nhat committee 0.014812 0.001486 0.029398 True False khoa_tieng_nhat suite18 0.021877 0.002424 0.045073 True False khoa_tieng_nhat suite21 0.003980 -0.008890 0.018365 False False khoa_tieng_nhat suite22 -0.004988 -0.024181 0.014661 False False khoa_tieng_nhat suite23 0.002786 -0.014109 0.024475 False False khoa_tieng_phap committee 0.010726 -0.017783 0.039268 False False khoa_tieng_phap suite18 0.016532 -0.009506 0.048410 False False khoa_tieng_phap suite21 0.012881 -0.008028 0.039262 False False khoa_tieng_phap suite22 -0.023188 -0.049863 0.004902 False False khoa_tieng_phap suite23 -0.028742 -0.053196 -0.007938 False True khoa_tieng_tay_ban_nha committee 0.024932 -0.000750 0.046307 False False khoa_tieng_tay_ban_nha suite18 0.042877 0.012487 0.071505 True False khoa_tieng_tay_ban_nha suite21 -0.006558 -0.029704 0.014903 False False khoa_tieng_tay_ban_nha suite22 -0.024784 -0.048689 -0.002560 False True khoa_tieng_tay_ban_nha suite23 0.023025 -0.003859 0.045858 False False khoa_tieng_trung_quoc committee 0.006119 -0.007387 0.022324 False False khoa_tieng_trung_quoc suite18 -0.002413 -0.018199 0.013759 False False khoa_tieng_trung_quoc suite21 -0.008464 -0.023277 0.006798 False False khoa_tieng_trung_quoc suite22 -0.027037 -0.044937 -0.009841 False True khoa_tieng_trung_quoc suite23 -0.005712 -0.021798 0.010006 False False khoa_viet_nam_hoc committee -0.001963 -0.015761 0.009401 False False khoa_viet_nam_hoc suite18 -0.004101 -0.016574 0.008231 False False khoa_viet_nam_hoc suite21 -0.003042 -0.017184 0.008924 False False khoa_viet_nam_hoc suite22 0.005608 -0.007679 0.018624 False False khoa_viet_nam_hoc suite23 -0.001963 -0.013684 0.011838 False False SUITE24 COMPONENT UPLIFT — HOLDOUT -------------------------------------------------------------------------------- fold faculty component delta_ap delta_f2_20 6 khoa_cong_nghe_thong_tin direct_structural_gain 0.004098 0.002957 6 khoa_quan_tri_kinh_doanh_va_du_lich direct_structural_gain -0.002343 -0.007772 6 khoa_quoc_te_hoc direct_structural_gain -0.027485 -0.027285 6 khoa_tieng_anh direct_structural_gain -0.036282 -0.005784 6 khoa_tieng_bo_dao_nha direct_structural_gain -0.006052 0.010638 6 khoa_tieng_duc direct_structural_gain -0.013374 0.000000 6 khoa_tieng_han_quoc direct_structural_gain -0.000222 0.000000 6 khoa_tieng_italia direct_structural_gain 0.013820 0.000000 6 khoa_tieng_nga direct_structural_gain -0.015988 0.012626 6 khoa_tieng_nhat direct_structural_gain 0.012438 0.011655 6 khoa_tieng_phap direct_structural_gain 0.015817 0.000000 6 khoa_tieng_tay_ban_nha direct_structural_gain -0.037249 -0.016474 6 khoa_tieng_trung_quoc direct_structural_gain -0.037153 -0.012005 6 khoa_viet_nam_hoc direct_structural_gain -0.013599 0.000000 7 khoa_cong_nghe_thong_tin direct_structural_gain -0.000277 -0.001793 7 khoa_quan_tri_kinh_doanh_va_du_lich direct_structural_gain -0.005410 -0.008744 7 khoa_quoc_te_hoc direct_structural_gain 0.016419 0.014111 7 khoa_tieng_anh direct_structural_gain -0.009890 -0.007479 7 khoa_tieng_bo_dao_nha direct_structural_gain -0.015121 -0.006143 7 khoa_tieng_duc direct_structural_gain 0.008614 0.000000 7 khoa_tieng_han_quoc direct_structural_gain -0.004872 -0.021061 7 khoa_tieng_italia direct_structural_gain -0.016957 -0.009954 7 khoa_tieng_nga direct_structural_gain -0.005021 0.004995 7 khoa_tieng_nhat direct_structural_gain 0.014703 0.000000 7 khoa_tieng_phap direct_structural_gain -0.004665 -0.014164 7 khoa_tieng_tay_ban_nha direct_structural_gain -0.015575 -0.004344 7 khoa_tieng_trung_quoc direct_structural_gain -0.008247 0.002274 7 khoa_viet_nam_hoc direct_structural_gain 0.006792 0.000000 6 khoa_cong_nghe_thong_tin evidence_gating_gain -0.010370 -0.001478 6 khoa_quan_tri_kinh_doanh_va_du_lich evidence_gating_gain -0.006251 0.000000 6 khoa_quoc_te_hoc evidence_gating_gain 0.008531 -0.013643 6 khoa_tieng_anh evidence_gating_gain 0.035313 0.008676 6 khoa_tieng_bo_dao_nha evidence_gating_gain 0.042951 -0.010638 6 khoa_tieng_duc evidence_gating_gain 0.004597 0.000000 6 khoa_tieng_han_quoc evidence_gating_gain -0.000589 0.000000 6 khoa_tieng_italia evidence_gating_gain -0.014152 0.000000 6 khoa_tieng_nga evidence_gating_gain 0.011337 -0.008418 6 khoa_tieng_nhat evidence_gating_gain -0.025446 -0.023310 6 khoa_tieng_phap evidence_gating_gain -0.051093 0.000000 6 khoa_tieng_tay_ban_nha evidence_gating_gain -0.013566 0.024712 6 khoa_tieng_trung_quoc evidence_gating_gain 0.043572 0.015006 6 khoa_viet_nam_hoc evidence_gating_gain -0.004245 0.010571 7 khoa_cong_nghe_thong_tin evidence_gating_gain -0.000830 -0.001793 7 khoa_quan_tri_kinh_doanh_va_du_lich evidence_gating_gain 0.006640 0.003975 7 khoa_quoc_te_hoc evidence_gating_gain -0.013782 -0.009407 7 khoa_tieng_anh evidence_gating_gain -0.006419 0.001870 7 khoa_tieng_bo_dao_nha evidence_gating_gain -0.002741 0.000000 7 khoa_tieng_duc evidence_gating_gain -0.022310 0.000000 7 khoa_tieng_han_quoc evidence_gating_gain 0.023735 0.008425 7 khoa_tieng_italia evidence_gating_gain 0.006535 0.003318 7 khoa_tieng_nga evidence_gating_gain 0.001705 0.014985 7 khoa_tieng_nhat evidence_gating_gain 0.003114 0.021949 7 khoa_tieng_phap evidence_gating_gain 0.010357 0.023607 7 khoa_tieng_tay_ban_nha evidence_gating_gain 0.004264 0.004344 7 khoa_tieng_trung_quoc evidence_gating_gain 0.013436 -0.004548 7 khoa_viet_nam_hoc evidence_gating_gain -0.011077 -0.022624 SUITE24 RELATIONAL PERTURBATION SUMMARY — HOLDOUT -------------------------------------------------------------------------------- perturbation cells mean_delta_ap median_delta_ap loss_cells mean_abs_prob_change shuffle_history 28 -0.004655 -0.004369 22 0.007387 shuffle_structural 28 0.001850 0.001392 12 0.003585 zero_history 28 -0.003573 0.000784 13 0.012963 zero_structural 28 0.000252 -0.000171 14 0.003636 SUITE24 RESIDUAL ABLATION SUMMARY — HOLDOUT -------------------------------------------------------------------------------- ablation cells mean_delta_ap median_delta_ap loss_cells fixed_gates 28 -0.008457 -0.008788 20 no_history_correction 28 -0.002005 0.001324 12 no_structural_correction 28 0.000309 -0.000394 15 SUITE24 EVIDENCE-AUTHORITY DIAGNOSTICS — HOLDOUT -------------------------------------------------------------------------------- fold faculty rows history_gate_mean structural_gate_mean abs_history_correction_mean abs_structural_correction_mean abs_total_correction_mean correction_failure_mean correction_normal_mean history_attention_top1_mean structural_attention_top1_mean history_support_mean structural_support_mean related_history_mean 6 khoa_cong_nghe_thong_tin 5651 0.486163 0.147630 0.244114 0.090267 0.283396 -0.076871 -0.239340 0.190522 0.647855 15.611750 1.531410 0.455141 6 khoa_quan_tri_kinh_doanh_va_du_lich 7442 0.485120 0.281445 0.241136 0.167999 0.312511 0.028869 -0.224109 0.182369 0.523084 15.491803 4.350712 0.896936 6 khoa_quoc_te_hoc 2466 0.480519 0.298822 0.195057 0.191882 0.267543 -0.021487 -0.187154 0.170753 0.483178 15.701135 4.536091 1.035685 6 khoa_tieng_anh 6204 0.502662 0.289689 0.244719 0.189141 0.377408 -0.004445 -0.336728 0.127167 0.454218 15.903288 4.288846 1.187460 6 khoa_tieng_bo_dao_nha 892 0.482452 0.095170 0.232768 0.056975 0.256297 -0.060423 -0.195444 0.151362 0.674105 15.845291 0.874439 0.340807 6 khoa_tieng_duc 1839 0.476053 0.058177 0.223828 0.034398 0.242065 -0.074983 -0.187010 0.139742 0.727059 15.889614 0.552474 0.226754 6 khoa_tieng_han_quoc 3277 0.473947 0.195628 0.196642 0.121771 0.282628 -0.122574 -0.225094 0.116146 0.790647 15.975587 1.434544 0.762893 6 khoa_tieng_italia 2026 0.488382 0.210880 0.234226 0.124998 0.282855 -0.108248 -0.211734 0.154869 0.672828 15.877098 2.456565 0.762093 6 khoa_tieng_nga 1842 0.483161 0.140279 0.239397 0.079795 0.279221 -0.075893 -0.201353 0.150672 0.754034 15.956026 1.299674 0.513572 6 khoa_tieng_nhat 2530 0.477429 0.249818 0.200515 0.141917 0.264939 -0.014322 -0.164917 0.112721 0.559935 15.954545 3.254150 0.949407 6 khoa_tieng_phap 2263 0.481759 0.259738 0.187306 0.156581 0.252214 -0.022850 -0.131640 0.136483 0.438452 15.948741 3.493593 1.092797 6 khoa_tieng_tay_ban_nha 1333 0.487381 0.268320 0.224028 0.162325 0.340747 -0.092682 -0.236720 0.139268 0.558722 15.942236 3.385596 1.114779 6 khoa_tieng_trung_quoc 4990 0.488015 0.163866 0.203425 0.100839 0.257836 -0.168011 -0.197654 0.122942 0.854831 15.911824 1.150501 0.655912 6 khoa_viet_nam_hoc 604 0.418660 0.000000 0.235097 0.000000 0.235097 -0.245628 -0.201989 0.253368 NaN 10.743377 0.000000 0.000000 7 khoa_cong_nghe_thong_tin 6926 0.545612 0.172585 0.320811 0.096550 0.405551 -0.003888 -0.324004 0.253730 0.641491 13.294831 1.725960 0.199827 7 khoa_quan_tri_kinh_doanh_va_du_lich 8989 0.544887 0.314345 0.285143 0.157603 0.408244 0.009302 -0.300402 0.254605 0.542052 13.135054 4.303593 0.706308 7 khoa_quoc_te_hoc 2755 0.546374 0.358870 0.343288 0.184212 0.510208 -0.136617 -0.448070 0.228965 0.459591 13.325227 5.509982 1.203267 7 khoa_tieng_anh 8369 0.576465 0.274598 0.389666 0.154848 0.518704 -0.190555 -0.477386 0.193231 0.502500 15.098578 3.879317 0.818258 7 khoa_tieng_bo_dao_nha 1209 0.573489 0.161241 0.349413 0.079703 0.399836 -0.058579 -0.315064 0.230492 0.632344 15.161290 1.507031 0.213400 7 khoa_tieng_duc 2284 0.555636 0.088803 0.376124 0.048624 0.413109 -0.182831 -0.390182 0.192738 0.697030 14.819615 0.811296 0.214536 7 khoa_tieng_han_quoc 3434 0.559053 0.236702 0.392178 0.127192 0.487260 -0.033598 -0.451261 0.192455 0.700048 14.988643 2.368957 0.758591 7 khoa_tieng_italia 2453 0.574826 0.227334 0.373318 0.125733 0.456285 -0.098132 -0.381075 0.196906 0.724513 15.134121 2.190379 0.770485 7 khoa_tieng_nga 1924 0.572559 0.125470 0.370852 0.069584 0.412786 -0.211192 -0.368685 0.219673 0.695518 15.172037 1.098753 0.333680 7 khoa_tieng_nhat 2795 0.560856 0.197728 0.368368 0.098805 0.430930 -0.081973 -0.376082 0.204510 0.590757 15.118784 2.241145 0.531306 7 khoa_tieng_phap 2915 0.565266 0.285315 0.358268 0.152525 0.486183 -0.134384 -0.430451 0.200662 0.547825 15.209262 3.874099 0.805146 7 khoa_tieng_tay_ban_nha 1957 0.572646 0.243628 0.366832 0.132081 0.456462 0.019857 -0.385355 0.201155 0.530949 15.279509 3.105263 0.587634 7 khoa_tieng_trung_quoc 6657 0.572419 0.178671 0.383063 0.100820 0.443295 -0.137480 -0.381989 0.183756 0.790747 15.415502 1.324470 0.654499 7 khoa_viet_nam_hoc 978 0.479554 0.023044 0.326915 0.011766 0.337530 -0.198295 -0.314687 0.236657 0.727185 8.791411 0.374233 0.000000 SUITE24 RELATION ATTENTION SUMMARY — HOLDOUT -------------------------------------------------------------------------------- branch relation_code tokens mean_attention attention_mass history 0 1377075 0.063757 87942.242188 history 2 1976 0.078576 148.124432 history 3 83 0.060404 5.441065 history 5 48862 0.101991 5078.795166 history 6 810 0.110105 76.347706 history 8 1277 0.063089 81.690063 history 9 32 0.038945 1.191977 history 11 14453 0.084987 1289.861877 history 12 140 0.087967 11.784930 history 13 7948 0.290996 2368.521423 structural 1 14093 0.282636 4033.313721 structural 2 114288 0.300827 34106.760742 structural 3 5155 0.322786 1592.780457 structural 5 86985 0.196488 18151.004395 structural 6 3471 0.350323 1394.412277 structural 7 13265 0.255705 3382.104980 structural 8 23133 0.409061 9424.395020 structural 9 531 0.231508 124.318470 structural 11 8034 0.096763 779.161041 structural 12 531 0.295196 127.749271 SUITE24 COMMITTEE COMPLEMENTARITY — HOLDOUT -------------------------------------------------------------------------------- fold faculty rows committee_false_negatives_at20 standalone_rescued_fn_at20 primary_rescued_fn_at20 committee_false_alarms_at20 standalone_corrected_fa_at20 primary_corrected_fa_at20 committee_only_correct standalone_only_correct 6 khoa_cong_nghe_thong_tin 5651 202 42 16 769 349 74 451 391 6 khoa_quan_tri_kinh_doanh_va_du_lich 7442 179 59 16 1074 476 133 561 535 6 khoa_quoc_te_hoc 2466 20 5 0 453 216 42 233 221 6 khoa_tieng_anh 6204 45 12 5 1164 609 87 617 621 6 khoa_tieng_bo_dao_nha 892 22 5 1 127 58 7 63 63 6 khoa_tieng_duc 1839 11 5 1 295 121 23 136 126 6 khoa_tieng_han_quoc 3277 29 2 1 561 291 38 327 293 6 khoa_tieng_italia 2026 34 8 1 345 170 13 180 178 6 khoa_tieng_nga 1842 88 14 3 251 92 12 98 106 6 khoa_tieng_nhat 2530 31 9 4 449 187 44 202 196 6 khoa_tieng_phap 2263 7 0 0 410 178 51 186 178 6 khoa_tieng_tay_ban_nha 1333 24 9 3 206 112 9 135 121 6 khoa_tieng_trung_quoc 4990 34 6 0 865 311 71 327 317 6 khoa_viet_nam_hoc 604 19 1 0 52 12 1 27 13 7 khoa_cong_nghe_thong_tin 6926 464 84 61 801 267 152 523 351 7 khoa_quan_tri_kinh_doanh_va_du_lich 8989 468 98 67 1143 417 234 595 515 7 khoa_quoc_te_hoc 2755 46 14 9 469 230 100 256 244 7 khoa_tieng_anh 8369 81 17 2 1505 628 175 663 645 7 khoa_tieng_bo_dao_nha 1209 64 10 7 163 56 18 84 66 7 khoa_tieng_duc 2284 26 10 3 372 115 24 135 125 7 khoa_tieng_han_quoc 3434 25 8 2 587 304 71 340 312 7 khoa_tieng_italia 2453 102 26 13 339 128 75 170 154 7 khoa_tieng_nga 1924 65 12 4 296 85 42 103 97 7 khoa_tieng_nhat 2795 50 14 6 464 170 67 192 184 7 khoa_tieng_phap 2915 47 21 3 511 248 79 257 269 7 khoa_tieng_tay_ban_nha 1957 59 21 7 260 83 36 106 104 7 khoa_tieng_trung_quoc 6657 81 30 13 1195 604 172 640 634 7 khoa_viet_nam_hoc 978 68 8 3 92 18 6 36 26 SUITE24 COLD/NEW REGIMES — HOLDOUT -------------------------------------------------------------------------------- fold faculty regime model rows failures prevalence ap auc 6 khoa_cong_nghe_thong_tin returning_student+new_course committee 82 1 0.012195 0.030303 0.604938 6 khoa_cong_nghe_thong_tin returning_student+new_course suite24_graph_standalone 82 1 0.012195 0.014925 0.185185 6 khoa_cong_nghe_thong_tin returning_student+new_course suite24_evidence_residual 82 1 0.012195 0.029412 0.592593 6 khoa_cong_nghe_thong_tin returning_student+new_course suite24_safe_scale 82 1 0.012195 0.029412 0.592593 6 khoa_cong_nghe_thong_tin returning_student+seen_course committee 5569 562 0.100916 0.373790 0.835682 6 khoa_cong_nghe_thong_tin returning_student+seen_course suite24_graph_standalone 5569 562 0.100916 0.378106 0.806420 6 khoa_cong_nghe_thong_tin returning_student+seen_course suite24_evidence_residual 5569 562 0.100916 0.392588 0.841686 6 khoa_cong_nghe_thong_tin returning_student+seen_course suite24_safe_scale 5569 562 0.100916 0.392588 0.841686 6 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+new_course committee 362 31 0.085635 0.272908 0.832180 6 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+new_course suite24_graph_standalone 362 31 0.085635 0.258645 0.796950 6 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+new_course suite24_evidence_residual 362 31 0.085635 0.270605 0.833691 6 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+new_course suite24_safe_scale 362 31 0.085635 0.270605 0.833691 6 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+seen_course committee 7080 562 0.079379 0.389688 0.860287 6 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+seen_course suite24_graph_standalone 7080 562 0.079379 0.407796 0.855741 6 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+seen_course suite24_evidence_residual 7080 562 0.079379 0.410950 0.868392 6 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+seen_course suite24_safe_scale 7080 562 0.079379 0.410950 0.868392 6 khoa_quoc_te_hoc returning_student+new_course committee 211 6 0.028436 0.367450 0.684146 6 khoa_quoc_te_hoc returning_student+new_course suite24_graph_standalone 211 6 0.028436 0.398277 0.840650 6 khoa_quoc_te_hoc returning_student+new_course suite24_evidence_residual 211 6 0.028436 0.373942 0.713008 6 khoa_quoc_te_hoc returning_student+new_course suite24_safe_scale 211 6 0.028436 0.373942 0.713008 6 khoa_quoc_te_hoc returning_student+seen_course committee 2255 54 0.023947 0.263083 0.842227 6 khoa_quoc_te_hoc returning_student+seen_course suite24_graph_standalone 2255 54 0.023947 0.169860 0.801252 6 khoa_quoc_te_hoc returning_student+seen_course suite24_evidence_residual 2255 54 0.023947 0.247733 0.841301 6 khoa_quoc_te_hoc returning_student+seen_course suite24_safe_scale 2255 54 0.023947 0.247733 0.841301 6 khoa_tieng_anh returning_student+new_course committee 167 1 0.005988 0.018868 0.686747 6 khoa_tieng_anh returning_student+new_course suite24_graph_standalone 167 1 0.005988 0.006452 0.072289 6 khoa_tieng_anh returning_student+new_course suite24_evidence_residual 167 1 0.005988 0.018868 0.686747 6 khoa_tieng_anh returning_student+new_course suite24_safe_scale 167 1 0.005988 0.018868 0.686747 6 khoa_tieng_anh returning_student+seen_course committee 6037 121 0.020043 0.292914 0.827625 6 khoa_tieng_anh returning_student+seen_course suite24_graph_standalone 6037 121 0.020043 0.228526 0.821530 6 khoa_tieng_anh returning_student+seen_course suite24_evidence_residual 6037 121 0.020043 0.321219 0.843454 6 khoa_tieng_anh returning_student+seen_course suite24_safe_scale 6037 121 0.020043 0.321219 0.843454 6 khoa_tieng_bo_dao_nha returning_student+new_course committee 12 1 0.083333 1.000000 1.000000 6 khoa_tieng_bo_dao_nha returning_student+new_course suite24_graph_standalone 12 1 0.083333 0.250000 0.727273 6 khoa_tieng_bo_dao_nha returning_student+new_course suite24_evidence_residual 12 1 0.083333 1.000000 1.000000 6 khoa_tieng_bo_dao_nha returning_student+new_course suite24_safe_scale 12 1 0.083333 1.000000 1.000000 6 khoa_tieng_bo_dao_nha returning_student+seen_course committee 880 72 0.081818 0.517657 0.878575 6 khoa_tieng_bo_dao_nha returning_student+seen_course suite24_graph_standalone 880 72 0.081818 0.458355 0.863071 6 khoa_tieng_bo_dao_nha returning_student+seen_course suite24_evidence_residual 880 72 0.081818 0.523966 0.880449 6 khoa_tieng_bo_dao_nha returning_student+seen_course suite24_safe_scale 880 72 0.081818 0.523966 0.880449 6 khoa_tieng_duc returning_student+new_course committee 195 9 0.046154 0.360936 0.884707 6 khoa_tieng_duc returning_student+new_course suite24_graph_standalone 195 9 0.046154 0.382118 0.885006 6 khoa_tieng_duc returning_student+new_course suite24_evidence_residual 195 9 0.046154 0.368471 0.895759 6 khoa_tieng_duc returning_student+new_course suite24_safe_scale 195 9 0.046154 0.368471 0.895759 6 khoa_tieng_duc returning_student+seen_course committee 1644 75 0.045620 0.480842 0.927767 6 khoa_tieng_duc returning_student+seen_course suite24_graph_standalone 1644 75 0.045620 0.351813 0.915904 6 khoa_tieng_duc returning_student+seen_course suite24_evidence_residual 1644 75 0.045620 0.463773 0.931141 6 khoa_tieng_duc returning_student+seen_course suite24_safe_scale 1644 75 0.045620 0.463773 0.931141 6 khoa_tieng_han_quoc returning_student+new_course committee 495 41 0.082828 0.386577 0.872730 6 khoa_tieng_han_quoc returning_student+new_course suite24_graph_standalone 495 41 0.082828 0.543166 0.898947 6 khoa_tieng_han_quoc returning_student+new_course suite24_evidence_residual 495 41 0.082828 0.418558 0.879553 6 khoa_tieng_han_quoc returning_student+new_course suite24_safe_scale 495 41 0.082828 0.418558 0.879553 6 khoa_tieng_han_quoc returning_student+seen_course committee 2782 82 0.029475 0.243958 0.846461 6 khoa_tieng_han_quoc returning_student+seen_course suite24_graph_standalone 2782 82 0.029475 0.197839 0.772435 6 khoa_tieng_han_quoc returning_student+seen_course suite24_evidence_residual 2782 82 0.029475 0.259436 0.845122 6 khoa_tieng_han_quoc returning_student+seen_course suite24_safe_scale 2782 82 0.029475 0.259436 0.845122 6 khoa_tieng_italia returning_student+new_course committee 317 25 0.078864 0.257122 0.718219 6 khoa_tieng_italia returning_student+new_course suite24_graph_standalone 317 25 0.078864 0.219102 0.727808 6 khoa_tieng_italia returning_student+new_course suite24_evidence_residual 317 25 0.078864 0.283149 0.727397 6 khoa_tieng_italia returning_student+new_course suite24_safe_scale 317 25 0.078864 0.283149 0.727397 6 khoa_tieng_italia returning_student+seen_course committee 1709 69 0.040374 0.226978 0.830629 6 khoa_tieng_italia returning_student+seen_course suite24_graph_standalone 1709 69 0.040374 0.236779 0.818558 6 khoa_tieng_italia returning_student+seen_course suite24_evidence_residual 1709 69 0.040374 0.238408 0.832724 6 khoa_tieng_italia returning_student+seen_course suite24_safe_scale 1709 69 0.040374 0.238408 0.832724 6 khoa_tieng_nga returning_student+new_course committee 361 41 0.113573 0.398247 0.725991 6 khoa_tieng_nga returning_student+new_course suite24_graph_standalone 361 41 0.113573 0.371647 0.752477 6 khoa_tieng_nga returning_student+new_course suite24_evidence_residual 361 41 0.113573 0.409376 0.726753 6 khoa_tieng_nga returning_student+new_course suite24_safe_scale 361 41 0.113573 0.409376 0.726753 6 khoa_tieng_nga returning_student+seen_course committee 1481 164 0.110736 0.502487 0.796491 6 khoa_tieng_nga returning_student+seen_course suite24_graph_standalone 1481 164 0.110736 0.458488 0.812735 6 khoa_tieng_nga returning_student+seen_course suite24_evidence_residual 1481 164 0.110736 0.501565 0.805290 6 khoa_tieng_nga returning_student+seen_course suite24_safe_scale 1481 164 0.110736 0.501565 0.805290 6 khoa_tieng_nhat returning_student+new_course committee 353 28 0.079320 0.367625 0.820714 6 khoa_tieng_nhat returning_student+new_course suite24_graph_standalone 353 28 0.079320 0.275795 0.784615 6 khoa_tieng_nhat returning_student+new_course suite24_evidence_residual 353 28 0.079320 0.372802 0.827692 6 khoa_tieng_nhat returning_student+new_course suite24_safe_scale 353 28 0.079320 0.372802 0.827692 6 khoa_tieng_nhat returning_student+seen_course committee 2177 60 0.027561 0.165914 0.842450 6 khoa_tieng_nhat returning_student+seen_course suite24_graph_standalone 2177 60 0.027561 0.162814 0.864864 6 khoa_tieng_nhat returning_student+seen_course suite24_evidence_residual 2177 60 0.027561 0.180145 0.850441 6 khoa_tieng_nhat returning_student+seen_course suite24_safe_scale 2177 60 0.027561 0.180145 0.850441 6 khoa_tieng_phap returning_student+new_course committee 127 1 0.007874 1.000000 1.000000 6 khoa_tieng_phap returning_student+new_course suite24_graph_standalone 127 1 0.007874 0.333333 0.984127 6 khoa_tieng_phap returning_student+new_course suite24_evidence_residual 127 1 0.007874 1.000000 1.000000 6 khoa_tieng_phap returning_student+new_course suite24_safe_scale 127 1 0.007874 1.000000 1.000000 6 khoa_tieng_phap returning_student+seen_course committee 2136 49 0.022940 0.275362 0.913263 6 khoa_tieng_phap returning_student+seen_course suite24_graph_standalone 2136 49 0.022940 0.224269 0.868995 6 khoa_tieng_phap returning_student+seen_course suite24_evidence_residual 2136 49 0.022940 0.259553 0.909390 6 khoa_tieng_phap returning_student+seen_course suite24_safe_scale 2136 49 0.022940 0.259553 0.909390 6 khoa_tieng_tay_ban_nha returning_student+new_course committee 171 8 0.046784 0.589848 0.947469 6 khoa_tieng_tay_ban_nha returning_student+new_course suite24_graph_standalone 171 8 0.046784 0.209693 0.904141 6 khoa_tieng_tay_ban_nha returning_student+new_course suite24_evidence_residual 171 8 0.046784 0.713377 0.953221 6 khoa_tieng_tay_ban_nha returning_student+new_course suite24_safe_scale 171 8 0.046784 0.713377 0.953221 6 khoa_tieng_tay_ban_nha returning_student+seen_course committee 1162 77 0.066265 0.353263 0.844647 6 khoa_tieng_tay_ban_nha returning_student+seen_course suite24_graph_standalone 1162 77 0.066265 0.287085 0.807457 6 khoa_tieng_tay_ban_nha returning_student+seen_course suite24_evidence_residual 1162 77 0.066265 0.350622 0.851014 6 khoa_tieng_tay_ban_nha returning_student+seen_course suite24_safe_scale 1162 77 0.066265 0.350622 0.851014 6 khoa_tieng_trung_quoc returning_student+new_course committee 875 68 0.077714 0.446635 0.841014 6 khoa_tieng_trung_quoc returning_student+new_course suite24_graph_standalone 875 68 0.077714 0.360540 0.842764 6 khoa_tieng_trung_quoc returning_student+new_course suite24_evidence_residual 875 68 0.077714 0.462066 0.846035 6 khoa_tieng_trung_quoc returning_student+new_course suite24_safe_scale 875 68 0.077714 0.462066 0.846035 6 khoa_tieng_trung_quoc returning_student+seen_course committee 4115 99 0.024058 0.308694 0.898691 6 khoa_tieng_trung_quoc returning_student+seen_course suite24_graph_standalone 4115 99 0.024058 0.176609 0.877113 6 khoa_tieng_trung_quoc returning_student+seen_course suite24_evidence_residual 4115 99 0.024058 0.312606 0.902305 6 khoa_tieng_trung_quoc returning_student+seen_course suite24_safe_scale 4115 99 0.024058 0.312606 0.902305 6 khoa_viet_nam_hoc returning_student+new_course committee 82 22 0.268293 0.883652 0.923485 6 khoa_viet_nam_hoc returning_student+new_course suite24_graph_standalone 82 22 0.268293 0.691896 0.829545 6 khoa_viet_nam_hoc returning_student+new_course suite24_evidence_residual 82 22 0.268293 0.866743 0.917424 6 khoa_viet_nam_hoc returning_student+new_course suite24_safe_scale 82 22 0.268293 0.866743 0.917424 6 khoa_viet_nam_hoc returning_student+seen_course committee 522 66 0.126437 0.658206 0.920886 6 khoa_viet_nam_hoc returning_student+seen_course suite24_graph_standalone 522 66 0.126437 0.641237 0.915371 6 khoa_viet_nam_hoc returning_student+seen_course suite24_evidence_residual 522 66 0.126437 0.655855 0.919657 6 khoa_viet_nam_hoc returning_student+seen_course suite24_safe_scale 522 66 0.126437 0.655855 0.919657 7 khoa_cong_nghe_thong_tin returning_student+new_course committee 771 180 0.233463 0.537766 0.793838 7 khoa_cong_nghe_thong_tin returning_student+new_course suite24_graph_standalone 771 180 0.233463 0.381926 0.708136 7 khoa_cong_nghe_thong_tin returning_student+new_course suite24_evidence_residual 771 180 0.233463 0.529951 0.783573 7 khoa_cong_nghe_thong_tin returning_student+new_course suite24_safe_scale 771 180 0.233463 0.535205 0.789044 7 khoa_cong_nghe_thong_tin returning_student+seen_course committee 6155 868 0.141024 0.440441 0.808233 7 khoa_cong_nghe_thong_tin returning_student+seen_course suite24_graph_standalone 6155 868 0.141024 0.375317 0.776668 7 khoa_cong_nghe_thong_tin returning_student+seen_course suite24_evidence_residual 6155 868 0.141024 0.442869 0.811514 7 khoa_cong_nghe_thong_tin returning_student+seen_course suite24_safe_scale 6155 868 0.141024 0.444942 0.811606 7 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+new_course committee 528 77 0.145833 0.372242 0.779969 7 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+new_course suite24_graph_standalone 528 77 0.145833 0.365284 0.776024 7 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+new_course suite24_evidence_residual 528 77 0.145833 0.386944 0.783627 7 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+new_course suite24_safe_scale 528 77 0.145833 0.373967 0.783886 7 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+seen_course committee 8461 1046 0.123626 0.424349 0.823203 7 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+seen_course suite24_graph_standalone 8461 1046 0.123626 0.398556 0.802079 7 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+seen_course suite24_evidence_residual 8461 1046 0.123626 0.430404 0.821590 7 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+seen_course suite24_safe_scale 8461 1046 0.123626 0.431313 0.824712 7 khoa_quoc_te_hoc returning_student+new_course committee 170 1 0.005882 0.500000 0.994083 7 khoa_quoc_te_hoc returning_student+new_course suite24_graph_standalone 170 1 0.005882 0.500000 0.994083 7 khoa_quoc_te_hoc returning_student+new_course suite24_evidence_residual 170 1 0.005882 0.500000 0.994083 7 khoa_quoc_te_hoc returning_student+new_course suite24_safe_scale 170 1 0.005882 0.500000 0.994083 7 khoa_quoc_te_hoc returning_student+seen_course committee 2585 127 0.049130 0.244922 0.829302 7 khoa_quoc_te_hoc returning_student+seen_course suite24_graph_standalone 2585 127 0.049130 0.222090 0.803569 7 khoa_quoc_te_hoc returning_student+seen_course suite24_evidence_residual 2585 127 0.049130 0.254167 0.831763 7 khoa_quoc_te_hoc returning_student+seen_course suite24_safe_scale 2585 127 0.049130 0.256081 0.833121 7 khoa_tieng_anh returning_student+new_course committee 855 5 0.005848 0.282349 0.946118 7 khoa_tieng_anh returning_student+new_course suite24_graph_standalone 855 5 0.005848 0.157917 0.838824 7 khoa_tieng_anh returning_student+new_course suite24_evidence_residual 855 5 0.005848 0.277015 0.923529 7 khoa_tieng_anh returning_student+new_course suite24_safe_scale 855 5 0.005848 0.265387 0.934118 7 khoa_tieng_anh returning_student+seen_course committee 7514 245 0.032606 0.227045 0.835241 7 khoa_tieng_anh returning_student+seen_course suite24_graph_standalone 7514 245 0.032606 0.209298 0.782804 7 khoa_tieng_anh returning_student+seen_course suite24_evidence_residual 7514 245 0.032606 0.223614 0.833712 7 khoa_tieng_anh returning_student+seen_course suite24_safe_scale 7514 245 0.032606 0.230594 0.835312 7 khoa_tieng_bo_dao_nha returning_student+new_course committee 225 14 0.062222 0.406832 0.880840 7 khoa_tieng_bo_dao_nha returning_student+new_course suite24_graph_standalone 225 14 0.062222 0.466178 0.831077 7 khoa_tieng_bo_dao_nha returning_student+new_course suite24_evidence_residual 225 14 0.062222 0.385697 0.862898 7 khoa_tieng_bo_dao_nha returning_student+new_course suite24_safe_scale 225 14 0.062222 0.388865 0.870345 7 khoa_tieng_bo_dao_nha returning_student+seen_course committee 984 129 0.131098 0.425540 0.792438 7 khoa_tieng_bo_dao_nha returning_student+seen_course suite24_graph_standalone 984 129 0.131098 0.322957 0.751865 7 khoa_tieng_bo_dao_nha returning_student+seen_course suite24_evidence_residual 984 129 0.131098 0.406103 0.789320 7 khoa_tieng_bo_dao_nha returning_student+seen_course suite24_safe_scale 984 129 0.131098 0.415086 0.792085 7 khoa_tieng_duc returning_student+new_course committee 133 0 0.000000 NaN NaN 7 khoa_tieng_duc returning_student+new_course suite24_graph_standalone 133 0 0.000000 NaN NaN 7 khoa_tieng_duc returning_student+new_course suite24_evidence_residual 133 0 0.000000 NaN NaN 7 khoa_tieng_duc returning_student+new_course suite24_safe_scale 133 0 0.000000 NaN NaN 7 khoa_tieng_duc returning_student+seen_course committee 2151 111 0.051604 0.311030 0.874558 7 khoa_tieng_duc returning_student+seen_course suite24_graph_standalone 2151 111 0.051604 0.239755 0.844043 7 khoa_tieng_duc returning_student+seen_course suite24_evidence_residual 2151 111 0.051604 0.300223 0.875318 7 khoa_tieng_duc returning_student+seen_course suite24_safe_scale 2151 111 0.051604 0.306502 0.875247 7 khoa_tieng_han_quoc returning_student+new_course committee 777 62 0.079794 0.560389 0.886499 7 khoa_tieng_han_quoc returning_student+new_course suite24_graph_standalone 777 62 0.079794 0.564705 0.886240 7 khoa_tieng_han_quoc returning_student+new_course suite24_evidence_residual 777 62 0.079794 0.549228 0.883600 7 khoa_tieng_han_quoc returning_student+new_course suite24_safe_scale 777 62 0.079794 0.555777 0.885427 7 khoa_tieng_han_quoc returning_student+seen_course committee 2657 63 0.023711 0.365184 0.894112 7 khoa_tieng_han_quoc returning_student+seen_course suite24_graph_standalone 2657 63 0.023711 0.243351 0.881797 7 khoa_tieng_han_quoc returning_student+seen_course suite24_evidence_residual 2657 63 0.023711 0.377908 0.895779 7 khoa_tieng_han_quoc returning_student+seen_course suite24_safe_scale 2657 63 0.023711 0.379384 0.895369 7 khoa_tieng_italia returning_student+new_course committee 259 15 0.057915 0.328891 0.793989 7 khoa_tieng_italia returning_student+new_course suite24_graph_standalone 259 15 0.057915 0.305169 0.768306 7 khoa_tieng_italia returning_student+new_course suite24_evidence_residual 259 15 0.057915 0.356090 0.786885 7 khoa_tieng_italia returning_student+new_course suite24_safe_scale 259 15 0.057915 0.355264 0.790984 7 khoa_tieng_italia returning_student+seen_course committee 2194 239 0.108933 0.386620 0.837332 7 khoa_tieng_italia returning_student+seen_course suite24_graph_standalone 2194 239 0.108933 0.351756 0.813314 7 khoa_tieng_italia returning_student+seen_course suite24_evidence_residual 2194 239 0.108933 0.384034 0.838160 7 khoa_tieng_italia returning_student+seen_course suite24_safe_scale 2194 239 0.108933 0.388797 0.840341 7 khoa_tieng_nga returning_student+new_course committee 476 33 0.069328 0.328403 0.785143 7 khoa_tieng_nga returning_student+new_course suite24_graph_standalone 476 33 0.069328 0.265460 0.761680 7 khoa_tieng_nga returning_student+new_course suite24_evidence_residual 476 33 0.069328 0.314856 0.776113 7 khoa_tieng_nga returning_student+new_course suite24_safe_scale 476 33 0.069328 0.322417 0.779123 7 khoa_tieng_nga returning_student+seen_course committee 1448 121 0.083564 0.265386 0.768857 7 khoa_tieng_nga returning_student+seen_course suite24_graph_standalone 1448 121 0.083564 0.243748 0.777308 7 khoa_tieng_nga returning_student+seen_course suite24_evidence_residual 1448 121 0.083564 0.256139 0.773540 7 khoa_tieng_nga returning_student+seen_course suite24_safe_scale 1448 121 0.083564 0.259408 0.772886 7 khoa_tieng_nhat returning_student+new_course committee 578 37 0.064014 0.435338 0.882275 7 khoa_tieng_nhat returning_student+new_course suite24_graph_standalone 578 37 0.064014 0.441125 0.878528 7 khoa_tieng_nhat returning_student+new_course suite24_evidence_residual 578 37 0.064014 0.449748 0.893191 7 khoa_tieng_nhat returning_student+new_course suite24_safe_scale 578 37 0.064014 0.441264 0.889244 7 khoa_tieng_nhat returning_student+seen_course committee 2217 108 0.048714 0.169615 0.795787 7 khoa_tieng_nhat returning_student+seen_course suite24_graph_standalone 2217 108 0.048714 0.172220 0.773603 7 khoa_tieng_nhat returning_student+seen_course suite24_evidence_residual 2217 108 0.048714 0.196336 0.806315 7 khoa_tieng_nhat returning_student+seen_course suite24_safe_scale 2217 108 0.048714 0.189564 0.803694 7 khoa_tieng_phap returning_student+new_course committee 338 6 0.017751 0.490939 0.950301 7 khoa_tieng_phap returning_student+new_course suite24_graph_standalone 338 6 0.017751 0.537037 0.954317 7 khoa_tieng_phap returning_student+new_course suite24_evidence_residual 338 6 0.017751 0.500949 0.949799 7 khoa_tieng_phap returning_student+new_course suite24_safe_scale 338 6 0.017751 0.500832 0.949297 7 khoa_tieng_phap returning_student+seen_course committee 2577 113 0.043849 0.277743 0.825440 7 khoa_tieng_phap returning_student+seen_course suite24_graph_standalone 2577 113 0.043849 0.249505 0.844741 7 khoa_tieng_phap returning_student+seen_course suite24_evidence_residual 2577 113 0.043849 0.268237 0.830741 7 khoa_tieng_phap returning_student+seen_course suite24_safe_scale 2577 113 0.043849 0.278105 0.829165 SUITE24 EVIDENCE-SUPPORT vs GAIN CORRELATIONS — HOLDOUT -------------------------------------------------------------------------------- target support cells pearson_r standalone_delta_ap_vs_committee history_courses_mean 28 -0.150996 standalone_delta_ap_vs_committee structural_courses_mean 28 0.127570 standalone_delta_ap_vs_committee related_history_mean 28 0.014518 standalone_delta_ap_vs_committee same_course_history_mean 28 0.051583 standalone_delta_ap_vs_committee failed_history_mean 28 -0.079580 standalone_delta_ap_vs_committee direct_structural_mean 28 0.097180 primary_delta_ap_vs_committee history_courses_mean 28 0.090382 primary_delta_ap_vs_committee structural_courses_mean 28 0.166602 primary_delta_ap_vs_committee related_history_mean 28 0.239952 primary_delta_ap_vs_committee same_course_history_mean 28 -0.332777 primary_delta_ap_vs_committee failed_history_mean 28 -0.046060 primary_delta_ap_vs_committee direct_structural_mean 28 0.159428 SUITE24 PREDECLARED PREMISE / SUCCESS AUDIT -------------------------------------------------------------------------------- premise mean_delta_ap wins cells verdict meaningful_faculty_losses it_delta_ap mean_delta_f2 fold_6_delta_ap fold_7_delta_ap direct_structure_B_minus_A -0.006539 8 28 NOT_SUPPORTED NaN NaN NaN NaN NaN evidence_gating_C_minus_B 0.001186 14 28 WEAK_SUPPORT NaN NaN NaN NaN NaN primary_beats_committee 0.004102 14 28 WEAK_SUPPORT NaN NaN NaN NaN NaN primary_beats_suite22 -0.014905 6 28 NOT_SUPPORTED NaN NaN NaN NaN NaN primary_beats_suite23 -0.004010 9 28 NOT_SUPPORTED NaN NaN NaN NaN NaN standalone_beats_suite23_graph -0.011394 10 28 NOT_SUPPORTED NaN NaN NaN NaN NaN zero_history_should_hurt -0.003573 13 28 WEAK_SUPPORT NaN NaN NaN NaN NaN shuffle_history_should_hurt -0.004655 22 28 SUPPORTED NaN NaN NaN NaN NaN zero_structural_should_hurt 0.000252 14 28 NOT_SUPPORTED NaN NaN NaN NaN NaN shuffle_structural_should_hurt 0.001850 12 28 NOT_SUPPORTED NaN NaN NaN NaN NaN trained_dependency_no_history_correction -0.002005 12 28 WEAK_SUPPORT NaN NaN NaN NaN NaN trained_dependency_no_structural_correction 0.000309 15 28 NOT_SUPPORTED NaN NaN NaN NaN NaN trained_dependency_fixed_gates -0.008457 20 28 SUPPORTED NaN NaN NaN NaN NaN PROJECT_COUNCIL_BREAKTHROUGH -0.022163 0 1 NOT_SUCCESSFUL 1.0 -0.022163 -0.004278 -0.029061 -0.015264 [DONE] Suite24 complete in 3.37 hours | output=/root/disk_3tb/earlywarning/30072026/results/suite24_target_conditioned_structural_residual [RUN] Suite24 completed 2026-09-25T13:51:39+00:00