[RUN] Suite25 started 2026-09-28T09:06:00+00:00 [RUN] code=/root/disk_3tb/earlywarning/30072026/suite25 [RUN] log=/root/disk_3tb/earlywarning/30072026/log/suite25.log ============================================================================================================== SUITE25 FINAL ENVIRONMENT CHECK ============================================================================================================== python= 3.13.5 | packaged by Anaconda, Inc. | (main, Jun 12 2025, 16:09:02) [GCC 11.2.0] executable= /root/miniconda3/envs/Huy/bin/python3 [OK] numpy 2.2.6 [OK] pandas 2.3.1 [OK] sklearn 1.7.1 [OK] scipy 1.16.0 [OK] joblib 1.5.1 [OK] torch 2.7.1+cu118 [CUDA] available=True device=Tesla V100-SXM2-32GB [OK] canonical cache complete for 14 faculties x 7 folds [DATA] common_raw_features=136 + course_target=17 => current_features=153 [OK] course relation source /root/disk_3tb/earlywarning/30072026/results/suite12_structured_cache/raw_index/course_edges.joblib [REF] Suite22 FOUND /root/disk_3tb/earlywarning/30072026/results/suite22_sftr_tabm [REF] Suite23 FOUND /root/disk_3tb/earlywarning/30072026/results/suite23_cs_hagt [REF] Suite24 FOUND /root/disk_3tb/earlywarning/30072026/results/suite24_target_conditioned_structural_residual [REF] Council FOUND /root/disk_3tb/earlywarning/30072026/results/suite4/2_competence_council [REF] V2 FOUND /root/disk_3tb/earlywarning/30072026/results/final_train_v2 [PASS] Suite25 environment is ready. ================================================================================================================================================================================ SUITE25 — STRUCTURE-AWARE CHRONOLOGICAL RETRIEVAL (SACR / TabR-inspired) standalone current-state predictor | chronology-safe historical retrieval | learned TabR re-ranking | student/course/structural/state candidate pools | Committee only as ablation ================================================================================================================================================================================ [ENV] device=cuda torch=2.7.1+cu118 faculties=14 folds=[1, 2, 3, 4, 5, 6, 7] dev=[1, 2, 3, 4, 5] holdout=[6, 7] common_raw=136 current_features=153 [SCIENTIFIC CONTRACT] A=shared MLP without retrieval; B=direct chronology-safe TabR-like state retrieval; C=structure-aware multi-view chronological retrieval (PRIMARY, fully standalone). Candidate labels always come strictly from earlier semesters. Committee is NOT an input to A/B/C; Committee+SACR is a secondary ablation only. Selection retrieval memory contains TRAIN rows only; validation labels never enter validation memory. F6/F7 never select architecture/epoch/calibration/blend. [RELATION INDEX] course_pairs=3,670 directed_relations=5,906 ================================================================================================================================================================================ SUITE25 TARGET FOLD 1 ================================================================================================================================================================================ [DATA] history=240,672 fail=4,445 (1.85%) train=141,668 validation=99,004 target=45,800 fail=1,083 (2.36%) ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_mlp] [SELECT MLP] epoch=01/10 loss=0.11141 BCE=0.08241 rank=0.28996 macroAP=0.1860 F2@20=0.2250 Brier=0.0179 best=01 [SELECT MLP] epoch=02/10 loss=0.08857 BCE=0.06882 rank=0.19749 macroAP=0.1610 F2@20=0.2125 Brier=0.0182 best=01 [SELECT MLP] epoch=03/10 loss=0.07678 BCE=0.06139 rank=0.15391 macroAP=0.1430 F2@20=0.1831 Brier=0.0192 best=01 [SELECT MLP] epoch=04/10 loss=0.06726 BCE=0.05477 rank=0.12491 macroAP=0.1596 F2@20=0.1939 Brier=0.0185 best=01 [SELECT MLP] epoch=05/10 loss=0.06123 BCE=0.05077 rank=0.10466 macroAP=0.1312 F2@20=0.1871 Brier=0.0193 best=01 [RETRIEVAL CACHE] selection phase... [RETRIEVAL INDEX] building selection: bank=141,668 query=240,672 PCA=24 [STATE RETRIEVAL] semester=6056 queries=225 eligible_bank=11,015 k=32 [STATE RETRIEVAL] semester=6057 queries=27,064 eligible_bank=11,240 k=32 [STATE RETRIEVAL] semester=6058 queries=27,400 eligible_bank=38,304 k=32 [STATE RETRIEVAL] semester=6059 queries=458 eligible_bank=65,704 k=32 [STATE RETRIEVAL] semester=6060 queries=42,415 eligible_bank=66,162 k=32 [STATE RETRIEVAL] semester=6061 queries=39,361 eligible_bank=108,577 k=32 [STATE RETRIEVAL] semester=6062 queries=906 eligible_bank=140,772 k=32 [STATE RETRIEVAL] semester=6063 queries=48,526 eligible_bank=141,668 k=32 [STATE RETRIEVAL] semester=6064 queries=42,562 eligible_bank=141,668 k=32 [STATE RETRIEVAL] semester=6065 queries=740 eligible_bank=141,668 k=32 [STATE RETRIEVAL] complete N=240,672 in 0.53 min [RETRIEVAL CACHE] 25,000/240,672 [RETRIEVAL CACHE] 50,000/240,672 [RETRIEVAL CACHE] 75,000/240,672 [RETRIEVAL CACHE] 100,000/240,672 [RETRIEVAL CACHE] 125,000/240,672 [RETRIEVAL CACHE] 150,000/240,672 [RETRIEVAL CACHE] 175,000/240,672 [RETRIEVAL CACHE] 200,000/240,672 [RETRIEVAL CACHE] 225,000/240,672 [RETRIEVAL CACHE] complete N=240,672 bank=141,668 maxP=96 in 2.17 min FOLD 1 SELECTION RETRIEVAL SUPPORT -------------------------------------------------------------------------------- faculty rows prevalence any_candidate_zero_rate same_student_mean same_student_zero_rate same_student_candidate_fail_rate same_course_mean same_course_zero_rate same_course_candidate_fail_rate structural_mean structural_zero_rate structural_candidate_fail_rate state_mean state_zero_rate state_candidate_fail_rate candidate_mean cross_faculty_candidate_rate candidate_recency_mean khoa_cong_nghe_thong_tin 19090 0.030173 0.032687 6.628339 0.388109 0.018951 17.684494 0.262389 0.029343 2.263803 0.601781 0.031146 30.954007 0.032687 0.036811 56.336616 0.261213 2.525391 khoa_quan_tri_kinh_doanh_va_du_lich 33453 0.027352 0.055929 7.466087 0.290288 0.013189 18.185424 0.237557 0.018601 4.799928 0.327893 0.033742 30.210265 0.055929 0.026686 59.382656 0.190331 2.134766 khoa_quoc_te_hoc 10439 0.009388 0.052495 6.825845 0.352524 0.003256 16.588658 0.297634 0.003130 4.068685 0.465179 0.000918 30.320146 0.052495 0.017279 56.342274 0.336497 2.449219 khoa_tieng_anh 47997 0.017105 0.041232 7.961602 0.284289 0.003106 13.867638 0.415713 0.012856 2.869700 0.491531 0.046828 30.680584 0.041232 0.013631 54.367752 0.439747 2.367188 khoa_tieng_bo_dao_nha 4117 0.029876 0.036191 8.510809 0.247510 0.009475 17.106874 0.259898 0.026296 3.737430 0.420695 0.025281 30.841875 0.036191 0.051569 58.217877 0.541611 2.447266 khoa_tieng_duc 10883 0.015804 0.037582 7.947992 0.328862 0.005919 16.999265 0.290453 0.011600 1.172287 0.806212 0.005565 30.797390 0.037582 0.014989 55.549389 0.512363 2.419922 khoa_tieng_han_quoc 17102 0.004385 0.046135 8.361829 0.298620 0.001951 13.405040 0.436089 0.010203 2.847328 0.465150 0.100010 30.523681 0.046135 0.005167 54.120454 0.445772 2.367188 khoa_tieng_italia 10650 0.030610 0.040094 7.197746 0.283099 0.015041 15.387981 0.343756 0.028594 4.935775 0.252770 0.006126 30.716995 0.040094 0.046980 56.372394 0.407435 2.656250 khoa_tieng_nga 6608 0.040860 0.046610 7.985472 0.298426 0.018875 17.337016 0.264679 0.028936 5.050091 0.250757 0.066465 30.508475 0.046610 0.051096 58.617282 0.434006 2.490234 khoa_tieng_nhat 19043 0.010450 0.054351 7.833640 0.311506 0.003372 13.884157 0.385023 0.018832 3.909521 0.314971 0.082593 30.260778 0.054351 0.008500 54.557475 0.392200 2.451172 khoa_tieng_phap 15265 0.011661 0.072191 8.209368 0.301277 0.003790 16.028759 0.328726 0.010675 3.711431 0.373338 0.018639 29.689879 0.072191 0.020893 55.953357 0.408568 2.406250 khoa_tieng_tay_ban_nha 8025 0.021184 0.054455 7.511153 0.298442 0.008925 15.931713 0.324112 0.012601 6.144299 0.218069 0.013994 30.257445 0.054455 0.035348 58.304174 0.503805 2.636719 khoa_tieng_trung_quoc 32781 0.005644 0.035844 8.377414 0.265642 0.003223 16.098014 0.328208 0.009585 4.152314 0.277966 0.019329 30.852994 0.035844 0.008178 58.495653 0.289247 2.355469 khoa_viet_nam_hoc 5219 0.064572 0.031040 6.891358 0.296609 0.039954 13.330140 0.418471 0.053126 0.048285 0.987929 0.000000 31.006706 0.031040 0.060393 48.633838 0.022213 2.814453 ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_tabr] [SELECT TABR] epoch=01/10 loss=0.10708 BCE=0.08038 rank=0.26705 macroAP=0.1717 F2@20=0.2110 Brier=0.0185 best=01 [SELECT TABR] epoch=02/10 loss=0.08306 BCE=0.06509 rank=0.17969 macroAP=0.1566 F2@20=0.2059 Brier=0.0192 best=01 [SELECT TABR] epoch=03/10 loss=0.07135 BCE=0.05794 rank=0.13410 macroAP=0.1353 F2@20=0.1955 Brier=0.0195 best=01 [SELECT TABR] epoch=04/10 loss=0.06454 BCE=0.05280 rank=0.11735 macroAP=0.1368 F2@20=0.1857 Brier=0.0203 best=01 [SELECT TABR] epoch=05/10 loss=0.05729 BCE=0.04777 rank=0.09514 macroAP=0.1502 F2@20=0.1886 Brier=0.0194 best=01 ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_sacr] [SELECT SACR] epoch=01/10 loss=0.09990 BCE=0.07487 rank=0.25038 macroAP=0.1965 F2@20=0.2270 Brier=0.0186 best=01 [SELECT SACR] epoch=02/10 loss=0.07996 BCE=0.06308 rank=0.16882 macroAP=0.1986 F2@20=0.2057 Brier=0.0184 best=02 [SELECT SACR] epoch=03/10 loss=0.06791 BCE=0.05551 rank=0.12400 macroAP=0.1639 F2@20=0.2070 Brier=0.0207 best=02 [SELECT SACR] epoch=04/10 loss=0.06008 BCE=0.04988 rank=0.10202 macroAP=0.1661 F2@20=0.1913 Brier=0.0194 best=02 [SELECT SACR] epoch=05/10 loss=0.05523 BCE=0.04639 rank=0.08838 macroAP=0.1834 F2@20=0.1896 Brier=0.0190 best=02 [COMMITTEE BLEND ABLATION] selected alpha=0.10 policyAP=0.3513 policyF2=0.2813 [RETRIEVAL CACHE] production history... [RETRIEVAL INDEX] building production-history: bank=240,672 query=240,672 PCA=24 [STATE RETRIEVAL] semester=6056 queries=225 eligible_bank=11,015 k=32 [STATE RETRIEVAL] semester=6057 queries=27,064 eligible_bank=11,240 k=32 [STATE RETRIEVAL] semester=6058 queries=27,400 eligible_bank=38,304 k=32 [STATE RETRIEVAL] semester=6059 queries=458 eligible_bank=65,704 k=32 [STATE RETRIEVAL] semester=6060 queries=42,415 eligible_bank=66,162 k=32 [STATE RETRIEVAL] semester=6061 queries=39,361 eligible_bank=108,577 k=32 [STATE RETRIEVAL] semester=6062 queries=906 eligible_bank=147,938 k=32 [STATE RETRIEVAL] semester=6063 queries=48,526 eligible_bank=148,844 k=32 [STATE RETRIEVAL] semester=6064 queries=42,562 eligible_bank=197,370 k=32 [STATE RETRIEVAL] semester=6065 queries=740 eligible_bank=239,932 k=32 [STATE RETRIEVAL] complete N=240,672 in 0.54 min [RETRIEVAL CACHE] 25,000/240,672 [RETRIEVAL CACHE] 50,000/240,672 [RETRIEVAL CACHE] 75,000/240,672 [RETRIEVAL CACHE] 100,000/240,672 [RETRIEVAL CACHE] 125,000/240,672 [RETRIEVAL CACHE] 150,000/240,672 [RETRIEVAL CACHE] 175,000/240,672 [RETRIEVAL CACHE] 200,000/240,672 [RETRIEVAL CACHE] 225,000/240,672 [RETRIEVAL CACHE] complete N=240,672 bank=240,672 maxP=96 in 2.06 min [RETRIEVAL CACHE] production target... [RETRIEVAL INDEX] building production-target: bank=240,672 query=45,800 PCA=24 [STATE RETRIEVAL] semester=6066 queries=45,800 eligible_bank=240,672 k=32 [STATE RETRIEVAL] complete N=45,800 in 0.29 min [RETRIEVAL CACHE] 25,000/45,800 [RETRIEVAL CACHE] complete N=45,800 bank=240,672 maxP=96 in 0.44 min FOLD 1 TARGET RETRIEVAL SUPPORT -------------------------------------------------------------------------------- faculty rows prevalence any_candidate_zero_rate same_student_mean same_student_zero_rate same_student_candidate_fail_rate same_course_mean same_course_zero_rate same_course_candidate_fail_rate structural_mean structural_zero_rate structural_candidate_fail_rate state_mean state_zero_rate state_candidate_fail_rate candidate_mean cross_faculty_candidate_rate candidate_recency_mean fold khoa_cong_nghe_thong_tin 5222 0.036193 0.0 8.782267 0.375527 0.011797 21.931827 0.086174 0.007073 2.607430 0.593259 0.058093 32.0 0.0 0.018898 64.876867 0.227128 2.865234 1 khoa_quan_tri_kinh_doanh_va_du_lich 5672 0.038611 0.0 7.744006 0.391396 0.027365 22.762341 0.036319 0.028263 6.487835 0.216326 0.029294 32.0 0.0 0.021382 68.505642 0.244395 2.535156 1 khoa_quoc_te_hoc 2363 0.013119 0.0 7.748625 0.415573 0.004642 21.806179 0.091409 0.007278 9.063902 0.062632 0.002334 32.0 0.0 0.011572 70.169700 0.334785 2.921875 1 khoa_tieng_anh 8164 0.018128 0.0 9.110240 0.355708 0.001291 23.414135 0.024130 0.021778 3.560510 0.429936 0.063713 32.0 0.0 0.020597 67.746693 0.356906 2.484375 1 khoa_tieng_bo_dao_nha 768 0.039062 0.0 8.752604 0.363281 0.029753 23.703125 0.011719 0.015876 4.062500 0.335938 0.016346 32.0 0.0 0.021932 67.406250 0.491906 2.847656 1 khoa_tieng_duc 1900 0.024211 0.0 9.402632 0.349474 0.003806 23.911579 0.003684 0.009905 1.755789 0.767895 0.000899 32.0 0.0 0.007171 66.920000 0.550319 2.603516 1 khoa_tieng_han_quoc 2904 0.006887 0.0 9.611226 0.322658 0.002508 21.049587 0.122934 0.004401 3.794766 0.484160 0.000000 32.0 0.0 0.001689 66.382576 0.493638 2.457031 1 khoa_tieng_italia 2166 0.051247 0.0 10.647738 0.238227 0.011057 21.337950 0.038781 0.012614 4.725762 0.313019 0.029308 32.0 0.0 0.024642 68.032318 0.444964 2.644531 1 khoa_tieng_nga 1588 0.064232 0.0 8.423804 0.407431 0.025641 23.794081 0.004408 0.015853 6.210957 0.143577 0.045524 32.0 0.0 0.027334 69.410579 0.402299 2.628906 1 khoa_tieng_nhat 2840 0.005986 0.0 9.104577 0.387324 0.002127 23.046831 0.035915 0.002475 6.131338 0.148944 0.024464 32.0 0.0 0.004225 70.002113 0.259489 2.503906 1 khoa_tieng_phap 2606 0.016117 0.0 9.810821 0.307751 0.005828 23.891788 0.004221 0.005027 5.068304 0.215272 0.018928 32.0 0.0 0.006751 70.012663 0.253660 2.642578 1 khoa_tieng_tay_ban_nha 1401 0.044968 0.0 10.321199 0.293362 0.015422 23.822984 0.003569 0.006142 10.640971 0.071378 0.015361 32.0 0.0 0.017488 76.277659 0.433173 2.585938 1 khoa_tieng_trung_quoc 7393 0.004734 0.0 10.319627 0.233870 0.001402 22.432030 0.065332 0.004408 5.432571 0.248073 0.000423 32.0 0.0 0.002152 69.987691 0.273881 2.566406 1 khoa_viet_nam_hoc 813 0.036900 0.0 6.895449 0.451415 0.022298 23.897909 0.000000 0.077153 0.260763 0.937269 0.000000 32.0 0.0 0.046125 61.263223 0.012609 2.984375 1 [CHRONOLOGY AUDIT] violations=0 / 286,472 | every retrieved label semester < query semester [REFIT MLP] epoch=01/1 loss=0.10770 BCE=0.07871 rank=0.28993 [VARIANT suite25_mlp] selected_epochs=1 target macroAP=0.2361 [REFIT TABR] epoch=01/1 loss=0.10405 BCE=0.07659 rank=0.27458 [VARIANT suite25_tabr] selected_epochs=1 target macroAP=0.2196 [REFIT SACR] epoch=01/2 loss=0.09730 BCE=0.07270 rank=0.24598 [REFIT SACR] epoch=02/2 loss=0.07880 BCE=0.06207 rank=0.16733 [VARIANT suite25_sacr] selected_epochs=2 target macroAP=0.2874 SUITE25 TARGET FOLD 1 — NEW + AVAILABLE REFERENCE RESULTS -------------------------------------------------------------------------------- fold faculty model rows failures prevalence ap auc brier ece10 mean_score calibration_gap precision_at_10 recall_at_10 f1_at_10 fbeta_at_10 precision_at_15 recall_at_15 f1_at_15 fbeta_at_15 precision_at_20 recall_at_20 f1_at_20 fbeta_at_20 precision_at_25 recall_at_25 f1_at_25 fbeta_at_25 1 khoa_cong_nghe_thong_tin committee 5222 189 0.036193 0.203171 0.751852 0.032053 0.003231 0.033469 -0.002724 0.155172 0.428571 0.227848 0.316901 0.132822 0.550265 0.213992 0.337882 0.119732 0.661376 0.202758 0.347222 0.101838 0.703704 0.177926 0.322502 1 khoa_cong_nghe_thong_tin council 5222 189 0.036193 0.260592 0.801039 0.030963 0.015802 0.043946 0.007753 0.199234 0.550265 0.292546 0.406886 0.151980 0.629630 0.244856 0.386615 0.122605 0.677249 0.207624 0.355556 0.105666 0.730159 0.184615 0.334627 1 khoa_cong_nghe_thong_tin suite14 5222 189 0.036193 0.203171 0.751852 0.032053 0.003231 0.033469 -0.002724 0.155172 0.428571 0.227848 0.316901 0.132822 0.550265 0.213992 0.337882 0.119732 0.661376 0.202758 0.347222 0.101838 0.703704 0.177926 0.322502 1 khoa_cong_nghe_thong_tin suite16 5222 189 0.036193 0.232711 0.786823 0.040898 0.059310 0.095503 0.059310 0.191571 0.529101 0.281294 0.391236 0.155811 0.645503 0.251029 0.396361 0.121648 0.671958 0.206002 0.352778 0.101072 0.698413 0.176589 0.320078 1 khoa_cong_nghe_thong_tin suite17 5222 189 0.036193 0.239934 0.793674 0.031565 0.005195 0.033913 -0.002280 0.187739 0.518519 0.275668 0.383412 0.157088 0.650794 0.253086 0.399610 0.126437 0.698413 0.214112 0.366667 0.103369 0.714286 0.180602 0.327352 1 khoa_cong_nghe_thong_tin suite18 5222 189 0.036193 0.234042 0.783887 0.031605 0.005751 0.034022 -0.002171 0.181992 0.502646 0.267229 0.371674 0.153257 0.634921 0.246914 0.389864 0.120690 0.666667 0.204380 0.350000 0.104135 0.719577 0.181940 0.329777 1 khoa_cong_nghe_thong_tin suite20 5222 189 0.036193 0.155602 0.827000 0.058503 0.057068 0.088409 0.052216 0.168582 0.465608 0.247539 0.344288 0.144317 0.597884 0.232510 0.367122 0.121648 0.671958 0.206002 0.352778 0.101838 0.703704 0.177926 0.322502 1 khoa_cong_nghe_thong_tin suite21 5222 189 0.036193 0.230687 0.760843 0.031478 0.005320 0.030951 -0.005242 0.172414 0.476190 0.253165 0.352113 0.143040 0.592593 0.230453 0.363873 0.121648 0.671958 0.206002 0.352778 0.101838 0.703704 0.177926 0.322502 1 khoa_cong_nghe_thong_tin suite22 5222 189 0.036193 0.249648 0.775627 0.031410 0.006286 0.034437 -0.001756 0.193487 0.534392 0.284107 0.395149 0.157088 0.650794 0.253086 0.399610 0.125479 0.693122 0.212490 0.363889 0.101838 0.703704 0.177926 0.322502 1 khoa_cong_nghe_thong_tin suite22_primary 5222 189 0.036193 0.302205 0.821158 0.030412 0.013439 0.045165 0.008972 0.189655 0.523810 0.278481 0.387324 0.153257 0.634921 0.246914 0.389864 0.123563 0.682540 0.209246 0.358333 0.104900 0.724868 0.183278 0.332202 1 khoa_cong_nghe_thong_tin suite22_relational 5222 189 0.036193 0.253188 0.770428 0.032030 0.023443 0.012750 -0.023443 0.216475 0.597884 0.317862 0.442097 0.154534 0.640212 0.248971 0.393112 0.123563 0.682540 0.209246 0.358333 0.099541 0.687831 0.173913 0.315228 1 khoa_cong_nghe_thong_tin suite23 5222 189 0.036193 0.241861 0.823590 0.031793 0.013566 0.022627 -0.013566 0.178161 0.492063 0.261603 0.363850 0.140485 0.582011 0.226337 0.357375 0.119732 0.661376 0.202758 0.347222 0.107963 0.746032 0.188629 0.341901 1 khoa_cong_nghe_thong_tin suite23_graph 5222 189 0.036193 0.228183 0.841801 0.031897 0.016805 0.019388 -0.016805 0.180077 0.497354 0.264416 0.367762 0.149425 0.619048 0.240741 0.380117 0.125479 0.693122 0.212490 0.363889 0.111792 0.772487 0.195318 0.354025 1 khoa_cong_nghe_thong_tin suite24 5222 189 0.036193 0.195138 0.773340 0.032335 0.016983 0.020370 -0.015823 0.141762 0.391534 0.208158 0.289515 0.117497 0.486772 0.189300 0.298895 0.108238 0.597884 0.183293 0.313889 0.099541 0.687831 0.173913 0.315228 1 khoa_cong_nghe_thong_tin suite24_posthoc 5222 189 0.036193 0.231553 0.780281 0.031930 0.009309 0.026884 -0.009309 0.176245 0.486772 0.258790 0.359937 0.148148 0.613757 0.238683 0.376868 0.119732 0.661376 0.202758 0.347222 0.102603 0.708995 0.179264 0.324927 1 khoa_cong_nghe_thong_tin suite25_committee_blend 5222 189 0.036193 0.229828 0.768471 0.031786 0.006902 0.029549 -0.006644 0.187739 0.518519 0.275668 0.383412 0.141762 0.587302 0.228395 0.360624 0.120690 0.666667 0.204380 0.350000 0.103369 0.714286 0.180602 0.327352 1 khoa_cong_nghe_thong_tin suite25_mlp 5222 189 0.036193 0.172509 0.803241 0.033632 0.022388 0.015349 -0.020844 0.168582 0.465608 0.247539 0.344288 0.137931 0.571429 0.222222 0.350877 0.119732 0.661376 0.202758 0.347222 0.101838 0.703704 0.177926 0.322502 1 khoa_cong_nghe_thong_tin suite25_sacr 5222 189 0.036193 0.275212 0.836310 0.031230 0.022092 0.015381 -0.020812 0.199234 0.550265 0.292546 0.406886 0.146871 0.608466 0.236626 0.373619 0.119732 0.661376 0.202758 0.347222 0.103369 0.714286 0.180602 0.327352 1 khoa_cong_nghe_thong_tin suite25_tabr 5222 189 0.036193 0.227141 0.831055 0.033223 0.024339 0.011854 -0.024339 0.183908 0.507937 0.270042 0.375587 0.143040 0.592593 0.230453 0.363873 0.122605 0.677249 0.207624 0.355556 0.102603 0.708995 0.179264 0.324927 1 khoa_cong_nghe_thong_tin v2 5222 189 0.036193 0.269994 0.826255 0.033188 0.027855 0.064048 0.027855 0.181992 0.502646 0.267229 0.371674 0.153257 0.634921 0.246914 0.389864 0.125479 0.693122 0.212490 0.363889 0.104135 0.719577 0.181940 0.329777 1 khoa_quan_tri_kinh_doanh_va_du_lich committee 5672 219 0.038611 0.517408 0.916837 0.028132 0.013695 0.028453 -0.010158 0.294533 0.762557 0.424936 0.578656 0.212691 0.826484 0.338318 0.524030 0.168430 0.872146 0.282336 0.475124 0.136812 0.885845 0.237019 0.422842 1 khoa_quan_tri_kinh_doanh_va_du_lich suite14 5672 219 0.038611 0.568782 0.929170 0.023901 0.013153 0.035785 -0.002826 0.319224 0.826484 0.460560 0.627166 0.226792 0.881279 0.360748 0.558772 0.172840 0.894977 0.289727 0.487562 0.140339 0.908676 0.243128 0.433740 1 khoa_quan_tri_kinh_doanh_va_du_lich suite16 5672 219 0.038611 0.547260 0.920354 0.031167 0.052708 0.091319 0.052708 0.298060 0.771689 0.430025 0.585586 0.219741 0.853881 0.349533 0.541401 0.169312 0.876712 0.283814 0.477612 0.137518 0.890411 0.238241 0.425022 1 khoa_quan_tri_kinh_doanh_va_du_lich suite17 5672 219 0.038611 0.533732 0.924074 0.027221 0.016528 0.031484 -0.007126 0.303351 0.785388 0.437659 0.595981 0.217391 0.844749 0.345794 0.535611 0.168430 0.872146 0.282336 0.475124 0.138223 0.894977 0.239462 0.427201 1 khoa_quan_tri_kinh_doanh_va_du_lich suite18 5672 219 0.038611 0.529385 0.921796 0.027443 0.016228 0.031402 -0.007209 0.296296 0.767123 0.427481 0.582121 0.218566 0.849315 0.347664 0.538506 0.167549 0.867580 0.280857 0.472637 0.136812 0.885845 0.237019 0.422842 1 khoa_quan_tri_kinh_doanh_va_du_lich suite20 5672 219 0.038611 0.465948 0.908196 0.041868 0.065865 0.104475 0.065865 0.276896 0.716895 0.399491 0.544006 0.198590 0.771689 0.315888 0.489288 0.160494 0.831050 0.269032 0.452736 0.134697 0.872146 0.233354 0.416303 1 khoa_quan_tri_kinh_doanh_va_du_lich suite21 5672 219 0.038611 0.525659 0.919990 0.027084 0.012730 0.030314 -0.008297 0.298060 0.771689 0.430025 0.585586 0.211516 0.821918 0.336449 0.521135 0.169312 0.876712 0.283814 0.477612 0.136812 0.885845 0.237019 0.422842 1 khoa_quan_tri_kinh_doanh_va_du_lich suite22 5672 219 0.038611 0.558310 0.920988 0.027168 0.017882 0.031869 -0.006742 0.298060 0.771689 0.430025 0.585586 0.222092 0.863014 0.353271 0.547192 0.168430 0.872146 0.282336 0.475124 0.137518 0.890411 0.238241 0.425022 1 khoa_quan_tri_kinh_doanh_va_du_lich suite22_primary 5672 219 0.038611 0.551608 0.903228 0.026579 0.027022 0.054700 0.016089 0.264550 0.684932 0.381679 0.519751 0.206816 0.803653 0.328972 0.509554 0.163139 0.844749 0.273466 0.460199 0.135402 0.876712 0.234575 0.418483 1 khoa_quan_tri_kinh_doanh_va_du_lich suite22_relational 5672 219 0.038611 0.579215 0.917549 0.025320 0.015737 0.022874 -0.015737 0.287478 0.744292 0.414758 0.564796 0.215041 0.835616 0.342056 0.529820 0.165785 0.858447 0.277901 0.467662 0.136107 0.881279 0.235797 0.420663 1 khoa_quan_tri_kinh_doanh_va_du_lich suite23 5672 219 0.038611 0.554444 0.926391 0.028466 0.016097 0.022513 -0.016097 0.298060 0.771689 0.430025 0.585586 0.218566 0.849315 0.347664 0.538506 0.168430 0.872146 0.282336 0.475124 0.137518 0.890411 0.238241 0.425022 1 khoa_quan_tri_kinh_doanh_va_du_lich suite23_graph 5672 219 0.038611 0.529173 0.916634 0.029681 0.019532 0.019079 -0.019532 0.285714 0.739726 0.412214 0.561331 0.205640 0.799087 0.327103 0.506659 0.159612 0.826484 0.267554 0.450249 0.135402 0.876712 0.234575 0.418483 1 khoa_quan_tri_kinh_doanh_va_du_lich suite24 5672 219 0.038611 0.525034 0.913017 0.027051 0.015735 0.023096 -0.015514 0.292769 0.757991 0.422392 0.575191 0.209166 0.812785 0.332710 0.515345 0.164903 0.853881 0.276423 0.465174 0.135402 0.876712 0.234575 0.418483 1 khoa_quan_tri_kinh_doanh_va_du_lich suite24_posthoc 5672 219 0.038611 0.548302 0.922988 0.028143 0.013649 0.027057 -0.011554 0.298060 0.771689 0.430025 0.585586 0.218566 0.849315 0.347664 0.538506 0.170194 0.881279 0.285292 0.480100 0.136107 0.881279 0.235797 0.420663 1 khoa_quan_tri_kinh_doanh_va_du_lich suite25_committee_blend 5672 219 0.038611 0.550239 0.923528 0.027831 0.015178 0.027372 -0.011239 0.303351 0.785388 0.437659 0.595981 0.220917 0.858447 0.351402 0.544296 0.169312 0.876712 0.283814 0.477612 0.137518 0.890411 0.238241 0.425022 1 khoa_quan_tri_kinh_doanh_va_du_lich suite25_mlp 5672 219 0.038611 0.438300 0.914260 0.031427 0.019237 0.019374 -0.019237 0.255732 0.662100 0.368957 0.502426 0.207991 0.808219 0.330841 0.512449 0.163139 0.844749 0.273466 0.460199 0.136812 0.885845 0.237019 0.422842 1 khoa_quan_tri_kinh_doanh_va_du_lich suite25_sacr 5672 219 0.038611 0.632176 0.935489 0.025220 0.014326 0.024285 -0.014326 0.303351 0.785388 0.437659 0.595981 0.220917 0.858447 0.351402 0.544296 0.171076 0.885845 0.286770 0.482587 0.139633 0.904110 0.241906 0.431561 1 khoa_quan_tri_kinh_doanh_va_du_lich suite25_tabr 5672 219 0.038611 0.484879 0.917796 0.028586 0.017912 0.020699 -0.017912 0.280423 0.726027 0.404580 0.550936 0.203290 0.789954 0.323364 0.500869 0.168430 0.872146 0.282336 0.475124 0.138223 0.894977 0.239462 0.427201 1 khoa_quoc_te_hoc committee 2363 31 0.013119 0.070421 0.804799 0.012689 0.001499 0.012298 -0.000821 0.059322 0.451613 0.104869 0.194444 0.050847 0.580645 0.093506 0.188285 0.046512 0.709677 0.087302 0.184255 0.042301 0.806452 0.080386 0.174825 1 khoa_quoc_te_hoc suite14 2363 31 0.013119 0.136266 0.810906 0.012556 0.004186 0.013356 0.000237 0.072034 0.548387 0.127341 0.236111 0.053672 0.612903 0.098701 0.198745 0.044397 0.677419 0.083333 0.175879 0.037225 0.709677 0.070740 0.153846 1 khoa_quoc_te_hoc suite16 2363 31 0.013119 0.080492 0.857688 0.015745 0.026091 0.039210 0.026091 0.076271 0.580645 0.134831 0.250000 0.059322 0.677419 0.109091 0.219665 0.059197 0.903226 0.111111 0.234506 0.047377 0.903226 0.090032 0.195804 1 khoa_quoc_te_hoc suite17 2363 31 0.013119 0.093149 0.837174 0.012489 0.000909 0.012919 -0.000200 0.084746 0.645161 0.149813 0.277778 0.056497 0.645161 0.103896 0.209205 0.046512 0.709677 0.087302 0.184255 0.047377 0.903226 0.090032 0.195804 1 khoa_quoc_te_hoc suite18 2363 31 0.013119 0.098277 0.835929 0.012474 0.001027 0.012747 -0.000372 0.084746 0.645161 0.149813 0.277778 0.059322 0.677419 0.109091 0.219665 0.048626 0.741935 0.091270 0.192630 0.042301 0.806452 0.080386 0.174825 1 khoa_quoc_te_hoc suite20 2363 31 0.013119 0.057113 0.803097 0.025640 0.024555 0.030343 0.017224 0.042373 0.322581 0.074906 0.138889 0.045198 0.516129 0.083117 0.167364 0.042283 0.645161 0.079365 0.167504 0.035533 0.677419 0.067524 0.146853 1 khoa_quoc_te_hoc suite21 2363 31 0.013119 0.077027 0.805725 0.012681 0.002059 0.013996 0.000877 0.063559 0.483871 0.112360 0.208333 0.056497 0.645161 0.103896 0.209205 0.044397 0.677419 0.083333 0.175879 0.038917 0.741935 0.073955 0.160839 1 khoa_quoc_te_hoc suite22 2363 31 0.013119 0.084852 0.818140 0.012575 0.001647 0.013129 0.000010 0.080508 0.612903 0.142322 0.263889 0.059322 0.677419 0.109091 0.219665 0.048626 0.741935 0.091270 0.192630 0.040609 0.774194 0.077170 0.167832 1 khoa_quoc_te_hoc suite22_primary 2363 31 0.013119 0.091890 0.811542 0.012965 0.010700 0.022335 0.009217 0.067797 0.516129 0.119850 0.222222 0.050847 0.580645 0.093506 0.188285 0.040169 0.612903 0.075397 0.159129 0.033841 0.645161 0.064309 0.139860 1 khoa_quoc_te_hoc suite22_relational 2363 31 0.013119 0.062392 0.769214 0.014182 0.006064 0.015912 0.002793 0.072034 0.548387 0.127341 0.236111 0.050847 0.580645 0.093506 0.188285 0.042283 0.645161 0.079365 0.167504 0.037225 0.709677 0.070740 0.153846 1 khoa_quoc_te_hoc suite23 2363 31 0.013119 0.126171 0.859362 0.012519 0.005130 0.008664 -0.004455 0.093220 0.709677 0.164794 0.305556 0.067797 0.774194 0.124675 0.251046 0.052854 0.806452 0.099206 0.209380 0.045685 0.870968 0.086817 0.188811 1 khoa_quoc_te_hoc suite23_graph 2363 31 0.013119 0.138396 0.865753 0.012382 0.006482 0.008160 -0.004959 0.088983 0.677419 0.157303 0.291667 0.067797 0.774194 0.124675 0.251046 0.050740 0.774194 0.095238 0.201005 0.040609 0.774194 0.077170 0.167832 1 khoa_quoc_te_hoc suite24 2363 31 0.013119 0.075142 0.800628 0.012820 0.006994 0.007369 -0.005750 0.050847 0.387097 0.089888 0.166667 0.048023 0.548387 0.088312 0.177824 0.044397 0.677419 0.083333 0.175879 0.040609 0.774194 0.077170 0.167832 1 khoa_quoc_te_hoc suite24_posthoc 2363 31 0.013119 0.090232 0.821211 0.012600 0.002972 0.010826 -0.002293 0.055085 0.419355 0.097378 0.180556 0.050847 0.580645 0.093506 0.188285 0.050740 0.774194 0.095238 0.201005 0.047377 0.903226 0.090032 0.195804 1 khoa_quoc_te_hoc suite25_committee_blend 2363 31 0.013119 0.080438 0.819939 0.012634 0.002337 0.011428 -0.001691 0.076271 0.580645 0.134831 0.250000 0.059322 0.677419 0.109091 0.219665 0.046512 0.709677 0.087302 0.184255 0.043993 0.838710 0.083601 0.181818 1 khoa_quoc_te_hoc suite25_mlp 2363 31 0.013119 0.056875 0.797882 0.012833 0.006768 0.006591 -0.006528 0.063559 0.483871 0.112360 0.208333 0.050847 0.580645 0.093506 0.188285 0.040169 0.612903 0.075397 0.159129 0.033841 0.645161 0.064309 0.139860 1 khoa_quoc_te_hoc suite25_sacr 2363 31 0.013119 0.275359 0.845377 0.011390 0.004686 0.008849 -0.004270 0.063559 0.483871 0.112360 0.208333 0.048023 0.548387 0.088312 0.177824 0.044397 0.677419 0.083333 0.175879 0.038917 0.741935 0.073955 0.160839 1 khoa_quoc_te_hoc suite25_tabr 2363 31 0.013119 0.086935 0.834733 0.012666 0.005891 0.008189 -0.004929 0.067797 0.516129 0.119850 0.222222 0.059322 0.677419 0.109091 0.219665 0.044397 0.677419 0.083333 0.175879 0.037225 0.709677 0.070740 0.153846 1 khoa_tieng_anh committee 8164 148 0.018128 0.585634 0.935329 0.010839 0.009783 0.027345 0.009217 0.142157 0.783784 0.240664 0.411932 0.101224 0.837838 0.180626 0.341222 0.083282 0.918919 0.152723 0.305618 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite14 8164 148 0.018128 0.585634 0.935329 0.010839 0.009783 0.027345 0.009217 0.142157 0.783784 0.240664 0.411932 0.101224 0.837838 0.180626 0.341222 0.083282 0.918919 0.152723 0.305618 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite16 8164 148 0.018128 0.563973 0.935080 0.042991 0.073238 0.091367 0.073238 0.134804 0.743243 0.228216 0.390625 0.097143 0.804054 0.173343 0.327463 0.080220 0.885135 0.147108 0.294382 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite17 8164 148 0.018128 0.593823 0.945404 0.011560 0.014720 0.032108 0.013980 0.131127 0.722973 0.221992 0.379972 0.108571 0.898649 0.193736 0.365988 0.085119 0.939189 0.156092 0.312360 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite18 8164 148 0.018128 0.596286 0.946807 0.011537 0.014877 0.032205 0.014077 0.142157 0.783784 0.240664 0.411932 0.109388 0.905405 0.195193 0.368740 0.082670 0.912162 0.151600 0.303371 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite20 8164 148 0.018128 0.444902 0.924603 0.066536 0.099254 0.117383 0.099254 0.136029 0.750000 0.230290 0.394176 0.097959 0.810811 0.174800 0.330215 0.076546 0.844595 0.140371 0.280899 0.063694 0.878378 0.118776 0.246867 1 khoa_tieng_anh suite21 8164 148 0.018128 0.597129 0.934807 0.010850 0.010472 0.028113 0.009984 0.144608 0.797297 0.244813 0.419034 0.099592 0.824324 0.177713 0.335718 0.080220 0.885135 0.147108 0.294382 0.069084 0.952703 0.128826 0.267755 1 khoa_tieng_anh suite22 8164 148 0.018128 0.603047 0.941635 0.010240 0.007993 0.024260 0.006132 0.138480 0.763514 0.234440 0.401278 0.104490 0.864865 0.186453 0.352229 0.080833 0.891892 0.148231 0.296629 0.069084 0.952703 0.128826 0.267755 1 khoa_tieng_anh suite22_primary 8164 148 0.018128 0.612509 0.941173 0.010979 0.007779 0.019143 0.001015 0.143382 0.790541 0.242739 0.415483 0.098776 0.817568 0.176256 0.332966 0.082058 0.905405 0.150477 0.301124 0.066144 0.912162 0.123344 0.256362 1 khoa_tieng_anh suite22_relational 8164 148 0.018128 0.608846 0.934922 0.010119 0.004218 0.017594 -0.000534 0.132353 0.729730 0.224066 0.383523 0.094694 0.783784 0.168973 0.319207 0.077771 0.858108 0.142617 0.285393 0.066634 0.918919 0.124258 0.258261 1 khoa_tieng_anh suite23 8164 148 0.018128 0.636268 0.940064 0.010046 0.003044 0.016617 -0.001511 0.142157 0.783784 0.240664 0.411932 0.102857 0.851351 0.183540 0.346725 0.082058 0.905405 0.150477 0.301124 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite23_graph 8164 148 0.018128 0.587473 0.932650 0.012376 0.008161 0.009968 -0.008161 0.144608 0.797297 0.244813 0.419034 0.101224 0.837838 0.180626 0.341222 0.080833 0.891892 0.148231 0.296629 0.066144 0.912162 0.123344 0.256362 1 khoa_tieng_anh suite24 8164 148 0.018128 0.585455 0.935446 0.010317 0.002137 0.017518 -0.000610 0.143382 0.790541 0.242739 0.415483 0.102041 0.844595 0.182083 0.343974 0.082058 0.905405 0.150477 0.301124 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite24_posthoc 8164 148 0.018128 0.588349 0.938507 0.010431 0.006200 0.021966 0.003838 0.142157 0.783784 0.240664 0.411932 0.100408 0.831081 0.179170 0.338470 0.080220 0.885135 0.147108 0.294382 0.068594 0.945946 0.127912 0.265856 1 khoa_tieng_anh suite25_committee_blend 8164 148 0.018128 0.593078 0.935966 0.010431 0.007156 0.024404 0.006276 0.142157 0.783784 0.240664 0.411932 0.102857 0.851351 0.183540 0.346725 0.080833 0.891892 0.148231 0.296629 0.069084 0.952703 0.128826 0.267755 1 khoa_tieng_anh suite25_mlp 8164 148 0.018128 0.509164 0.933870 0.013775 0.008706 0.009788 -0.008341 0.133578 0.736486 0.226141 0.387074 0.101224 0.837838 0.180626 0.341222 0.082670 0.912162 0.151600 0.303371 0.067614 0.932432 0.126085 0.262058 1 khoa_tieng_anh suite25_sacr 8164 148 0.018128 0.515060 0.922447 0.012505 0.008357 0.009771 -0.008357 0.134804 0.743243 0.228216 0.390625 0.102041 0.844595 0.182083 0.343974 0.079608 0.878378 0.145985 0.292135 0.064674 0.891892 0.120603 0.250665 1 khoa_tieng_anh suite25_tabr 8164 148 0.018128 0.459116 0.889040 0.012882 0.004332 0.014488 -0.003640 0.116422 0.641892 0.197095 0.337358 0.088980 0.736486 0.158776 0.299945 0.068585 0.756757 0.125772 0.251685 0.057325 0.790541 0.106898 0.222180 1 khoa_tieng_bo_dao_nha committee 768 30 0.039062 0.314553 0.820009 0.033639 0.010775 0.028288 -0.010775 0.220779 0.566667 0.317757 0.431472 0.147826 0.566667 0.234483 0.361702 0.110390 0.566667 0.184783 0.310219 0.098958 0.633333 0.171171 0.304487 1 khoa_tieng_bo_dao_nha suite14 768 30 0.039062 0.314553 0.820009 0.033639 0.010775 0.028288 -0.010775 0.220779 0.566667 0.317757 0.431472 0.147826 0.566667 0.234483 0.361702 0.110390 0.566667 0.184783 0.310219 0.098958 0.633333 0.171171 0.304487 1 khoa_tieng_bo_dao_nha suite16 768 30 0.039062 0.404727 0.819896 0.048855 0.071608 0.110168 0.071105 0.220779 0.566667 0.317757 0.431472 0.147826 0.566667 0.234483 0.361702 0.123377 0.633333 0.206522 0.346715 0.098958 0.633333 0.171171 0.304487 1 khoa_tieng_bo_dao_nha suite17 768 30 0.039062 0.317570 0.810614 0.033542 0.011819 0.031572 -0.007491 0.168831 0.433333 0.242991 0.329949 0.165217 0.633333 0.262069 0.404255 0.123377 0.633333 0.206522 0.346715 0.098958 0.633333 0.171171 0.304487 1 khoa_tieng_bo_dao_nha suite18 768 30 0.039062 0.308444 0.807136 0.033623 0.008538 0.032087 -0.006975 0.194805 0.500000 0.280374 0.380711 0.156522 0.600000 0.248276 0.382979 0.123377 0.633333 0.206522 0.346715 0.109375 0.700000 0.189189 0.336538 1 khoa_tieng_bo_dao_nha suite20 768 30 0.039062 0.218305 0.811789 0.045179 0.037549 0.075337 0.036274 0.220779 0.566667 0.317757 0.431472 0.173913 0.666667 0.275862 0.425532 0.129870 0.666667 0.217391 0.364964 0.114583 0.733333 0.198198 0.352564 1 khoa_tieng_bo_dao_nha suite21 768 30 0.039062 0.266359 0.835908 0.033465 0.007324 0.033857 -0.005206 0.220779 0.566667 0.317757 0.431472 0.147826 0.566667 0.234483 0.361702 0.116883 0.600000 0.195652 0.328467 0.104167 0.666667 0.180180 0.320513 1 khoa_tieng_bo_dao_nha suite22 768 30 0.039062 0.281342 0.821816 0.033743 0.007427 0.031635 -0.007427 0.207792 0.533333 0.299065 0.406091 0.147826 0.566667 0.234483 0.361702 0.123377 0.633333 0.206522 0.346715 0.104167 0.666667 0.180180 0.320513 1 khoa_tieng_bo_dao_nha suite22_primary 768 30 0.039062 0.146014 0.787579 0.036689 0.017483 0.056545 0.017483 0.142857 0.366667 0.205607 0.279188 0.121739 0.466667 0.193103 0.297872 0.116883 0.600000 0.195652 0.328467 0.098958 0.633333 0.171171 0.304487 1 khoa_tieng_bo_dao_nha suite22_relational 768 30 0.039062 0.164269 0.752800 0.036745 0.031965 0.014183 -0.024880 0.155844 0.400000 0.224299 0.304569 0.139130 0.533333 0.220690 0.340426 0.110390 0.566667 0.184783 0.310219 0.098958 0.633333 0.171171 0.304487 1 khoa_tieng_bo_dao_nha suite23 768 30 0.039062 0.314553 0.820009 0.033639 0.010775 0.028288 -0.010775 0.220779 0.566667 0.317757 0.431472 0.147826 0.566667 0.234483 0.361702 0.110390 0.566667 0.184783 0.310219 0.098958 0.633333 0.171171 0.304487 1 khoa_tieng_bo_dao_nha suite23_graph 768 30 0.039062 0.187110 0.753884 0.035641 0.019687 0.019376 -0.019687 0.168831 0.433333 0.242991 0.329949 0.139130 0.533333 0.220690 0.340426 0.103896 0.533333 0.173913 0.291971 0.093750 0.600000 0.162162 0.288462 1 khoa_tieng_bo_dao_nha suite24 768 30 0.039062 0.222563 0.826197 0.035772 0.027245 0.012642 -0.026420 0.194805 0.500000 0.280374 0.380711 0.156522 0.600000 0.248276 0.382979 0.116883 0.600000 0.195652 0.328467 0.114583 0.733333 0.198198 0.352564 1 khoa_tieng_bo_dao_nha suite24_posthoc 768 30 0.039062 0.270155 0.817977 0.034822 0.019025 0.020038 -0.019025 0.168831 0.433333 0.242991 0.329949 0.147826 0.566667 0.234483 0.361702 0.123377 0.633333 0.206522 0.346715 0.109375 0.700000 0.189189 0.336538 1 khoa_tieng_bo_dao_nha suite25_committee_blend 768 30 0.039062 0.330194 0.829359 0.033526 0.013447 0.025616 -0.013447 0.220779 0.566667 0.317757 0.431472 0.147826 0.566667 0.234483 0.361702 0.123377 0.633333 0.206522 0.346715 0.104167 0.666667 0.180180 0.320513 1 khoa_tieng_bo_dao_nha suite25_mlp 768 30 0.039062 0.171491 0.811156 0.036970 0.029359 0.013041 -0.026021 0.207792 0.533333 0.299065 0.406091 0.156522 0.600000 0.248276 0.382979 0.123377 0.633333 0.206522 0.346715 0.114583 0.733333 0.198198 0.352564 1 khoa_tieng_bo_dao_nha suite25_sacr 768 30 0.039062 0.264887 0.811743 0.033607 0.021799 0.018406 -0.020656 0.246753 0.633333 0.355140 0.482234 0.173913 0.666667 0.275862 0.425532 0.142857 0.733333 0.239130 0.401460 0.119792 0.766667 0.207207 0.368590 1 khoa_tieng_bo_dao_nha suite25_tabr 768 30 0.039062 0.186843 0.830172 0.036189 0.023625 0.015614 -0.023449 0.168831 0.433333 0.242991 0.329949 0.139130 0.533333 0.220690 0.340426 0.116883 0.600000 0.195652 0.328467 0.114583 0.733333 0.198198 0.352564 1 khoa_tieng_duc committee 1900 46 0.024211 0.262205 0.866341 0.021155 0.007888 0.016322 -0.007888 0.178947 0.739130 0.288136 0.454545 0.122807 0.760870 0.211480 0.373134 0.092105 0.760870 0.164319 0.310284 0.073684 0.760870 0.134357 0.265554 1 khoa_tieng_duc suite14 1900 46 0.024211 0.262205 0.866341 0.021155 0.007888 0.016322 -0.007888 0.178947 0.739130 0.288136 0.454545 0.122807 0.760870 0.211480 0.373134 0.092105 0.760870 0.164319 0.310284 0.073684 0.760870 0.134357 0.265554 1 khoa_tieng_duc suite16 1900 46 0.024211 0.222958 0.872708 0.026407 0.037269 0.061479 0.037269 0.168421 0.695652 0.271186 0.427807 0.122807 0.760870 0.211480 0.373134 0.092105 0.760870 0.164319 0.310284 0.080000 0.826087 0.145873 0.288316 1 khoa_tieng_duc suite17 1900 46 0.024211 0.262291 0.884762 0.020845 0.006354 0.017857 -0.006354 0.173684 0.717391 0.279661 0.441176 0.122807 0.760870 0.211480 0.373134 0.100000 0.826087 0.178404 0.336879 0.084211 0.869565 0.153551 0.303490 1 khoa_tieng_duc suite18 1900 46 0.024211 0.259268 0.877668 0.020892 0.006573 0.017638 -0.006573 0.178947 0.739130 0.288136 0.454545 0.122807 0.760870 0.211480 0.373134 0.092105 0.760870 0.164319 0.310284 0.073684 0.760870 0.134357 0.265554 1 khoa_tieng_duc suite20 1900 46 0.024211 0.196697 0.863140 0.052895 0.066602 0.090812 0.066602 0.142105 0.586957 0.228814 0.360963 0.115789 0.717391 0.199396 0.351812 0.092105 0.760870 0.164319 0.310284 0.075789 0.782609 0.138196 0.273141 1 khoa_tieng_duc suite21 1900 46 0.024211 0.260797 0.883577 0.021018 0.007140 0.018131 -0.006079 0.168421 0.695652 0.271186 0.427807 0.119298 0.739130 0.205438 0.362473 0.097368 0.804348 0.173709 0.328014 0.082105 0.847826 0.149712 0.295903 1 khoa_tieng_duc suite22 1900 46 0.024211 0.251881 0.883683 0.021093 0.005769 0.018441 -0.005769 0.163158 0.673913 0.262712 0.414439 0.122807 0.760870 0.211480 0.373134 0.094737 0.782609 0.169014 0.319149 0.080000 0.826087 0.145873 0.288316 1 khoa_tieng_duc suite22_primary 1900 46 0.024211 0.145951 0.858156 0.022329 0.012476 0.035129 0.010919 0.121053 0.500000 0.194915 0.307487 0.108772 0.673913 0.187311 0.330490 0.092105 0.760870 0.164319 0.310284 0.073684 0.760870 0.134357 0.265554 1 khoa_tieng_duc suite22_relational 1900 46 0.024211 0.132936 0.832395 0.022656 0.014204 0.011180 -0.013031 0.110526 0.456522 0.177966 0.280749 0.105263 0.652174 0.181269 0.319829 0.100000 0.826087 0.178404 0.336879 0.082105 0.847826 0.149712 0.295903 1 khoa_tieng_duc suite23 1900 46 0.024211 0.242981 0.874173 0.021643 0.010992 0.013219 -0.010992 0.163158 0.673913 0.262712 0.414439 0.133333 0.826087 0.229607 0.405117 0.102632 0.847826 0.183099 0.345745 0.082105 0.847826 0.149712 0.295903 1 khoa_tieng_duc suite23_graph 1900 46 0.024211 0.166678 0.836863 0.022171 0.011465 0.013687 -0.010523 0.136842 0.565217 0.220339 0.347594 0.115789 0.717391 0.199396 0.351812 0.100000 0.826087 0.178404 0.336879 0.082105 0.847826 0.149712 0.295903 1 khoa_tieng_duc suite24 1900 46 0.024211 0.214684 0.876436 0.022289 0.015590 0.008979 -0.015232 0.157895 0.652174 0.254237 0.401070 0.119298 0.739130 0.205438 0.362473 0.097368 0.804348 0.173709 0.328014 0.082105 0.847826 0.149712 0.295903 1 khoa_tieng_duc suite24_posthoc 1900 46 0.024211 0.235735 0.887822 0.021937 0.012699 0.011511 -0.012699 0.163158 0.673913 0.262712 0.414439 0.126316 0.782609 0.217523 0.383795 0.097368 0.804348 0.173709 0.328014 0.080000 0.826087 0.145873 0.288316 1 khoa_tieng_duc suite25_committee_blend 1900 46 0.024211 0.256557 0.877363 0.021426 0.010063 0.014147 -0.010063 0.178947 0.739130 0.288136 0.454545 0.122807 0.760870 0.211480 0.373134 0.092105 0.760870 0.164319 0.310284 0.077895 0.804348 0.142035 0.280728 1 khoa_tieng_duc suite25_mlp 1900 46 0.024211 0.164179 0.860337 0.022947 0.016816 0.007394 -0.016816 0.110526 0.456522 0.177966 0.280749 0.101754 0.630435 0.175227 0.309168 0.089474 0.739130 0.159624 0.301418 0.075789 0.782609 0.138196 0.273141 1 khoa_tieng_duc suite25_sacr 1900 46 0.024211 0.158605 0.852036 0.022803 0.018302 0.006612 -0.017599 0.100000 0.413043 0.161017 0.254011 0.094737 0.586957 0.163142 0.287846 0.089474 0.739130 0.159624 0.301418 0.075789 0.782609 0.138196 0.273141 1 khoa_tieng_duc suite25_tabr 1900 46 0.024211 0.128902 0.798473 0.023151 0.017396 0.006879 -0.017331 0.105263 0.434783 0.169492 0.267380 0.087719 0.543478 0.151057 0.266525 0.065789 0.543478 0.117371 0.221631 0.054737 0.565217 0.099808 0.197269 1 khoa_tieng_han_quoc committee 2904 20 0.006887 0.054434 0.847911 0.006740 0.004092 0.003509 -0.003378 0.031034 0.450000 0.058065 0.121622 0.029817 0.650000 0.057018 0.125969 0.027539 0.800000 0.053245 0.121029 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite14 2904 20 0.006887 0.054434 0.847911 0.006740 0.004092 0.003509 -0.003378 0.031034 0.450000 0.058065 0.121622 0.029817 0.650000 0.057018 0.125969 0.027539 0.800000 0.053245 0.121029 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite16 2904 20 0.006887 0.050131 0.813428 0.008840 0.010221 0.014437 0.007550 0.034483 0.500000 0.064516 0.135135 0.027523 0.600000 0.052632 0.116279 0.025818 0.750000 0.049917 0.113464 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite17 2904 20 0.006887 0.056916 0.850763 0.006751 0.002635 0.004538 -0.002349 0.031034 0.450000 0.058065 0.121622 0.034404 0.750000 0.065789 0.145349 0.027539 0.800000 0.053245 0.121029 0.023416 0.850000 0.045576 0.105459 1 khoa_tieng_han_quoc suite18 2904 20 0.006887 0.053584 0.840751 0.006763 0.002700 0.004474 -0.002413 0.031034 0.450000 0.058065 0.121622 0.034404 0.750000 0.065789 0.145349 0.027539 0.800000 0.053245 0.121029 0.023416 0.850000 0.045576 0.105459 1 khoa_tieng_han_quoc suite20 2904 20 0.006887 0.030231 0.865257 0.033917 0.040344 0.047231 0.040344 0.034483 0.500000 0.064516 0.135135 0.027523 0.600000 0.052632 0.116279 0.027539 0.800000 0.053245 0.121029 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite21 2904 20 0.006887 0.055603 0.850468 0.006730 0.004347 0.003223 -0.003664 0.031034 0.450000 0.058065 0.121622 0.032110 0.700000 0.061404 0.135659 0.025818 0.750000 0.049917 0.113464 0.023416 0.850000 0.045576 0.105459 1 khoa_tieng_han_quoc suite22 2904 20 0.006887 0.060096 0.857732 0.006711 0.004179 0.003420 -0.003467 0.034483 0.500000 0.064516 0.135135 0.032110 0.700000 0.061404 0.135659 0.025818 0.750000 0.049917 0.113464 0.023416 0.850000 0.045576 0.105459 1 khoa_tieng_han_quoc suite22_primary 2904 20 0.006887 0.073684 0.875399 0.006685 0.002708 0.004742 -0.002145 0.037931 0.550000 0.070968 0.148649 0.036697 0.800000 0.070175 0.155039 0.027539 0.800000 0.053245 0.121029 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite22_relational 2904 20 0.006887 0.051553 0.879022 0.006832 0.005079 0.002988 -0.003899 0.034483 0.500000 0.064516 0.135135 0.032110 0.700000 0.061404 0.135659 0.025818 0.750000 0.049917 0.113464 0.023416 0.850000 0.045576 0.105459 1 khoa_tieng_han_quoc suite23 2904 20 0.006887 0.056485 0.851404 0.006740 0.004065 0.003212 -0.003676 0.034483 0.500000 0.064516 0.135135 0.032110 0.700000 0.061404 0.135659 0.025818 0.750000 0.049917 0.113464 0.020661 0.750000 0.040214 0.093052 1 khoa_tieng_han_quoc suite23_graph 2904 20 0.006887 0.045593 0.820319 0.006935 0.004578 0.004445 -0.002442 0.034483 0.500000 0.064516 0.135135 0.029817 0.650000 0.057018 0.125969 0.025818 0.750000 0.049917 0.113464 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite24 2904 20 0.006887 0.049279 0.843464 0.006787 0.005340 0.001819 -0.005068 0.034483 0.500000 0.064516 0.135135 0.032110 0.700000 0.061404 0.135659 0.024096 0.700000 0.046589 0.105900 0.020661 0.750000 0.040214 0.093052 1 khoa_tieng_han_quoc suite24_posthoc 2904 20 0.006887 0.051767 0.843100 0.006753 0.004379 0.002681 -0.004206 0.034483 0.500000 0.064516 0.135135 0.029817 0.650000 0.057018 0.125969 0.024096 0.700000 0.046589 0.105900 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite25_committee_blend 2904 20 0.006887 0.057421 0.851699 0.006737 0.004477 0.002921 -0.003966 0.034483 0.500000 0.064516 0.135135 0.032110 0.700000 0.061404 0.135659 0.027539 0.800000 0.053245 0.121029 0.022039 0.800000 0.042895 0.099256 1 khoa_tieng_han_quoc suite25_mlp 2904 20 0.006887 0.032923 0.752549 0.006826 0.004843 0.002044 -0.004843 0.037931 0.550000 0.070968 0.148649 0.029817 0.650000 0.057018 0.125969 0.024096 0.700000 0.046589 0.105900 0.020661 0.750000 0.040214 0.093052 1 khoa_tieng_han_quoc suite25_sacr 2904 20 0.006887 0.110430 0.873838 0.006662 0.005588 0.001494 -0.005393 0.041379 0.600000 0.077419 0.162162 0.029817 0.650000 0.057018 0.125969 0.025818 0.750000 0.049917 0.113464 0.023416 0.850000 0.045576 0.105459 1 khoa_tieng_han_quoc suite25_tabr 2904 20 0.006887 0.063434 0.761789 0.006789 0.004975 0.001912 -0.004975 0.037931 0.550000 0.070968 0.148649 0.025229 0.550000 0.048246 0.106589 0.018933 0.550000 0.036606 0.083207 0.015152 0.550000 0.029491 0.068238 1 khoa_tieng_italia committee 2166 111 0.051247 0.259779 0.766770 0.045673 0.022167 0.029080 -0.022167 0.225806 0.441441 0.298780 0.370651 0.160000 0.468468 0.238532 0.338101 0.138568 0.540541 0.220588 0.342075 0.123616 0.603604 0.205207 0.339757 1 khoa_tieng_italia suite14 2166 111 0.051247 0.259779 0.766770 0.045673 0.022167 0.029080 -0.022167 0.225806 0.441441 0.298780 0.370651 0.160000 0.468468 0.238532 0.338101 0.138568 0.540541 0.220588 0.342075 0.123616 0.603604 0.205207 0.339757 1 khoa_tieng_italia suite16 2166 111 0.051247 0.289203 0.807010 0.053068 0.065406 0.116652 0.065406 0.230415 0.450450 0.304878 0.378215 0.190769 0.558559 0.284404 0.403121 0.152425 0.594595 0.242647 0.376283 0.136531 0.666667 0.226646 0.375254 1 khoa_tieng_italia suite17 2166 111 0.051247 0.263282 0.786682 0.045246 0.020825 0.030422 -0.020825 0.225806 0.441441 0.298780 0.370651 0.175385 0.513514 0.261468 0.370611 0.152425 0.594595 0.242647 0.376283 0.132841 0.648649 0.220521 0.365112 1 khoa_tieng_italia suite18 2166 111 0.051247 0.260884 0.781285 0.045371 0.020907 0.030339 -0.020907 0.221198 0.432432 0.292683 0.363086 0.193846 0.567568 0.288991 0.409623 0.157044 0.612613 0.250000 0.387685 0.127306 0.621622 0.211332 0.349899 1 khoa_tieng_italia suite20 2166 111 0.051247 0.202054 0.816703 0.073737 0.067929 0.114586 0.063339 0.170507 0.333333 0.225610 0.279879 0.141538 0.414414 0.211009 0.299090 0.136259 0.531532 0.216912 0.336374 0.130996 0.639640 0.217458 0.360041 1 khoa_tieng_italia suite21 2166 111 0.051247 0.286900 0.780965 0.044292 0.019532 0.031715 -0.019532 0.225806 0.441441 0.298780 0.370651 0.178462 0.522523 0.266055 0.377113 0.143187 0.558559 0.227941 0.353478 0.129151 0.630631 0.214395 0.354970 1 khoa_tieng_italia suite22 2166 111 0.051247 0.288870 0.819057 0.044874 0.021910 0.029337 -0.021910 0.225806 0.441441 0.298780 0.370651 0.196923 0.576577 0.293578 0.416125 0.161663 0.630631 0.257353 0.399088 0.138376 0.675676 0.229709 0.380325 1 khoa_tieng_italia suite22_primary 2166 111 0.051247 0.266221 0.874523 0.042625 0.013116 0.038131 -0.013116 0.271889 0.531532 0.359756 0.446293 0.233846 0.684685 0.348624 0.494148 0.187067 0.729730 0.297794 0.461802 0.160517 0.783784 0.266462 0.441176 1 khoa_tieng_italia suite22_relational 2166 111 0.051247 0.265822 0.820473 0.044241 0.030076 0.022514 -0.028733 0.267281 0.522523 0.353659 0.438729 0.203077 0.594595 0.302752 0.429129 0.163972 0.639640 0.261029 0.404789 0.132841 0.648649 0.220521 0.365112 1 khoa_tieng_italia suite23 2166 111 0.051247 0.264571 0.813915 0.046651 0.034871 0.016376 -0.034871 0.221198 0.432432 0.292683 0.363086 0.187692 0.549550 0.279817 0.396619 0.168591 0.657658 0.268382 0.416192 0.149446 0.729730 0.248086 0.410751 1 khoa_tieng_italia suite23_graph 2166 111 0.051247 0.223334 0.797611 0.047383 0.039152 0.012374 -0.038872 0.230415 0.450450 0.304878 0.378215 0.181538 0.531532 0.270642 0.383615 0.150115 0.585586 0.238971 0.370582 0.138376 0.675676 0.229709 0.380325 1 khoa_tieng_italia suite24 2166 111 0.051247 0.239605 0.773429 0.047732 0.039226 0.012507 -0.038740 0.216590 0.423423 0.286585 0.355522 0.178462 0.522523 0.266055 0.377113 0.143187 0.558559 0.227941 0.353478 0.119926 0.585586 0.199081 0.329615 1 khoa_tieng_italia suite24_posthoc 2166 111 0.051247 0.263450 0.789290 0.046489 0.030540 0.020707 -0.030540 0.216590 0.423423 0.286585 0.355522 0.175385 0.513514 0.261468 0.370611 0.154734 0.603604 0.246324 0.381984 0.130996 0.639640 0.217458 0.360041 1 khoa_tieng_italia suite25_committee_blend 2166 111 0.051247 0.283761 0.785152 0.045927 0.026810 0.024436 -0.026810 0.225806 0.441441 0.298780 0.370651 0.172308 0.504505 0.256881 0.364109 0.145497 0.567568 0.231618 0.359179 0.130996 0.639640 0.217458 0.360041 1 khoa_tieng_italia suite25_mlp 2166 111 0.051247 0.234447 0.803963 0.046103 0.035237 0.016009 -0.035237 0.221198 0.432432 0.292683 0.363086 0.209231 0.612613 0.311927 0.442133 0.163972 0.639640 0.261029 0.404789 0.132841 0.648649 0.220521 0.365112 1 khoa_tieng_italia suite25_sacr 2166 111 0.051247 0.248960 0.853103 0.048375 0.043860 0.008656 -0.042591 0.248848 0.486486 0.329268 0.408472 0.187692 0.549550 0.279817 0.396619 0.159353 0.621622 0.253676 0.393387 0.149446 0.729730 0.248086 0.410751 1 khoa_tieng_italia suite25_tabr 2166 111 0.051247 0.204746 0.828653 0.046758 0.035812 0.018119 -0.033128 0.184332 0.360360 0.243902 0.302572 0.178462 0.522523 0.266055 0.377113 0.163972 0.639640 0.261029 0.404789 0.142066 0.693694 0.235835 0.390467 1 khoa_tieng_nga committee 1588 102 0.064232 0.347619 0.807359 0.053203 0.028689 0.035543 -0.028689 0.320755 0.500000 0.390805 0.449735 0.222689 0.519608 0.311765 0.410217 0.188679 0.588235 0.285714 0.413223 0.161209 0.627451 0.256513 0.397516 1 khoa_tieng_nga suite14 1588 102 0.064232 0.350810 0.826373 0.052277 0.027242 0.037558 -0.026674 0.320755 0.500000 0.390805 0.449735 0.247899 0.578431 0.347059 0.456656 0.204403 0.637255 0.309524 0.447658 0.176322 0.686275 0.280561 0.434783 1 khoa_tieng_nga suite16 1588 102 0.064232 0.319234 0.779326 0.064654 0.064976 0.128859 0.064627 0.308176 0.480392 0.375479 0.432099 0.231092 0.539216 0.323529 0.425697 0.185535 0.578431 0.280952 0.406336 0.148615 0.578431 0.236473 0.366460 1 khoa_tieng_nga suite17 1588 102 0.064232 0.352796 0.782730 0.054630 0.029405 0.034827 -0.029405 0.320755 0.500000 0.390805 0.449735 0.218487 0.509804 0.305882 0.402477 0.172956 0.539216 0.261905 0.378788 0.148615 0.578431 0.236473 0.366460 1 khoa_tieng_nga suite18 1588 102 0.064232 0.351772 0.780362 0.054648 0.029455 0.034777 -0.029455 0.308176 0.480392 0.375479 0.432099 0.218487 0.509804 0.305882 0.402477 0.179245 0.558824 0.271429 0.392562 0.148615 0.578431 0.236473 0.366460 1 khoa_tieng_nga suite20 1588 102 0.064232 0.318589 0.808230 0.071203 0.062132 0.091944 0.027712 0.301887 0.470588 0.367816 0.423280 0.247899 0.578431 0.347059 0.456656 0.210692 0.656863 0.319048 0.461433 0.176322 0.686275 0.280561 0.434783 1 khoa_tieng_nga suite21 1588 102 0.064232 0.354472 0.830279 0.052158 0.026033 0.038428 -0.025804 0.327044 0.509804 0.398467 0.458554 0.239496 0.558824 0.335294 0.441176 0.201258 0.627451 0.304762 0.440771 0.183879 0.715686 0.292585 0.453416 1 khoa_tieng_nga suite22 1588 102 0.064232 0.349892 0.818192 0.052607 0.022914 0.041318 -0.022914 0.320755 0.500000 0.390805 0.449735 0.239496 0.558824 0.335294 0.441176 0.194969 0.607843 0.295238 0.426997 0.173804 0.676471 0.276553 0.428571 1 khoa_tieng_nga suite22_primary 1588 102 0.064232 0.270463 0.791683 0.054491 0.014410 0.075483 0.011252 0.245283 0.382353 0.298851 0.343915 0.226891 0.529412 0.317647 0.417957 0.204403 0.637255 0.309524 0.447658 0.178841 0.696078 0.284569 0.440994 1 khoa_tieng_nga suite22_relational 1588 102 0.064232 0.218604 0.755674 0.061229 0.048256 0.043331 -0.020901 0.220126 0.343137 0.268199 0.308642 0.210084 0.490196 0.294118 0.386997 0.182390 0.568627 0.276190 0.399449 0.166247 0.647059 0.264529 0.409938 1 khoa_tieng_nga suite23 1588 102 0.064232 0.383897 0.857315 0.055997 0.041410 0.022822 -0.041410 0.327044 0.509804 0.398467 0.458554 0.264706 0.617647 0.370588 0.487616 0.229560 0.715686 0.347619 0.502755 0.191436 0.745098 0.304609 0.472050 1 khoa_tieng_nga suite23_graph 1588 102 0.064232 0.314046 0.820587 0.057552 0.045890 0.018342 -0.045890 0.270440 0.421569 0.329502 0.379189 0.218487 0.509804 0.305882 0.402477 0.182390 0.568627 0.276190 0.399449 0.178841 0.696078 0.284569 0.440994 1 khoa_tieng_nga suite24 1588 102 0.064232 0.360795 0.801395 0.054824 0.044934 0.019775 -0.044457 0.339623 0.529412 0.413793 0.476190 0.247899 0.578431 0.347059 0.456656 0.191824 0.598039 0.290476 0.420110 0.158690 0.617647 0.252505 0.391304 1 khoa_tieng_nga suite24_posthoc 1588 102 0.064232 0.339840 0.812742 0.054927 0.036976 0.027256 -0.036976 0.320755 0.500000 0.390805 0.449735 0.243697 0.568627 0.341176 0.448916 0.198113 0.617647 0.300000 0.433884 0.173804 0.676471 0.276553 0.428571 1 khoa_tieng_nga suite25_committee_blend 1588 102 0.064232 0.366195 0.825245 0.053565 0.033391 0.030840 -0.033391 0.320755 0.500000 0.390805 0.449735 0.239496 0.558824 0.335294 0.441176 0.198113 0.617647 0.300000 0.433884 0.176322 0.686275 0.280561 0.434783 1 khoa_tieng_nga suite25_mlp 1588 102 0.064232 0.259498 0.797595 0.058556 0.047153 0.017079 -0.047153 0.264151 0.411765 0.321839 0.370370 0.247899 0.578431 0.347059 0.456656 0.191824 0.598039 0.290476 0.420110 0.168766 0.656863 0.268537 0.416149 1 khoa_tieng_nga suite25_sacr 1588 102 0.064232 0.344673 0.853660 0.057654 0.052821 0.015152 -0.049080 0.358491 0.558824 0.436782 0.502646 0.294118 0.686275 0.411765 0.541796 0.235849 0.735294 0.357143 0.516529 0.196474 0.764706 0.312625 0.484472 1 khoa_tieng_nga suite25_tabr 1588 102 0.064232 0.233004 0.799448 0.059758 0.051004 0.014922 -0.049310 0.289308 0.450980 0.352490 0.405644 0.243697 0.568627 0.341176 0.448916 0.204403 0.637255 0.309524 0.447658 0.171285 0.666667 0.272545 0.422360 1 khoa_tieng_nhat committee 2840 17 0.005986 0.502424 0.930070 0.005352 0.008406 0.009915 0.003930 0.045775 0.764706 0.086379 0.184659 0.030516 0.764706 0.058691 0.131579 0.024648 0.823529 0.047863 0.110063 0.022535 0.941176 0.044017 0.102828 1 khoa_tieng_nhat suite14 2840 17 0.005986 0.522380 0.930070 0.004647 0.007362 0.009417 0.003431 0.045775 0.764706 0.086379 0.184659 0.030516 0.764706 0.058691 0.131579 0.024648 0.823529 0.047863 0.110063 0.022535 0.941176 0.044017 0.102828 1 khoa_tieng_nhat suite16 2840 17 0.005986 0.491383 0.955367 0.005981 0.020683 0.025610 0.019624 0.045775 0.764706 0.086379 0.184659 0.032864 0.823529 0.063205 0.141700 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite17 2840 17 0.005986 0.546766 0.958742 0.004743 0.009625 0.011514 0.005529 0.045775 0.764706 0.086379 0.184659 0.037559 0.941176 0.072235 0.161943 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite18 2840 17 0.005986 0.559295 0.948282 0.004763 0.009291 0.011549 0.005563 0.045775 0.764706 0.086379 0.184659 0.030516 0.764706 0.058691 0.131579 0.024648 0.823529 0.047863 0.110063 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite20 2840 17 0.005986 0.109582 0.945031 0.015798 0.031215 0.037201 0.031215 0.045775 0.764706 0.086379 0.184659 0.037559 0.941176 0.072235 0.161943 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite21 2840 17 0.005986 0.476964 0.938113 0.005075 0.007320 0.008458 0.002472 0.045775 0.764706 0.086379 0.184659 0.030516 0.764706 0.058691 0.131579 0.024648 0.823529 0.047863 0.110063 0.022535 0.941176 0.044017 0.102828 1 khoa_tieng_nhat suite22 2840 17 0.005986 0.549821 0.960451 0.005156 0.005783 0.007199 0.001213 0.045775 0.764706 0.086379 0.184659 0.035211 0.882353 0.067720 0.151822 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite22_primary 2840 17 0.005986 0.582929 0.988144 0.004938 0.002864 0.004405 -0.001581 0.059859 1.000000 0.112957 0.241477 0.039906 1.000000 0.076749 0.172065 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite22_relational 2840 17 0.005986 0.334455 0.988394 0.005187 0.003658 0.002328 -0.003658 0.059859 1.000000 0.112957 0.241477 0.039906 1.000000 0.076749 0.172065 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite23 2840 17 0.005986 0.467998 0.964243 0.005213 0.003021 0.005109 -0.000877 0.045775 0.764706 0.086379 0.184659 0.037559 0.941176 0.072235 0.161943 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite23_graph 2840 17 0.005986 0.218868 0.965598 0.005295 0.001979 0.004302 -0.001684 0.049296 0.823529 0.093023 0.198864 0.037559 0.941176 0.072235 0.161943 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite24 2840 17 0.005986 0.100840 0.912692 0.005680 0.001340 0.004932 -0.001054 0.045775 0.764706 0.086379 0.184659 0.030516 0.764706 0.058691 0.131579 0.022887 0.764706 0.044444 0.102201 0.019718 0.823529 0.038514 0.089974 1 khoa_tieng_nhat suite24_posthoc 2840 17 0.005986 0.426482 0.935550 0.005464 0.001371 0.005488 -0.000498 0.045775 0.764706 0.086379 0.184659 0.030516 0.764706 0.058691 0.131579 0.024648 0.823529 0.047863 0.110063 0.022535 0.941176 0.044017 0.102828 1 khoa_tieng_nhat suite25_committee_blend 2840 17 0.005986 0.509561 0.937280 0.005338 0.006584 0.007863 0.001877 0.045775 0.764706 0.086379 0.184659 0.030516 0.764706 0.058691 0.131579 0.024648 0.823529 0.047863 0.110063 0.022535 0.941176 0.044017 0.102828 1 khoa_tieng_nhat suite25_mlp 2840 17 0.005986 0.450489 0.949678 0.005469 0.003378 0.002678 -0.003307 0.049296 0.823529 0.093023 0.198864 0.032864 0.823529 0.063205 0.141700 0.026408 0.882353 0.051282 0.117925 0.022535 0.941176 0.044017 0.102828 1 khoa_tieng_nhat suite25_sacr 2840 17 0.005986 0.306292 0.964410 0.005691 0.004312 0.001674 -0.004312 0.045775 0.764706 0.086379 0.184659 0.037559 0.941176 0.072235 0.161943 0.029930 1.000000 0.058120 0.133648 0.023944 1.000000 0.046768 0.109254 1 khoa_tieng_nhat suite25_tabr 2840 17 0.005986 0.105089 0.872643 0.005805 0.003794 0.003828 -0.002158 0.035211 0.588235 0.066445 0.142045 0.023474 0.588235 0.045147 0.101215 0.019366 0.647059 0.037607 0.086478 0.016901 0.705882 0.033012 0.077121 1 khoa_tieng_phap committee 2606 42 0.016117 0.227874 0.805782 0.014443 0.006611 0.015430 -0.000687 0.084291 0.523810 0.145215 0.256410 0.056266 0.523810 0.101617 0.196780 0.046065 0.571429 0.085258 0.174165 0.046012 0.714286 0.086455 0.182927 1 khoa_tieng_phap suite14 2606 42 0.016117 0.227874 0.805782 0.014443 0.006611 0.015430 -0.000687 0.084291 0.523810 0.145215 0.256410 0.056266 0.523810 0.101617 0.196780 0.046065 0.571429 0.085258 0.174165 0.046012 0.714286 0.086455 0.182927 1 khoa_tieng_phap suite16 2606 42 0.016117 0.268082 0.882754 0.016904 0.030413 0.046409 0.030292 0.103448 0.642857 0.178218 0.314685 0.079284 0.738095 0.143187 0.277281 0.067179 0.833333 0.124334 0.253991 0.053681 0.833333 0.100865 0.213415 1 khoa_tieng_phap suite17 2606 42 0.016117 0.286070 0.872948 0.013610 0.008520 0.017314 0.001198 0.118774 0.738095 0.204620 0.361305 0.084399 0.785714 0.152425 0.295170 0.065259 0.809524 0.120782 0.246734 0.053681 0.833333 0.100865 0.213415 1 khoa_tieng_phap suite18 2606 42 0.016117 0.282690 0.873756 0.013633 0.008540 0.017308 0.001191 0.122605 0.761905 0.211221 0.372960 0.086957 0.809524 0.157044 0.304114 0.067179 0.833333 0.124334 0.253991 0.053681 0.833333 0.100865 0.213415 1 khoa_tieng_phap suite20 2606 42 0.016117 0.215400 0.905774 0.028997 0.029986 0.045580 0.029463 0.130268 0.809524 0.224422 0.396270 0.086957 0.809524 0.157044 0.304114 0.067179 0.833333 0.124334 0.253991 0.053681 0.833333 0.100865 0.213415 1 khoa_tieng_phap suite21 2606 42 0.016117 0.228023 0.825821 0.014085 0.005846 0.015713 -0.000404 0.088123 0.547619 0.151815 0.268065 0.061381 0.571429 0.110855 0.214669 0.051823 0.642857 0.095915 0.195936 0.050613 0.785714 0.095101 0.201220 1 khoa_tieng_phap suite22 2606 42 0.016117 0.266202 0.856149 0.014010 0.004107 0.014791 -0.001326 0.091954 0.571429 0.158416 0.279720 0.076726 0.714286 0.138568 0.268336 0.063340 0.785714 0.117229 0.239478 0.053681 0.833333 0.100865 0.213415 1 khoa_tieng_phap suite22_primary 2606 42 0.016117 0.279346 0.900045 0.013498 0.009214 0.021640 0.005524 0.095785 0.595238 0.165017 0.291375 0.074169 0.690476 0.133949 0.259392 0.061420 0.761905 0.113677 0.232221 0.059816 0.928571 0.112392 0.237805 1 khoa_tieng_phap suite22_relational 2606 42 0.016117 0.304659 0.924885 0.013642 0.011021 0.007141 -0.008975 0.099617 0.619048 0.171617 0.303030 0.089514 0.833333 0.161663 0.313059 0.074856 0.928571 0.138544 0.283019 0.061350 0.952381 0.115274 0.243902 1 khoa_tieng_phap suite23 2606 42 0.016117 0.227874 0.805782 0.014443 0.006611 0.015430 -0.000687 0.084291 0.523810 0.145215 0.256410 0.056266 0.523810 0.101617 0.196780 0.046065 0.571429 0.085258 0.174165 0.046012 0.714286 0.086455 0.182927 1 khoa_tieng_phap suite23_graph 2606 42 0.016117 0.230287 0.877823 0.014431 0.008986 0.007131 -0.008986 0.091954 0.571429 0.158416 0.279720 0.069054 0.642857 0.124711 0.241503 0.055662 0.690476 0.103020 0.210450 0.053681 0.833333 0.100865 0.213415 1 khoa_tieng_phap suite24 2606 42 0.016117 0.241783 0.810155 0.014275 0.008306 0.009067 -0.007050 0.088123 0.547619 0.151815 0.268065 0.058824 0.547619 0.106236 0.205725 0.047985 0.595238 0.088810 0.181422 0.041411 0.642857 0.077810 0.164634 1 khoa_tieng_phap suite24_posthoc 2606 42 0.016117 0.246261 0.835516 0.014224 0.005802 0.010731 -0.005386 0.088123 0.547619 0.151815 0.268065 0.071611 0.666667 0.129330 0.250447 0.057582 0.714286 0.106572 0.217707 0.049080 0.761905 0.092219 0.195122 1 khoa_tieng_phap suite25_committee_blend 2606 42 0.016117 0.248599 0.818123 0.014459 0.003541 0.012575 -0.003541 0.084291 0.523810 0.145215 0.256410 0.061381 0.571429 0.110855 0.214669 0.051823 0.642857 0.095915 0.195936 0.047546 0.738095 0.089337 0.189024 1 khoa_tieng_phap suite25_mlp 2606 42 0.016117 0.311259 0.938299 0.014369 0.011258 0.005555 -0.010561 0.126437 0.785714 0.217822 0.384615 0.089514 0.833333 0.161663 0.313059 0.071017 0.880952 0.131439 0.268505 0.062883 0.976190 0.118156 0.250000 1 khoa_tieng_phap suite25_sacr 2606 42 0.016117 0.257423 0.905960 0.015211 0.013359 0.003374 -0.012743 0.095785 0.595238 0.165017 0.291375 0.076726 0.714286 0.138568 0.268336 0.061420 0.761905 0.113677 0.232221 0.055215 0.857143 0.103746 0.219512 1 khoa_tieng_phap suite25_tabr 2606 42 0.016117 0.265072 0.920660 0.014326 0.009819 0.006406 -0.009710 0.095785 0.595238 0.165017 0.291375 0.076726 0.714286 0.138568 0.268336 0.067179 0.833333 0.124334 0.253991 0.062883 0.976190 0.118156 0.250000 ================================================================================================================================================================================ SUITE25 TARGET FOLD 2 ================================================================================================================================================================================ [DATA] history=286,472 fail=5,528 (1.93%) train=170,825 validation=115,647 target=42,122 fail=933 (2.21%) ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_mlp] [SELECT MLP] epoch=01/10 loss=0.10939 BCE=0.08036 rank=0.29033 macroAP=0.1904 F2@20=0.2598 Brier=0.0231 best=01 [SELECT MLP] epoch=02/10 loss=0.08677 BCE=0.06649 rank=0.20276 macroAP=0.1582 F2@20=0.2651 Brier=0.0238 best=01 [SELECT MLP] epoch=03/10 loss=0.07421 BCE=0.05904 rank=0.15171 macroAP=0.1860 F2@20=0.2622 Brier=0.0242 best=01 [SELECT MLP] epoch=04/10 loss=0.06632 BCE=0.05362 rank=0.12695 macroAP=0.1811 F2@20=0.2638 Brier=0.0239 best=01 [SELECT MLP] epoch=05/10 loss=0.06210 BCE=0.05037 rank=0.11727 macroAP=0.1626 F2@20=0.2526 Brier=0.0246 best=01 [RETRIEVAL CACHE] selection phase... [RETRIEVAL INDEX] building selection: bank=170,825 query=286,472 PCA=24 [STATE RETRIEVAL] semester=6056 queries=225 eligible_bank=11,015 k=32 [STATE RETRIEVAL] semester=6057 queries=27,064 eligible_bank=11,240 k=32 [STATE RETRIEVAL] semester=6058 queries=27,400 eligible_bank=38,304 k=32 [STATE RETRIEVAL] semester=6059 queries=458 eligible_bank=65,704 k=32 [STATE RETRIEVAL] semester=6060 queries=42,415 eligible_bank=66,162 k=32 [STATE RETRIEVAL] semester=6061 queries=39,361 eligible_bank=108,577 k=32 [STATE RETRIEVAL] semester=6062 queries=906 eligible_bank=147,938 k=32 [STATE RETRIEVAL] semester=6063 queries=48,526 eligible_bank=148,844 k=32 [STATE RETRIEVAL] semester=6064 queries=42,562 eligible_bank=170,825 k=32 [STATE RETRIEVAL] semester=6065 queries=740 eligible_bank=170,825 k=32 [STATE RETRIEVAL] semester=6066 queries=45,800 eligible_bank=170,825 k=32 [STATE RETRIEVAL] complete N=286,472 in 0.67 min [RETRIEVAL CACHE] 25,000/286,472 [RETRIEVAL CACHE] 50,000/286,472 [RETRIEVAL CACHE] 75,000/286,472 [RETRIEVAL CACHE] 100,000/286,472 [RETRIEVAL CACHE] 125,000/286,472 [RETRIEVAL CACHE] 150,000/286,472 [RETRIEVAL CACHE] 175,000/286,472 [RETRIEVAL CACHE] 200,000/286,472 [RETRIEVAL CACHE] 225,000/286,472 [RETRIEVAL CACHE] 250,000/286,472 [RETRIEVAL CACHE] 275,000/286,472 [RETRIEVAL CACHE] complete N=286,472 bank=170,825 maxP=96 in 2.57 min FOLD 2 SELECTION RETRIEVAL SUPPORT -------------------------------------------------------------------------------- faculty rows prevalence any_candidate_zero_rate same_student_mean same_student_zero_rate same_student_candidate_fail_rate same_course_mean same_course_zero_rate same_course_candidate_fail_rate structural_mean structural_zero_rate structural_candidate_fail_rate state_mean state_zero_rate state_candidate_fail_rate candidate_mean cross_faculty_candidate_rate candidate_recency_mean khoa_cong_nghe_thong_tin 24312 0.031466 0.025666 5.807379 0.465202 0.018174 18.151900 0.243131 0.026356 2.356038 0.600239 0.033066 31.178677 0.025666 0.034693 56.496092 0.262170 3.076172 khoa_quan_tri_kinh_doanh_va_du_lich 39125 0.028984 0.047821 7.753431 0.249304 0.014613 18.981470 0.202914 0.021136 5.050019 0.310466 0.048036 30.469725 0.047821 0.026929 60.994556 0.188777 2.298828 khoa_quoc_te_hoc 12802 0.010077 0.042806 5.974379 0.435479 0.003530 17.226527 0.270895 0.003673 4.940712 0.397047 0.004885 30.630214 0.042806 0.018723 57.581159 0.387181 2.958984 khoa_tieng_anh 56161 0.017254 0.035238 8.436192 0.258311 0.003303 15.320703 0.356066 0.013161 3.005662 0.479069 0.054206 30.872385 0.035238 0.014561 56.586439 0.386900 2.392578 khoa_tieng_bo_dao_nha 4885 0.031320 0.030502 7.747595 0.310542 0.010410 18.264688 0.215763 0.023581 3.826407 0.402252 0.025519 31.023951 0.030502 0.045417 59.247697 0.578285 2.791016 khoa_tieng_duc 12783 0.017054 0.031996 8.405460 0.267621 0.004691 18.061723 0.246421 0.011525 1.288352 0.796683 0.017123 30.976140 0.031996 0.013125 57.527654 0.522605 2.574219 khoa_tieng_han_quoc 20006 0.004749 0.039438 8.868190 0.242227 0.002153 14.686244 0.383485 0.008978 2.985454 0.463961 0.096975 30.737979 0.039438 0.004950 56.391333 0.495223 2.554688 khoa_tieng_italia 12816 0.034098 0.033318 7.275281 0.351826 0.013417 16.796973 0.279650 0.027635 5.029494 0.259441 0.013466 30.933833 0.033318 0.042729 58.409020 0.410135 2.810547 khoa_tieng_nga 8196 0.045388 0.037579 8.279649 0.252928 0.016166 18.651537 0.211689 0.025251 5.368350 0.225964 0.073479 30.797462 0.037579 0.045251 60.853831 0.376656 2.652344 khoa_tieng_nhat 21883 0.009871 0.047297 7.896815 0.358589 0.003704 15.889092 0.336791 0.018355 4.310469 0.290774 0.084325 30.486496 0.047297 0.008033 57.355710 0.403358 2.664062 khoa_tieng_phap 17871 0.012310 0.061664 7.510940 0.359577 0.003770 17.184601 0.281126 0.009791 3.931509 0.351631 0.021919 30.026747 0.061664 0.019040 57.152426 0.401632 2.792969 khoa_tieng_tay_ban_nha 9426 0.024719 0.046361 7.731806 0.354233 0.008384 17.782092 0.248143 0.014092 6.969022 0.192446 0.011143 30.516444 0.046361 0.031459 61.542754 0.483144 2.751953 khoa_tieng_trung_quoc 40174 0.005476 0.029248 7.494175 0.338030 0.003381 16.947429 0.293025 0.008174 4.389107 0.267362 0.018936 31.064071 0.029248 0.006749 59.082466 0.330405 2.765625 khoa_viet_nam_hoc 6032 0.060842 0.026857 6.727122 0.352951 0.040391 15.702586 0.306532 0.051954 0.076923 0.981101 0.000000 31.140584 0.026857 0.062814 51.131466 0.030844 3.027344 ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_tabr] [SELECT TABR] epoch=01/10 loss=0.10174 BCE=0.07501 rank=0.26729 macroAP=0.1709 F2@20=0.2590 Brier=0.0238 best=01 [SELECT TABR] epoch=02/10 loss=0.07915 BCE=0.06109 rank=0.18063 macroAP=0.1886 F2@20=0.2511 Brier=0.0281 best=02 [SELECT TABR] epoch=03/10 loss=0.07084 BCE=0.05596 rank=0.14883 macroAP=0.1739 F2@20=0.2532 Brier=0.0262 best=02 [SELECT TABR] epoch=04/10 loss=0.06341 BCE=0.05149 rank=0.11917 macroAP=0.1587 F2@20=0.2491 Brier=0.0288 best=02 [SELECT TABR] epoch=05/10 loss=0.05871 BCE=0.04781 rank=0.10896 macroAP=0.1738 F2@20=0.2594 Brier=0.0264 best=02 ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_sacr] [SELECT SACR] epoch=01/10 loss=0.09491 BCE=0.07086 rank=0.24044 macroAP=0.2098 F2@20=0.2700 Brier=0.0227 best=01 [SELECT SACR] epoch=02/10 loss=0.06982 BCE=0.05550 rank=0.14321 macroAP=0.2165 F2@20=0.2701 Brier=0.0237 best=02 [SELECT SACR] epoch=03/10 loss=0.06538 BCE=0.05258 rank=0.12807 macroAP=0.2147 F2@20=0.2570 Brier=0.0240 best=02 [SELECT SACR] epoch=04/10 loss=0.05918 BCE=0.04801 rank=0.11164 macroAP=0.2167 F2@20=0.2747 Brier=0.0233 best=04 [SELECT SACR] epoch=05/10 loss=0.05139 BCE=0.04294 rank=0.08450 macroAP=0.2126 F2@20=0.2590 Brier=0.0237 best=04 [SELECT SACR] epoch=06/10 loss=0.05006 BCE=0.04182 rank=0.08241 macroAP=0.2149 F2@20=0.2698 Brier=0.0241 best=04 [SELECT SACR] epoch=07/10 loss=0.04752 BCE=0.04010 rank=0.07426 macroAP=0.2017 F2@20=0.2707 Brier=0.0242 best=04 [COMMITTEE BLEND ABLATION] selected alpha=0.25 policyAP=0.2949 policyF2=0.2911 [RETRIEVAL CACHE] production history... [RETRIEVAL INDEX] building production-history: bank=286,472 query=286,472 PCA=24 [STATE RETRIEVAL] semester=6056 queries=225 eligible_bank=11,015 k=32 [STATE RETRIEVAL] semester=6057 queries=27,064 eligible_bank=11,240 k=32 [STATE RETRIEVAL] semester=6058 queries=27,400 eligible_bank=38,304 k=32 [STATE RETRIEVAL] semester=6059 queries=458 eligible_bank=65,704 k=32 [STATE RETRIEVAL] semester=6060 queries=42,415 eligible_bank=66,162 k=32 [STATE RETRIEVAL] semester=6061 queries=39,361 eligible_bank=108,577 k=32 [STATE RETRIEVAL] semester=6062 queries=906 eligible_bank=147,938 k=32 [STATE RETRIEVAL] semester=6063 queries=48,526 eligible_bank=148,844 k=32 [STATE RETRIEVAL] semester=6064 queries=42,562 eligible_bank=197,370 k=32 [STATE RETRIEVAL] semester=6065 queries=740 eligible_bank=239,932 k=32 [STATE RETRIEVAL] semester=6066 queries=45,800 eligible_bank=240,672 k=32 [STATE RETRIEVAL] complete N=286,472 in 0.87 min [RETRIEVAL CACHE] 25,000/286,472 [RETRIEVAL CACHE] 50,000/286,472 [RETRIEVAL CACHE] 75,000/286,472 [RETRIEVAL CACHE] 100,000/286,472 [RETRIEVAL CACHE] 125,000/286,472 [RETRIEVAL CACHE] 150,000/286,472 [RETRIEVAL CACHE] 175,000/286,472 [RETRIEVAL CACHE] 200,000/286,472 [RETRIEVAL CACHE] 225,000/286,472 [RETRIEVAL CACHE] 250,000/286,472 [RETRIEVAL CACHE] 275,000/286,472 [RETRIEVAL CACHE] complete N=286,472 bank=286,472 maxP=96 in 2.57 min [RETRIEVAL CACHE] production target... [RETRIEVAL INDEX] building production-target: bank=286,472 query=42,122 PCA=24 [STATE RETRIEVAL] semester=6067 queries=42,122 eligible_bank=286,472 k=32 [STATE RETRIEVAL] complete N=42,122 in 0.17 min [RETRIEVAL CACHE] 25,000/42,122 [RETRIEVAL CACHE] complete N=42,122 bank=286,472 maxP=96 in 0.43 min FOLD 2 TARGET RETRIEVAL SUPPORT -------------------------------------------------------------------------------- faculty rows prevalence any_candidate_zero_rate same_student_mean same_student_zero_rate same_student_candidate_fail_rate same_course_mean same_course_zero_rate same_course_candidate_fail_rate structural_mean structural_zero_rate structural_candidate_fail_rate state_mean state_zero_rate state_candidate_fail_rate candidate_mean cross_faculty_candidate_rate candidate_recency_mean fold khoa_cong_nghe_thong_tin 4598 0.033058 0.0 11.786211 0.000870 0.013655 21.835363 0.089604 0.021295 2.509134 0.546107 0.013348 32.0 0.0 0.030421 66.051544 0.165927 2.150391 2 khoa_quan_tri_kinh_doanh_va_du_lich 5530 0.030018 0.0 10.369620 0.005787 0.020386 23.281736 0.006329 0.061213 6.792767 0.233092 0.054893 32.0 0.0 0.031809 71.065280 0.168111 2.306641 2 khoa_quoc_te_hoc 2095 0.009069 0.0 11.124582 0.002387 0.005321 21.721241 0.094511 0.010636 7.372792 0.108353 0.000324 32.0 0.0 0.015752 69.454415 0.282268 2.537109 2 khoa_tieng_anh 8328 0.014649 0.0 11.648655 0.089817 0.003670 18.406700 0.232229 0.035012 6.529539 0.416066 0.017360 32.0 0.0 0.015940 66.663905 0.314547 2.236328 2 khoa_tieng_bo_dao_nha 716 0.041899 0.0 11.659218 0.000000 0.027072 23.675978 0.008380 0.024363 6.094972 0.276536 0.003896 32.0 0.0 0.037666 69.481844 0.420551 2.271484 2 khoa_tieng_duc 1893 0.027998 0.0 12.503434 0.005283 0.008112 23.910195 0.002641 0.027926 1.664025 0.775489 0.000952 32.0 0.0 0.017119 66.988906 0.368023 2.277344 2 khoa_tieng_han_quoc 3337 0.008690 0.0 12.448607 0.009589 0.003900 22.011387 0.082409 0.010687 3.349116 0.489961 0.010737 32.0 0.0 0.004298 67.623015 0.383580 2.197266 2 khoa_tieng_italia 2024 0.035079 0.0 12.265810 0.009881 0.017159 21.388834 0.011364 0.024254 5.775198 0.272233 0.021644 32.0 0.0 0.036083 67.859684 0.391240 2.185547 2 khoa_tieng_nga 1567 0.052967 0.0 10.632419 0.002553 0.038233 23.768347 0.003191 0.025346 7.457562 0.074027 0.000342 32.0 0.0 0.044691 70.470964 0.310401 2.162109 2 khoa_tieng_nhat 2448 0.004493 0.0 12.511438 0.001634 0.002122 23.656454 0.010621 0.010223 6.341095 0.115196 0.111512 32.0 0.0 0.003728 70.725490 0.211851 2.189453 2 khoa_tieng_phap 2204 0.018149 0.0 11.587114 0.002722 0.008341 22.380672 0.067151 0.015103 5.420599 0.198276 0.005357 32.0 0.0 0.013257 67.478221 0.232326 2.195312 2 khoa_tieng_tay_ban_nha 1242 0.033816 0.0 12.330918 0.000000 0.021352 21.394525 0.103865 0.006059 8.888084 0.084541 0.001631 32.0 0.0 0.033313 71.465378 0.398896 2.271484 2 khoa_tieng_trung_quoc 5584 0.013610 0.0 11.118016 0.109062 0.001160 21.022206 0.121418 0.008033 3.972421 0.433739 0.000406 32.0 0.0 0.004276 65.684993 0.229153 2.121094 2 khoa_viet_nam_hoc 556 0.070144 0.0 10.591727 0.000000 0.014434 23.771583 0.000000 0.049255 0.028777 0.996403 0.000000 32.0 0.0 0.026866 60.526978 0.009182 2.851562 2 [CHRONOLOGY AUDIT] violations=0 / 328,594 | every retrieved label semester < query semester [REFIT MLP] epoch=01/1 loss=0.11644 BCE=0.08493 rank=0.31512 [VARIANT suite25_mlp] selected_epochs=1 target macroAP=0.2398 [REFIT TABR] epoch=01/2 loss=0.11168 BCE=0.08209 rank=0.29595 [REFIT TABR] epoch=02/2 loss=0.09293 BCE=0.07210 rank=0.20836 [VARIANT suite25_tabr] selected_epochs=2 target macroAP=0.3437 [REFIT SACR] epoch=01/4 loss=0.10302 BCE=0.07648 rank=0.26534 [REFIT SACR] epoch=04/4 loss=0.07073 BCE=0.05718 rank=0.13556 [VARIANT suite25_sacr] selected_epochs=4 target macroAP=0.4841 SUITE25 TARGET FOLD 2 — NEW + AVAILABLE REFERENCE RESULTS -------------------------------------------------------------------------------- fold faculty model rows failures prevalence ap auc brier ece10 mean_score calibration_gap precision_at_10 recall_at_10 f1_at_10 fbeta_at_10 precision_at_15 recall_at_15 f1_at_15 fbeta_at_15 precision_at_20 recall_at_20 f1_at_20 fbeta_at_20 precision_at_25 recall_at_25 f1_at_25 fbeta_at_25 2 khoa_cong_nghe_thong_tin committee 4598 152 0.033058 0.472860 0.920570 0.023143 0.012838 0.037651 0.004593 0.236957 0.717105 0.356209 0.510300 0.175362 0.796053 0.287411 0.466102 0.141304 0.855263 0.242537 0.425393 0.118261 0.894737 0.208909 0.386803 2 khoa_cong_nghe_thong_tin council 4598 152 0.033058 0.476690 0.915169 0.026448 0.054868 0.087345 0.054287 0.236957 0.717105 0.356209 0.510300 0.175362 0.796053 0.287411 0.466102 0.140217 0.848684 0.240672 0.422120 0.116522 0.881579 0.205837 0.381115 2 khoa_cong_nghe_thong_tin suite14 4598 152 0.033058 0.473774 0.907398 0.041821 0.095287 0.128345 0.095287 0.230435 0.697368 0.346405 0.496255 0.171014 0.776316 0.280285 0.454545 0.134783 0.815789 0.231343 0.405759 0.110435 0.835526 0.195084 0.361206 2 khoa_cong_nghe_thong_tin suite16 4598 152 0.033058 0.499138 0.935128 0.042258 0.091778 0.124836 0.091778 0.239130 0.723684 0.359477 0.514981 0.188406 0.855263 0.308789 0.500770 0.148913 0.901316 0.255597 0.448298 0.120870 0.914474 0.213518 0.395336 2 khoa_cong_nghe_thong_tin suite17 4598 152 0.033058 0.487261 0.933280 0.023313 0.013502 0.037228 0.004170 0.241304 0.730263 0.362745 0.519663 0.184058 0.835526 0.301663 0.489214 0.146739 0.888158 0.251866 0.441754 0.120870 0.914474 0.213518 0.395336 2 khoa_cong_nghe_thong_tin suite18 4598 152 0.033058 0.487408 0.934419 0.023322 0.014046 0.037118 0.004061 0.239130 0.723684 0.359477 0.514981 0.179710 0.815789 0.294537 0.477658 0.146739 0.888158 0.251866 0.441754 0.122609 0.927632 0.216590 0.401024 2 khoa_cong_nghe_thong_tin suite20 4598 152 0.033058 0.320783 0.897215 0.168618 0.274452 0.307510 0.274452 0.215217 0.651316 0.323529 0.463483 0.155072 0.703947 0.254157 0.412173 0.127174 0.769737 0.218284 0.382853 0.106957 0.809211 0.188940 0.349829 2 khoa_cong_nghe_thong_tin suite21 4598 152 0.033058 0.482815 0.922643 0.022936 0.017849 0.048441 0.015383 0.223913 0.677632 0.336601 0.482210 0.171014 0.776316 0.280285 0.454545 0.140217 0.848684 0.240672 0.422120 0.117391 0.888158 0.207373 0.383959 2 khoa_cong_nghe_thong_tin suite22 4598 152 0.033058 0.480425 0.916504 0.023646 0.010939 0.030946 -0.002112 0.226087 0.684211 0.339869 0.486891 0.169565 0.769737 0.277910 0.450693 0.135870 0.822368 0.233209 0.409031 0.114783 0.868421 0.202765 0.375427 2 khoa_cong_nghe_thong_tin suite22_primary 4598 152 0.033058 0.329882 0.875000 0.026521 0.003434 0.030435 -0.002623 0.202174 0.611842 0.303922 0.435393 0.143478 0.651316 0.235154 0.381356 0.113043 0.684211 0.194030 0.340314 0.099130 0.750000 0.175115 0.324232 2 khoa_cong_nghe_thong_tin suite22_relational 4598 152 0.033058 0.352241 0.894213 0.026740 0.007650 0.039975 0.006917 0.213043 0.644737 0.320261 0.458801 0.160870 0.730263 0.263658 0.427581 0.129348 0.782895 0.222015 0.389398 0.109565 0.828947 0.193548 0.358362 2 khoa_cong_nghe_thong_tin suite23 4598 152 0.033058 0.485999 0.927667 0.022971 0.013836 0.036785 0.003727 0.241304 0.730263 0.362745 0.519663 0.178261 0.809211 0.292162 0.473806 0.144565 0.875000 0.248134 0.435209 0.119130 0.901316 0.210445 0.389647 2 khoa_cong_nghe_thong_tin suite23_graph 4598 152 0.033058 0.370662 0.908878 0.027005 0.023008 0.046725 0.013667 0.228261 0.690789 0.343137 0.491573 0.171014 0.776316 0.280285 0.454545 0.138043 0.835526 0.236940 0.415576 0.113043 0.855263 0.199693 0.369738 2 khoa_cong_nghe_thong_tin suite24 4598 152 0.033058 0.462877 0.920363 0.023188 0.012322 0.042935 0.009878 0.239130 0.723684 0.359477 0.514981 0.179710 0.815789 0.294537 0.477658 0.142391 0.861842 0.244403 0.428665 0.118261 0.894737 0.208909 0.386803 2 khoa_cong_nghe_thong_tin suite24_posthoc 4598 152 0.033058 0.495181 0.933114 0.022779 0.015035 0.040685 0.007627 0.243478 0.736842 0.366013 0.524345 0.185507 0.842105 0.304038 0.493066 0.145652 0.881579 0.250000 0.438482 0.121739 0.921053 0.215054 0.398180 2 khoa_cong_nghe_thong_tin suite25_committee_blend 4598 152 0.033058 0.493179 0.926532 0.022597 0.010513 0.033677 0.000619 0.243478 0.736842 0.366013 0.524345 0.179710 0.815789 0.294537 0.477658 0.136957 0.828947 0.235075 0.412304 0.117391 0.888158 0.207373 0.383959 2 khoa_cong_nghe_thong_tin suite25_mlp 4598 152 0.033058 0.238805 0.809927 0.034373 0.062645 0.094750 0.061692 0.158696 0.480263 0.238562 0.341760 0.124638 0.565789 0.204276 0.331279 0.101087 0.611842 0.173507 0.304319 0.089565 0.677632 0.158218 0.292947 2 khoa_cong_nghe_thong_tin suite25_sacr 4598 152 0.033058 0.466737 0.900441 0.022682 0.009747 0.028976 -0.004082 0.234783 0.710526 0.352941 0.505618 0.165217 0.750000 0.270784 0.439137 0.126087 0.763158 0.216418 0.379581 0.108696 0.822368 0.192012 0.355518 2 khoa_cong_nghe_thong_tin suite25_tabr 4598 152 0.033058 0.290904 0.837210 0.028326 0.006518 0.026540 -0.006518 0.180435 0.546053 0.271242 0.388577 0.134783 0.611842 0.220903 0.358243 0.110870 0.671053 0.190299 0.333770 0.092174 0.697368 0.162826 0.301479 2 khoa_cong_nghe_thong_tin v2 4598 152 0.033058 0.462038 0.922494 0.060802 0.135133 0.168190 0.135133 0.226087 0.684211 0.339869 0.486891 0.181159 0.822368 0.296912 0.481510 0.142391 0.861842 0.244403 0.428665 0.118261 0.894737 0.208909 0.386803 2 khoa_quan_tri_kinh_doanh_va_du_lich committee 5530 166 0.030018 0.549834 0.909619 0.019035 0.015487 0.041229 0.011211 0.220615 0.734940 0.339360 0.501233 0.160241 0.801205 0.267068 0.445114 0.125678 0.837349 0.218553 0.392655 0.104197 0.867470 0.186047 0.351906 2 khoa_quan_tri_kinh_doanh_va_du_lich suite14 5530 166 0.030018 0.545998 0.902980 0.042703 0.106776 0.135838 0.105820 0.207957 0.692771 0.319889 0.472473 0.148193 0.740964 0.246988 0.411647 0.119349 0.795181 0.207547 0.372881 0.097685 0.813253 0.174419 0.329912 2 khoa_quan_tri_kinh_doanh_va_du_lich suite16 5530 166 0.030018 0.564322 0.932926 0.045202 0.105225 0.135243 0.105225 0.236890 0.789157 0.364395 0.538209 0.168675 0.843373 0.281124 0.468541 0.133816 0.891566 0.232704 0.418079 0.108538 0.903614 0.193798 0.366569 2 khoa_quan_tri_kinh_doanh_va_du_lich suite17 5530 166 0.030018 0.558182 0.924736 0.020026 0.020437 0.042374 0.012356 0.226040 0.753012 0.347705 0.513558 0.163855 0.819277 0.273092 0.455154 0.132911 0.885542 0.231132 0.415254 0.108538 0.903614 0.193798 0.366569 2 khoa_quan_tri_kinh_doanh_va_du_lich suite18 5530 166 0.030018 0.556925 0.923863 0.020030 0.020249 0.041880 0.011862 0.227848 0.759036 0.350487 0.517666 0.162651 0.813253 0.271084 0.451807 0.132007 0.879518 0.229560 0.412429 0.108538 0.903614 0.193798 0.366569 2 khoa_quan_tri_kinh_doanh_va_du_lich suite20 5530 166 0.030018 0.464043 0.941029 0.110732 0.181215 0.211233 0.181215 0.224231 0.746988 0.344924 0.509449 0.171084 0.855422 0.285141 0.475234 0.137432 0.915663 0.238994 0.429379 0.114327 0.951807 0.204134 0.386119 2 khoa_quan_tri_kinh_doanh_va_du_lich suite21 5530 166 0.030018 0.530865 0.926398 0.020894 0.026273 0.055663 0.025645 0.218807 0.728916 0.336579 0.497124 0.162651 0.813253 0.271084 0.451807 0.129295 0.861446 0.224843 0.403955 0.107815 0.897590 0.192506 0.364125 2 khoa_quan_tri_kinh_doanh_va_du_lich suite22 5530 166 0.030018 0.525015 0.926021 0.020145 0.015972 0.042136 0.012118 0.211573 0.704819 0.325452 0.480690 0.161446 0.807229 0.269076 0.448461 0.130199 0.867470 0.226415 0.406780 0.109986 0.915663 0.196382 0.371457 2 khoa_quan_tri_kinh_doanh_va_du_lich suite22_primary 5530 166 0.030018 0.447841 0.907996 0.023682 0.021600 0.049640 0.019622 0.191682 0.638554 0.294854 0.435497 0.149398 0.746988 0.248996 0.414993 0.119349 0.795181 0.207547 0.372881 0.103473 0.861446 0.184755 0.349462 2 khoa_quan_tri_kinh_doanh_va_du_lich suite22_relational 5530 166 0.030018 0.472086 0.935960 0.023730 0.027788 0.056341 0.026323 0.215190 0.716867 0.331015 0.488907 0.165060 0.825301 0.275100 0.458501 0.135624 0.903614 0.235849 0.423729 0.114327 0.951807 0.204134 0.386119 2 khoa_quan_tri_kinh_doanh_va_du_lich suite23 5530 166 0.030018 0.569418 0.929673 0.019078 0.017191 0.040018 0.010000 0.233273 0.777108 0.358832 0.529992 0.168675 0.843373 0.281124 0.468541 0.133816 0.891566 0.232704 0.418079 0.107091 0.891566 0.191214 0.361681 2 khoa_quan_tri_kinh_doanh_va_du_lich suite23_graph 5530 166 0.030018 0.514125 0.940697 0.023255 0.027259 0.046383 0.016365 0.227848 0.759036 0.350487 0.517666 0.173494 0.867470 0.289157 0.481928 0.134720 0.897590 0.234277 0.420904 0.112880 0.939759 0.201550 0.381232 2 khoa_quan_tri_kinh_doanh_va_du_lich suite24 5530 166 0.030018 0.582180 0.934937 0.018729 0.019918 0.047328 0.017310 0.231465 0.771084 0.356050 0.525883 0.171084 0.855422 0.285141 0.475234 0.131103 0.873494 0.227987 0.409605 0.109262 0.909639 0.195090 0.369013 2 khoa_quan_tri_kinh_doanh_va_du_lich suite24_posthoc 5530 166 0.030018 0.575343 0.931656 0.019051 0.022084 0.046921 0.016903 0.233273 0.777108 0.358832 0.529992 0.168675 0.843373 0.281124 0.468541 0.132911 0.885542 0.231132 0.415254 0.108538 0.903614 0.193798 0.366569 2 khoa_quan_tri_kinh_doanh_va_du_lich suite25_committee_blend 5530 166 0.030018 0.595341 0.937321 0.018120 0.012651 0.036203 0.006184 0.235081 0.783133 0.361613 0.534100 0.165060 0.825301 0.275100 0.458501 0.129295 0.861446 0.224843 0.403955 0.107815 0.897590 0.192506 0.364125 2 khoa_quan_tri_kinh_doanh_va_du_lich suite25_mlp 5530 166 0.030018 0.337137 0.834197 0.025378 0.026618 0.053976 0.023958 0.164557 0.548193 0.253129 0.373870 0.124096 0.620482 0.206827 0.344712 0.104882 0.698795 0.182390 0.327684 0.089725 0.746988 0.160207 0.303030 2 khoa_quan_tri_kinh_doanh_va_du_lich suite25_sacr 5530 166 0.030018 0.671142 0.945875 0.017395 0.015678 0.031532 0.001514 0.254973 0.849398 0.392211 0.579293 0.175904 0.879518 0.293173 0.488621 0.135624 0.903614 0.235849 0.423729 0.109986 0.915663 0.196382 0.371457 2 khoa_quan_tri_kinh_doanh_va_du_lich suite25_tabr 5530 166 0.030018 0.387642 0.875722 0.024206 0.016660 0.032580 0.002562 0.193490 0.644578 0.297636 0.439606 0.133735 0.668675 0.222892 0.371486 0.110307 0.734940 0.191824 0.344633 0.093343 0.777108 0.166667 0.315249 2 khoa_quoc_te_hoc committee 2095 19 0.009069 0.466005 0.959462 0.006878 0.013799 0.022153 0.013083 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite14 2095 19 0.009069 0.432276 0.960374 0.032502 0.114876 0.123945 0.114876 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite16 2095 19 0.009069 0.473921 0.960780 0.024839 0.076802 0.085871 0.076802 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite17 2095 19 0.009069 0.488217 0.961211 0.006948 0.016730 0.023198 0.014128 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite18 2095 19 0.009069 0.473864 0.963264 0.006932 0.016883 0.022965 0.013896 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite20 2095 19 0.009069 0.134788 0.931878 0.108362 0.144215 0.153284 0.144215 0.061905 0.684211 0.113537 0.227273 0.047771 0.789474 0.090090 0.192308 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite21 2095 19 0.009069 0.507836 0.955430 0.009537 0.031238 0.039241 0.030172 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite22 2095 19 0.009069 0.501735 0.941588 0.006779 0.012461 0.018420 0.009351 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite22_primary 2095 19 0.009069 0.265678 0.880996 0.008173 0.011655 0.019388 0.010319 0.057143 0.631579 0.104803 0.209790 0.038217 0.631579 0.072072 0.153846 0.040573 0.894737 0.077626 0.171717 0.032443 0.894737 0.062615 0.141667 2 khoa_quoc_te_hoc suite22_relational 2095 19 0.009069 0.358624 0.953504 0.007682 0.008918 0.017025 0.007956 0.080952 0.894737 0.148472 0.297203 0.054140 0.894737 0.102102 0.217949 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite23 2095 19 0.009069 0.467968 0.958929 0.006597 0.015104 0.020919 0.011850 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite23_graph 2095 19 0.009069 0.314436 0.942780 0.008124 0.021962 0.027560 0.018491 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite24 2095 19 0.009069 0.510274 0.969729 0.007706 0.025508 0.033916 0.024847 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite24_posthoc 2095 19 0.009069 0.505414 0.968005 0.006781 0.023632 0.026180 0.017111 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite25_committee_blend 2095 19 0.009069 0.511181 0.960729 0.006605 0.015906 0.022611 0.013542 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite25_mlp 2095 19 0.009069 0.055066 0.757732 0.015267 0.056103 0.065172 0.056103 0.052381 0.578947 0.096070 0.192308 0.035032 0.578947 0.066066 0.141026 0.028640 0.631579 0.054795 0.121212 0.022901 0.631579 0.044199 0.100000 2 khoa_quoc_te_hoc suite25_sacr 2095 19 0.009069 0.415119 0.944706 0.007369 0.026174 0.033253 0.024183 0.085714 0.947368 0.157205 0.314685 0.057325 0.947368 0.108108 0.230769 0.042959 0.947368 0.082192 0.181818 0.034351 0.947368 0.066298 0.150000 2 khoa_quoc_te_hoc suite25_tabr 2095 19 0.009069 0.350421 0.809046 0.008025 0.015995 0.023040 0.013971 0.057143 0.631579 0.104803 0.209790 0.038217 0.631579 0.072072 0.153846 0.028640 0.631579 0.054795 0.121212 0.022901 0.631579 0.044199 0.100000 2 khoa_tieng_anh committee 8328 122 0.014649 0.749047 0.977169 0.007211 0.012779 0.026267 0.011618 0.138055 0.942623 0.240838 0.435276 0.093675 0.959016 0.170678 0.336788 0.070228 0.959016 0.130872 0.271588 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite14 8328 122 0.014649 0.741424 0.977534 0.018661 0.051063 0.065676 0.051027 0.134454 0.918033 0.234555 0.423921 0.092074 0.942623 0.167761 0.331031 0.070228 0.959016 0.130872 0.271588 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite16 8328 122 0.014649 0.751928 0.980333 0.022554 0.053939 0.068589 0.053939 0.139256 0.950820 0.242932 0.439061 0.093675 0.959016 0.170678 0.336788 0.071429 0.975410 0.133110 0.276230 0.057157 0.975410 0.107985 0.231518 2 khoa_tieng_anh suite17 8328 122 0.014649 0.762055 0.977579 0.007457 0.015500 0.027612 0.012963 0.139256 0.950820 0.242932 0.439061 0.093675 0.959016 0.170678 0.336788 0.070828 0.967213 0.131991 0.273909 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite18 8328 122 0.014649 0.752168 0.977466 0.007442 0.014939 0.027294 0.012644 0.139256 0.950820 0.242932 0.439061 0.093675 0.959016 0.170678 0.336788 0.070828 0.967213 0.131991 0.273909 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite20 8328 122 0.014649 0.524562 0.941347 0.039041 0.079599 0.094249 0.079599 0.127251 0.868852 0.221990 0.401211 0.085669 0.877049 0.156090 0.308002 0.066026 0.901639 0.123043 0.255339 0.053314 0.909836 0.100726 0.215953 2 khoa_tieng_anh suite21 8328 122 0.014649 0.756798 0.976076 0.007117 0.012504 0.025747 0.011098 0.136855 0.934426 0.238743 0.431491 0.092874 0.950820 0.169220 0.333909 0.070228 0.959016 0.130872 0.271588 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite22 8328 122 0.014649 0.741836 0.974922 0.007174 0.013927 0.026139 0.011490 0.138055 0.942623 0.240838 0.435276 0.093675 0.959016 0.170678 0.336788 0.070228 0.959016 0.130872 0.271588 0.056196 0.959016 0.106171 0.227626 2 khoa_tieng_anh suite22_primary 8328 122 0.014649 0.661831 0.955490 0.009233 0.020296 0.031390 0.016741 0.127251 0.868852 0.221990 0.401211 0.087270 0.893443 0.159008 0.313759 0.068427 0.934426 0.127517 0.264624 0.055716 0.950820 0.105263 0.225681 2 khoa_tieng_anh suite22_relational 8328 122 0.014649 0.569195 0.943079 0.016643 0.028733 0.041023 0.026374 0.124850 0.852459 0.217801 0.393641 0.086469 0.885246 0.157549 0.310881 0.068427 0.934426 0.127517 0.264624 0.056196 0.959016 0.106171 0.227626 2 khoa_tieng_anh suite23 8328 122 0.014649 0.727079 0.978726 0.007763 0.012795 0.020054 0.005404 0.138055 0.942623 0.240838 0.435276 0.094476 0.967213 0.172137 0.339666 0.070828 0.967213 0.131991 0.273909 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite23_graph 8328 122 0.014649 0.608671 0.967922 0.010280 0.013484 0.019862 0.005213 0.136855 0.934426 0.238743 0.431491 0.091273 0.934426 0.166302 0.328152 0.070228 0.959016 0.130872 0.271588 0.057157 0.975410 0.107985 0.231518 2 khoa_tieng_anh suite24 8328 122 0.014649 0.743490 0.978501 0.007092 0.011270 0.025025 0.010375 0.139256 0.950820 0.242932 0.439061 0.094476 0.967213 0.172137 0.339666 0.070828 0.967213 0.131991 0.273909 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite24_posthoc 8328 122 0.014649 0.751918 0.979194 0.007022 0.013554 0.026169 0.011520 0.138055 0.942623 0.240838 0.435276 0.094476 0.967213 0.172137 0.339666 0.070828 0.967213 0.131991 0.273909 0.056676 0.967213 0.107078 0.229572 2 khoa_tieng_anh suite25_committee_blend 8328 122 0.014649 0.760744 0.977266 0.006890 0.011680 0.023928 0.009279 0.136855 0.934426 0.238743 0.431491 0.092874 0.950820 0.169220 0.333909 0.070228 0.959016 0.130872 0.271588 0.057157 0.975410 0.107985 0.231518 2 khoa_tieng_anh suite25_mlp 8328 122 0.014649 0.557306 0.901669 0.010866 0.028926 0.037721 0.023072 0.110444 0.754098 0.192670 0.348221 0.078463 0.803279 0.142961 0.282096 0.060024 0.819672 0.111857 0.232126 0.048511 0.827869 0.091652 0.196498 2 khoa_tieng_anh suite25_sacr 8328 122 0.014649 0.627411 0.956661 0.009338 0.013598 0.022500 0.007850 0.130852 0.893443 0.228272 0.412566 0.091273 0.934426 0.166302 0.328152 0.069028 0.942623 0.128635 0.266945 0.055716 0.950820 0.105263 0.225681 2 khoa_tieng_anh suite25_tabr 8328 122 0.014649 0.628820 0.939914 0.009763 0.013254 0.017943 0.003293 0.123649 0.844262 0.215707 0.389856 0.083267 0.852459 0.151714 0.299367 0.063625 0.868852 0.118568 0.246054 0.053314 0.909836 0.100726 0.215953 2 khoa_tieng_bo_dao_nha committee 716 30 0.041899 0.526647 0.943635 0.026265 0.019578 0.043389 0.001490 0.319444 0.766667 0.450980 0.598958 0.214953 0.766667 0.335766 0.506608 0.188811 0.900000 0.312139 0.513308 0.162011 0.966667 0.277512 0.484950 2 khoa_tieng_bo_dao_nha suite14 716 30 0.041899 0.520653 0.930029 0.052735 0.114265 0.155963 0.114063 0.305556 0.733333 0.431373 0.572917 0.214953 0.766667 0.335766 0.506608 0.181818 0.866667 0.300578 0.494297 0.150838 0.900000 0.258373 0.451505 2 khoa_tieng_bo_dao_nha suite16 716 30 0.041899 0.603194 0.961516 0.038244 0.069537 0.110707 0.068807 0.319444 0.766667 0.450980 0.598958 0.261682 0.933333 0.408759 0.616740 0.195804 0.933333 0.323699 0.532319 0.167598 1.000000 0.287081 0.501672 2 khoa_tieng_bo_dao_nha suite17 716 30 0.041899 0.546738 0.953693 0.026798 0.016812 0.043718 0.001818 0.319444 0.766667 0.450980 0.598958 0.252336 0.900000 0.394161 0.594714 0.195804 0.933333 0.323699 0.532319 0.162011 0.966667 0.277512 0.484950 2 khoa_tieng_bo_dao_nha suite18 716 30 0.041899 0.557300 0.954227 0.026498 0.017840 0.044467 0.002568 0.319444 0.766667 0.450980 0.598958 0.242991 0.866667 0.379562 0.572687 0.195804 0.933333 0.323699 0.532319 0.162011 0.966667 0.277512 0.484950 2 khoa_tieng_bo_dao_nha suite20 716 30 0.041899 0.211365 0.853741 0.172401 0.194542 0.235316 0.193416 0.222222 0.533333 0.313725 0.416667 0.177570 0.633333 0.277372 0.418502 0.146853 0.700000 0.242775 0.399240 0.128492 0.766667 0.220096 0.384615 2 khoa_tieng_bo_dao_nha suite21 716 30 0.041899 0.551242 0.938095 0.026173 0.022161 0.053571 0.011671 0.319444 0.766667 0.450980 0.598958 0.233645 0.833333 0.364964 0.550661 0.174825 0.833333 0.289017 0.475285 0.145251 0.866667 0.248804 0.434783 2 khoa_tieng_bo_dao_nha suite22 716 30 0.041899 0.494452 0.944461 0.029646 0.009077 0.032822 -0.009077 0.291667 0.700000 0.411765 0.546875 0.242991 0.866667 0.379562 0.572687 0.202797 0.966667 0.335260 0.551331 0.162011 0.966667 0.277512 0.484950 2 khoa_tieng_bo_dao_nha suite22_primary 716 30 0.041899 0.305053 0.904713 0.034193 0.010850 0.031050 -0.010850 0.250000 0.600000 0.352941 0.468750 0.214953 0.766667 0.335766 0.506608 0.174825 0.833333 0.289017 0.475285 0.150838 0.900000 0.258373 0.451505 2 khoa_tieng_bo_dao_nha suite22_relational 716 30 0.041899 0.366353 0.884014 0.032827 0.012840 0.031805 -0.010094 0.250000 0.600000 0.352941 0.468750 0.177570 0.633333 0.277372 0.418502 0.146853 0.700000 0.242775 0.399240 0.128492 0.766667 0.220096 0.384615 2 khoa_tieng_bo_dao_nha suite23 716 30 0.041899 0.526647 0.943635 0.026265 0.019578 0.043389 0.001490 0.319444 0.766667 0.450980 0.598958 0.214953 0.766667 0.335766 0.506608 0.188811 0.900000 0.312139 0.513308 0.162011 0.966667 0.277512 0.484950 2 khoa_tieng_bo_dao_nha suite23_graph 716 30 0.041899 0.367469 0.864091 0.035476 0.013522 0.046594 0.004695 0.194444 0.466667 0.274510 0.364583 0.168224 0.600000 0.262774 0.396476 0.146853 0.700000 0.242775 0.399240 0.134078 0.800000 0.229665 0.401338 2 khoa_tieng_bo_dao_nha suite24 716 30 0.041899 0.494691 0.944704 0.027669 0.022585 0.056247 0.014348 0.305556 0.733333 0.431373 0.572917 0.252336 0.900000 0.394161 0.594714 0.195804 0.933333 0.323699 0.532319 0.156425 0.933333 0.267943 0.468227 2 khoa_tieng_bo_dao_nha suite24_posthoc 716 30 0.041899 0.512364 0.954616 0.027288 0.019388 0.047349 0.005450 0.319444 0.766667 0.450980 0.598958 0.252336 0.900000 0.394161 0.594714 0.195804 0.933333 0.323699 0.532319 0.162011 0.966667 0.277512 0.484950 2 khoa_tieng_bo_dao_nha suite25_committee_blend 716 30 0.041899 0.525934 0.937075 0.026821 0.014668 0.039872 -0.002028 0.319444 0.766667 0.450980 0.598958 0.214953 0.766667 0.335766 0.506608 0.174825 0.833333 0.289017 0.475285 0.156425 0.933333 0.267943 0.468227 2 khoa_tieng_bo_dao_nha suite25_mlp 716 30 0.041899 0.204321 0.871769 0.036962 0.022837 0.064736 0.022837 0.222222 0.533333 0.313725 0.416667 0.186916 0.666667 0.291971 0.440529 0.153846 0.733333 0.254335 0.418251 0.139665 0.833333 0.239234 0.418060 2 khoa_tieng_bo_dao_nha suite25_sacr 716 30 0.041899 0.470533 0.899611 0.028742 0.014114 0.034930 -0.006969 0.277778 0.666667 0.392157 0.520833 0.196262 0.700000 0.306569 0.462555 0.160839 0.766667 0.265896 0.437262 0.145251 0.866667 0.248804 0.434783 2 khoa_tieng_bo_dao_nha suite25_tabr 716 30 0.041899 0.373322 0.865160 0.034485 0.019594 0.022306 -0.019594 0.277778 0.666667 0.392157 0.520833 0.196262 0.700000 0.306569 0.462555 0.160839 0.766667 0.265896 0.437262 0.128492 0.766667 0.220096 0.384615 2 khoa_tieng_duc committee 1893 53 0.027998 0.393037 0.833701 0.020484 0.012715 0.023670 -0.004328 0.148148 0.528302 0.231405 0.349127 0.109155 0.584906 0.183976 0.312500 0.089710 0.641509 0.157407 0.287648 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite14 1893 53 0.027998 0.396373 0.839489 0.031663 0.055186 0.083184 0.055186 0.158730 0.566038 0.247934 0.374065 0.112676 0.603774 0.189911 0.322581 0.097625 0.698113 0.171296 0.313029 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite16 1893 53 0.027998 0.393573 0.843355 0.027886 0.025939 0.053937 0.025939 0.164021 0.584906 0.256198 0.386534 0.130282 0.698113 0.219585 0.372984 0.100264 0.716981 0.175926 0.321489 0.084567 0.754717 0.152091 0.291971 2 khoa_tieng_duc suite17 1893 53 0.027998 0.405484 0.849000 0.020705 0.010197 0.023490 -0.004508 0.169312 0.603774 0.264463 0.399002 0.133803 0.716981 0.225519 0.383065 0.100264 0.716981 0.175926 0.321489 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite18 1893 53 0.027998 0.401777 0.850036 0.020747 0.009366 0.024058 -0.003939 0.169312 0.603774 0.264463 0.399002 0.133803 0.716981 0.225519 0.383065 0.100264 0.716981 0.175926 0.321489 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite20 1893 53 0.027998 0.410923 0.848523 0.100927 0.129844 0.157842 0.129844 0.201058 0.716981 0.314050 0.473815 0.140845 0.754717 0.237389 0.403226 0.108179 0.773585 0.189815 0.346870 0.088795 0.792453 0.159696 0.306569 2 khoa_tieng_duc suite21 1893 53 0.027998 0.417973 0.843037 0.020421 0.010614 0.026405 -0.001593 0.169312 0.603774 0.264463 0.399002 0.126761 0.679245 0.213650 0.362903 0.102902 0.735849 0.180556 0.329949 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite22 1893 53 0.027998 0.384675 0.850441 0.021094 0.009223 0.023755 -0.004243 0.158730 0.566038 0.247934 0.374065 0.109155 0.584906 0.183976 0.312500 0.084433 0.603774 0.148148 0.270728 0.088795 0.792453 0.159696 0.306569 2 khoa_tieng_duc suite22_primary 1893 53 0.027998 0.196050 0.829789 0.024885 0.006784 0.032285 0.004287 0.153439 0.547170 0.239669 0.361596 0.102113 0.547170 0.172107 0.292339 0.081794 0.584906 0.143519 0.262267 0.071882 0.641509 0.129278 0.248175 2 khoa_tieng_duc suite22_relational 1893 53 0.027998 0.287437 0.851538 0.023502 0.006221 0.033107 0.005110 0.164021 0.584906 0.256198 0.386534 0.116197 0.622642 0.195846 0.332661 0.097625 0.698113 0.171296 0.313029 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite23 1893 53 0.027998 0.407280 0.846370 0.020303 0.011288 0.022808 -0.005190 0.164021 0.584906 0.256198 0.386534 0.112676 0.603774 0.189911 0.322581 0.100264 0.716981 0.175926 0.321489 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite23_graph 1893 53 0.027998 0.322125 0.865833 0.023154 0.018210 0.032980 0.004982 0.185185 0.660377 0.289256 0.436409 0.133803 0.716981 0.225519 0.383065 0.102902 0.735849 0.180556 0.329949 0.084567 0.754717 0.152091 0.291971 2 khoa_tieng_duc suite24 1893 53 0.027998 0.401354 0.855671 0.020049 0.008886 0.026475 -0.001523 0.164021 0.584906 0.256198 0.386534 0.116197 0.622642 0.195846 0.332661 0.100264 0.716981 0.175926 0.321489 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite24_posthoc 1893 53 0.027998 0.408892 0.850369 0.020000 0.007643 0.024807 -0.003191 0.164021 0.584906 0.256198 0.386534 0.112676 0.603774 0.189911 0.322581 0.100264 0.716981 0.175926 0.321489 0.084567 0.754717 0.152091 0.291971 2 khoa_tieng_duc suite25_committee_blend 1893 53 0.027998 0.413610 0.841550 0.019954 0.012092 0.021292 -0.006706 0.164021 0.584906 0.256198 0.386534 0.112676 0.603774 0.189911 0.322581 0.084433 0.603774 0.148148 0.270728 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_duc suite25_mlp 1893 53 0.027998 0.280345 0.828302 0.024343 0.024727 0.049716 0.021718 0.164021 0.584906 0.256198 0.386534 0.126761 0.679245 0.213650 0.362903 0.100264 0.716981 0.175926 0.321489 0.084567 0.754717 0.152091 0.291971 2 khoa_tieng_duc suite25_sacr 1893 53 0.027998 0.473203 0.837172 0.020322 0.009966 0.019029 -0.008969 0.158730 0.566038 0.247934 0.374065 0.109155 0.584906 0.183976 0.312500 0.089710 0.641509 0.157407 0.287648 0.084567 0.754717 0.152091 0.291971 2 khoa_tieng_duc suite25_tabr 1893 53 0.027998 0.376258 0.826231 0.023898 0.013380 0.014617 -0.013380 0.164021 0.584906 0.256198 0.386534 0.123239 0.660377 0.207715 0.352823 0.100264 0.716981 0.175926 0.321489 0.082452 0.735849 0.148289 0.284672 2 khoa_tieng_han_quoc committee 3337 29 0.008690 0.379219 0.952899 0.007166 0.004409 0.009828 0.001137 0.074850 0.862069 0.137741 0.277778 0.051896 0.896552 0.098113 0.210697 0.038981 0.896552 0.074713 0.166028 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite14 3337 29 0.008690 0.431556 0.954040 0.011508 0.024686 0.033228 0.024538 0.074850 0.862069 0.137741 0.277778 0.051896 0.896552 0.098113 0.210697 0.040480 0.931034 0.077586 0.172414 0.033573 0.965517 0.064890 0.147368 2 khoa_tieng_han_quoc suite16 3337 29 0.008690 0.406216 0.954197 0.011739 0.015601 0.024194 0.015503 0.074850 0.862069 0.137741 0.277778 0.049900 0.862069 0.094340 0.202593 0.041979 0.965517 0.080460 0.178799 0.033573 0.965517 0.064890 0.147368 2 khoa_tieng_han_quoc suite17 3337 29 0.008690 0.408215 0.956803 0.007153 0.003262 0.009704 0.001014 0.074850 0.862069 0.137741 0.277778 0.051896 0.896552 0.098113 0.210697 0.040480 0.931034 0.077586 0.172414 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite18 3337 29 0.008690 0.425472 0.954708 0.007171 0.004979 0.009867 0.001177 0.074850 0.862069 0.137741 0.277778 0.049900 0.862069 0.094340 0.202593 0.040480 0.931034 0.077586 0.172414 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite20 3337 29 0.008690 0.043091 0.856586 0.130061 0.155384 0.164075 0.155384 0.047904 0.551724 0.088154 0.177778 0.041916 0.724138 0.079245 0.170178 0.032984 0.758621 0.063218 0.140485 0.027578 0.793103 0.053302 0.121053 2 khoa_tieng_han_quoc suite21 3337 29 0.008690 0.404308 0.954520 0.006960 0.003347 0.008952 0.000261 0.074850 0.862069 0.137741 0.277778 0.051896 0.896552 0.098113 0.210697 0.040480 0.931034 0.077586 0.172414 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite22 3337 29 0.008690 0.277417 0.946827 0.007372 0.003015 0.006042 -0.002648 0.074850 0.862069 0.137741 0.277778 0.049900 0.862069 0.094340 0.202593 0.038981 0.896552 0.074713 0.166028 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite22_primary 3337 29 0.008690 0.086503 0.883115 0.008317 0.002964 0.007903 -0.000788 0.062874 0.724138 0.115702 0.233333 0.041916 0.724138 0.079245 0.170178 0.034483 0.793103 0.066092 0.146871 0.031175 0.896552 0.060255 0.136842 2 khoa_tieng_han_quoc suite22_relational 3337 29 0.008690 0.135326 0.875214 0.008070 0.003224 0.007263 -0.001427 0.056886 0.655172 0.104683 0.211111 0.047904 0.827586 0.090566 0.194489 0.037481 0.862069 0.071839 0.159642 0.029976 0.862069 0.057937 0.131579 2 khoa_tieng_han_quoc suite23 3337 29 0.008690 0.379219 0.952899 0.007166 0.004409 0.009828 0.001137 0.074850 0.862069 0.137741 0.277778 0.051896 0.896552 0.098113 0.210697 0.038981 0.896552 0.074713 0.166028 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite23_graph 3337 29 0.008690 0.137382 0.865655 0.008046 0.004867 0.011135 0.002444 0.059880 0.689655 0.110193 0.222222 0.039920 0.689655 0.075472 0.162075 0.032984 0.758621 0.063218 0.140485 0.026379 0.758621 0.050985 0.115789 2 khoa_tieng_han_quoc suite24 3337 29 0.008690 0.417971 0.957616 0.007017 0.003689 0.011428 0.002738 0.077844 0.896552 0.143251 0.288889 0.053892 0.931034 0.101887 0.218801 0.040480 0.931034 0.077586 0.172414 0.033573 0.965517 0.064890 0.147368 2 khoa_tieng_han_quoc suite24_posthoc 3337 29 0.008690 0.436916 0.956313 0.006897 0.003319 0.009423 0.000733 0.074850 0.862069 0.137741 0.277778 0.051896 0.896552 0.098113 0.210697 0.040480 0.931034 0.077586 0.172414 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite25_committee_blend 3337 29 0.008690 0.399115 0.954708 0.006822 0.003348 0.007318 -0.001373 0.071856 0.827586 0.132231 0.266667 0.051896 0.896552 0.098113 0.210697 0.038981 0.896552 0.074713 0.166028 0.032374 0.931034 0.062572 0.142105 2 khoa_tieng_han_quoc suite25_mlp 3337 29 0.008690 0.146826 0.880853 0.008103 0.009239 0.016991 0.008300 0.056886 0.655172 0.104683 0.211111 0.047904 0.827586 0.090566 0.194489 0.038981 0.896552 0.074713 0.166028 0.031175 0.896552 0.060255 0.136842 2 khoa_tieng_han_quoc suite25_sacr 3337 29 0.008690 0.245599 0.937164 0.007716 0.002904 0.006035 -0.002655 0.068862 0.793103 0.126722 0.255556 0.049900 0.862069 0.094340 0.202593 0.037481 0.862069 0.071839 0.159642 0.029976 0.862069 0.057937 0.131579 2 khoa_tieng_han_quoc suite25_tabr 3337 29 0.008690 0.160633 0.864821 0.008176 0.002183 0.006507 -0.002183 0.041916 0.482759 0.077135 0.155556 0.031936 0.551724 0.060377 0.129660 0.026987 0.620690 0.051724 0.114943 0.028777 0.827586 0.055620 0.126316 2 khoa_tieng_italia committee 2024 71 0.035079 0.683943 0.954970 0.018232 0.020605 0.047732 0.012653 0.297030 0.845070 0.439560 0.617284 0.210526 0.901408 0.341333 0.544218 0.160494 0.915493 0.273109 0.471698 0.128458 0.915493 0.225303 0.411392 2 khoa_tieng_italia suite14 2024 71 0.035079 0.679830 0.940092 0.043395 0.112155 0.147234 0.112155 0.292079 0.830986 0.432234 0.606996 0.210526 0.901408 0.341333 0.544218 0.158025 0.901408 0.268908 0.464441 0.130435 0.929577 0.228769 0.417722 2 khoa_tieng_italia suite16 2024 71 0.035079 0.679716 0.963328 0.036718 0.080925 0.116004 0.080925 0.297030 0.845070 0.439560 0.617284 0.210526 0.901408 0.341333 0.544218 0.160494 0.915493 0.273109 0.471698 0.128458 0.915493 0.225303 0.411392 2 khoa_tieng_italia suite17 2024 71 0.035079 0.700325 0.961302 0.019430 0.026355 0.046260 0.011181 0.311881 0.887324 0.461538 0.648148 0.210526 0.901408 0.341333 0.544218 0.160494 0.915493 0.273109 0.471698 0.132411 0.943662 0.232236 0.424051 2 khoa_tieng_italia suite18 2024 71 0.035079 0.691988 0.957739 0.019438 0.024861 0.045956 0.010877 0.311881 0.887324 0.461538 0.648148 0.210526 0.901408 0.341333 0.544218 0.158025 0.901408 0.268908 0.464441 0.130435 0.929577 0.228769 0.417722 2 khoa_tieng_italia suite20 2024 71 0.035079 0.335860 0.894730 0.087695 0.125940 0.161019 0.125940 0.242574 0.690141 0.358974 0.504115 0.174342 0.746479 0.282667 0.450680 0.140741 0.802817 0.239496 0.413643 0.118577 0.845070 0.207972 0.379747 2 khoa_tieng_italia suite21 2024 71 0.035079 0.668621 0.945551 0.019495 0.023986 0.056844 0.021765 0.292079 0.830986 0.432234 0.606996 0.200658 0.859155 0.325333 0.518707 0.160494 0.915493 0.273109 0.471698 0.128458 0.915493 0.225303 0.411392 2 khoa_tieng_italia suite22 2024 71 0.035079 0.629859 0.946100 0.021009 0.021316 0.045301 0.010222 0.311881 0.887324 0.461538 0.648148 0.210526 0.901408 0.341333 0.544218 0.158025 0.901408 0.268908 0.464441 0.128458 0.915493 0.225303 0.411392 2 khoa_tieng_italia suite22_primary 2024 71 0.035079 0.319704 0.894557 0.029352 0.020351 0.054906 0.019827 0.212871 0.605634 0.315018 0.442387 0.177632 0.760563 0.288000 0.459184 0.153086 0.873239 0.260504 0.449927 0.130435 0.929577 0.228769 0.417722 2 khoa_tieng_italia suite22_relational 2024 71 0.035079 0.411495 0.907589 0.026789 0.027304 0.057272 0.022193 0.277228 0.788732 0.410256 0.576132 0.197368 0.845070 0.320000 0.510204 0.150617 0.859155 0.256303 0.442671 0.122530 0.873239 0.214905 0.392405 2 khoa_tieng_italia suite23 2024 71 0.035079 0.683943 0.954970 0.018232 0.020605 0.047732 0.012653 0.297030 0.845070 0.439560 0.617284 0.210526 0.901408 0.341333 0.544218 0.160494 0.915493 0.273109 0.471698 0.128458 0.915493 0.225303 0.411392 2 khoa_tieng_italia suite23_graph 2024 71 0.035079 0.436468 0.896627 0.028129 0.033036 0.058575 0.023496 0.272277 0.774648 0.402930 0.565844 0.190789 0.816901 0.309333 0.493197 0.148148 0.845070 0.252101 0.435414 0.120553 0.859155 0.211438 0.386076 2 khoa_tieng_italia suite24 2024 71 0.035079 0.698582 0.950282 0.018006 0.018438 0.049098 0.014019 0.316832 0.901408 0.468864 0.658436 0.213816 0.915493 0.346667 0.552721 0.160494 0.915493 0.273109 0.471698 0.130435 0.929577 0.228769 0.417722 2 khoa_tieng_italia suite24_posthoc 2024 71 0.035079 0.708432 0.953715 0.018325 0.024938 0.047909 0.012830 0.311881 0.887324 0.461538 0.648148 0.210526 0.901408 0.341333 0.544218 0.160494 0.915493 0.273109 0.471698 0.130435 0.929577 0.228769 0.417722 2 khoa_tieng_italia suite25_committee_blend 2024 71 0.035079 0.669254 0.948032 0.018355 0.020499 0.043909 0.008830 0.292079 0.830986 0.432234 0.606996 0.210526 0.901408 0.341333 0.544218 0.158025 0.901408 0.268908 0.464441 0.130435 0.929577 0.228769 0.417722 2 khoa_tieng_italia suite25_mlp 2024 71 0.035079 0.144344 0.848770 0.036867 0.054819 0.089898 0.054819 0.143564 0.408451 0.212454 0.298354 0.138158 0.591549 0.224000 0.357143 0.120988 0.690141 0.205882 0.355588 0.110672 0.788732 0.194107 0.354430 2 khoa_tieng_italia suite25_sacr 2024 71 0.035079 0.538161 0.911981 0.022625 0.018762 0.040673 0.005594 0.272277 0.774648 0.402930 0.565844 0.180921 0.774648 0.293333 0.467687 0.145679 0.830986 0.247899 0.428157 0.120553 0.859155 0.211438 0.386076 2 khoa_tieng_italia suite25_tabr 2024 71 0.035079 0.253043 0.883444 0.029866 0.009034 0.032635 -0.002444 0.207921 0.591549 0.307692 0.432099 0.174342 0.746479 0.282667 0.450680 0.148148 0.845070 0.252101 0.435414 0.126482 0.901408 0.221837 0.405063 2 khoa_tieng_nga committee 1567 83 0.052967 0.759518 0.978558 0.022839 0.032561 0.063397 0.010430 0.509554 0.963855 0.666667 0.817996 0.344681 0.975904 0.509434 0.714286 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite14 1567 83 0.052967 0.770371 0.977738 0.044012 0.110119 0.160255 0.107288 0.503185 0.951807 0.658333 0.807771 0.344681 0.975904 0.509434 0.714286 0.258786 0.975904 0.409091 0.627907 0.206633 0.975904 0.341053 0.559392 2 khoa_tieng_nga suite16 1567 83 0.052967 0.749233 0.981408 0.042080 0.103860 0.156827 0.103860 0.515924 0.975904 0.675000 0.828221 0.344681 0.975904 0.509434 0.714286 0.258786 0.975904 0.409091 0.627907 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite17 1567 83 0.052967 0.761006 0.981871 0.025570 0.042841 0.062003 0.009035 0.515924 0.975904 0.675000 0.828221 0.348936 0.987952 0.515723 0.723104 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite18 1567 83 0.052967 0.763746 0.981595 0.025339 0.044826 0.062033 0.009065 0.515924 0.975904 0.675000 0.828221 0.344681 0.975904 0.509434 0.714286 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite20 1567 83 0.052967 0.370213 0.905612 0.118658 0.151069 0.204036 0.151069 0.350318 0.662651 0.458333 0.562372 0.280851 0.795181 0.415094 0.582011 0.220447 0.831325 0.348485 0.534884 0.186224 0.879518 0.307368 0.504144 2 khoa_tieng_nga suite21 1567 83 0.052967 0.795589 0.980020 0.022406 0.042365 0.083476 0.030509 0.496815 0.939759 0.650000 0.797546 0.348936 0.987952 0.515723 0.723104 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite22 1567 83 0.052967 0.787882 0.982366 0.023866 0.043327 0.060440 0.007473 0.509554 0.963855 0.666667 0.817996 0.344681 0.975904 0.509434 0.714286 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite22_primary 1567 83 0.052967 0.613615 0.969392 0.030282 0.043397 0.065346 0.012379 0.458599 0.867470 0.600000 0.736196 0.323404 0.915663 0.477987 0.670194 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite22_relational 1567 83 0.052967 0.530908 0.960194 0.033149 0.044369 0.077384 0.024417 0.458599 0.867470 0.600000 0.736196 0.331915 0.939759 0.490566 0.687831 0.252396 0.951807 0.398990 0.612403 0.201531 0.951807 0.332632 0.545580 2 khoa_tieng_nga suite23 1567 83 0.052967 0.772787 0.979955 0.024918 0.042275 0.061074 0.008107 0.515924 0.975904 0.675000 0.828221 0.344681 0.975904 0.509434 0.714286 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite23_graph 1567 83 0.052967 0.514171 0.938095 0.040423 0.047233 0.072953 0.019985 0.356688 0.674699 0.466667 0.572597 0.293617 0.831325 0.433962 0.608466 0.246006 0.927711 0.388889 0.596899 0.198980 0.939759 0.328421 0.538674 2 khoa_tieng_nga suite24 1567 83 0.052967 0.740932 0.972380 0.024120 0.035216 0.076585 0.023618 0.471338 0.891566 0.616667 0.756646 0.340426 0.963855 0.503145 0.705467 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite24_posthoc 1567 83 0.052967 0.763308 0.978713 0.024437 0.040040 0.066518 0.013550 0.515924 0.975904 0.675000 0.828221 0.348936 0.987952 0.515723 0.723104 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite25_committee_blend 1567 83 0.052967 0.758718 0.978437 0.023418 0.031842 0.055557 0.002590 0.509554 0.963855 0.666667 0.817996 0.348936 0.987952 0.515723 0.723104 0.261981 0.987952 0.414141 0.635659 0.209184 0.987952 0.345263 0.566298 2 khoa_tieng_nga suite25_mlp 1567 83 0.052967 0.497105 0.939434 0.036239 0.042221 0.064253 0.011286 0.420382 0.795181 0.550000 0.674847 0.293617 0.831325 0.433962 0.608466 0.242812 0.915663 0.383838 0.589147 0.196429 0.927711 0.324211 0.531768 2 khoa_tieng_nga suite25_sacr 1567 83 0.052967 0.624487 0.960811 0.029219 0.021634 0.042910 -0.010057 0.471338 0.891566 0.616667 0.756646 0.344681 0.975904 0.509434 0.714286 0.258786 0.975904 0.409091 0.627907 0.206633 0.975904 0.341053 0.559392 2 khoa_tieng_nga suite25_tabr 1567 83 0.052967 0.653520 0.954154 0.036504 0.035723 0.036464 -0.016503 0.471338 0.891566 0.616667 0.756646 0.331915 0.939759 0.490566 0.687831 0.255591 0.963855 0.404040 0.620155 0.204082 0.963855 0.336842 0.552486 2 khoa_tieng_nhat committee 2448 11 0.004493 0.542198 0.963778 0.002923 0.004700 0.007684 0.003190 0.032653 0.727273 0.062500 0.138408 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite14 2448 11 0.004493 0.563690 0.982057 0.004714 0.017928 0.022346 0.017852 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite16 2448 11 0.004493 0.539391 0.980863 0.005120 0.011041 0.015534 0.011041 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite17 2448 11 0.004493 0.549583 0.978289 0.002972 0.004770 0.007543 0.003050 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite18 2448 11 0.004493 0.548385 0.976760 0.003022 0.004880 0.007729 0.003235 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite20 2448 11 0.004493 0.079983 0.933338 0.061499 0.081941 0.086435 0.081941 0.040816 0.909091 0.078125 0.173010 0.027248 0.909091 0.052910 0.121655 0.020408 0.909091 0.039920 0.093633 0.016340 0.909091 0.032103 0.076220 2 khoa_tieng_nhat suite21 2448 11 0.004493 0.581998 0.975715 0.003006 0.003278 0.007723 0.003230 0.040816 0.909091 0.078125 0.173010 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite22 2448 11 0.004493 0.529305 0.982206 0.003064 0.002703 0.005909 0.001415 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite22_primary 2448 11 0.004493 0.236341 0.975902 0.003890 0.004176 0.007682 0.003189 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite22_relational 2448 11 0.004493 0.616247 0.978588 0.003004 0.004420 0.007211 0.002717 0.040816 0.909091 0.078125 0.173010 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite23 2448 11 0.004493 0.542198 0.963778 0.002923 0.004700 0.007684 0.003190 0.032653 0.727273 0.062500 0.138408 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite23_graph 2448 11 0.004493 0.652301 0.988660 0.003326 0.010450 0.011639 0.007146 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite24 2448 11 0.004493 0.541666 0.978401 0.003146 0.005313 0.009257 0.004763 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite24_posthoc 2448 11 0.004493 0.579703 0.977357 0.002839 0.005261 0.008402 0.003908 0.044898 1.000000 0.085937 0.190311 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite25_committee_blend 2448 11 0.004493 0.501847 0.974820 0.002859 0.003283 0.006246 0.001752 0.040816 0.909091 0.078125 0.173010 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite25_mlp 2448 11 0.004493 0.105341 0.962286 0.004457 0.008990 0.013309 0.008816 0.036735 0.818182 0.070313 0.155709 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite25_sacr 2448 11 0.004493 0.409240 0.970829 0.003631 0.003683 0.006665 0.002171 0.040816 0.909091 0.078125 0.173010 0.027248 0.909091 0.052910 0.121655 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_nhat suite25_tabr 2448 11 0.004493 0.174936 0.959563 0.004078 0.001012 0.003481 -0.001012 0.036735 0.818182 0.070313 0.155709 0.029973 1.000000 0.058201 0.133820 0.022449 1.000000 0.043912 0.102996 0.017974 1.000000 0.035313 0.083841 2 khoa_tieng_phap committee 2204 40 0.018149 0.584629 0.937038 0.010102 0.008254 0.020811 0.002662 0.145455 0.800000 0.246154 0.421053 0.105740 0.875000 0.188679 0.356415 0.081633 0.900000 0.149688 0.299501 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite14 2204 40 0.018149 0.610347 0.948729 0.014713 0.035249 0.052434 0.034285 0.154545 0.850000 0.261538 0.447368 0.105740 0.875000 0.188679 0.356415 0.079365 0.875000 0.145530 0.291181 0.065336 0.900000 0.121827 0.253165 2 khoa_tieng_phap suite16 2204 40 0.018149 0.600661 0.949630 0.012666 0.025044 0.043193 0.025044 0.168182 0.925000 0.284615 0.486842 0.111782 0.925000 0.199461 0.376782 0.083900 0.925000 0.153846 0.307820 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite17 2204 40 0.018149 0.595857 0.944339 0.010032 0.007836 0.021143 0.002994 0.154545 0.850000 0.261538 0.447368 0.111782 0.925000 0.199461 0.376782 0.083900 0.925000 0.153846 0.307820 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite18 2204 40 0.018149 0.604998 0.947770 0.009958 0.006487 0.021014 0.002865 0.159091 0.875000 0.269231 0.460526 0.111782 0.925000 0.199461 0.376782 0.083900 0.925000 0.153846 0.307820 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite20 2204 40 0.018149 0.531830 0.928050 0.035791 0.058207 0.076355 0.058207 0.150000 0.825000 0.253846 0.434211 0.099698 0.825000 0.177898 0.336049 0.074830 0.825000 0.137214 0.274542 0.059891 0.825000 0.111675 0.232068 2 khoa_tieng_phap suite21 2204 40 0.018149 0.555116 0.940954 0.010417 0.011384 0.023174 0.005026 0.154545 0.850000 0.261538 0.447368 0.105740 0.875000 0.188679 0.356415 0.081633 0.900000 0.149688 0.299501 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite22 2204 40 0.018149 0.538651 0.948579 0.011819 0.003853 0.017117 -0.001032 0.163636 0.900000 0.276923 0.473684 0.111782 0.925000 0.199461 0.376782 0.083900 0.925000 0.153846 0.307820 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite22_primary 2204 40 0.018149 0.368408 0.909404 0.013333 0.004379 0.018734 0.000585 0.118182 0.650000 0.200000 0.342105 0.084592 0.700000 0.150943 0.285132 0.079365 0.875000 0.145530 0.291181 0.065336 0.900000 0.121827 0.253165 2 khoa_tieng_phap suite22_relational 2204 40 0.018149 0.294172 0.934138 0.015230 0.012518 0.026795 0.008646 0.136364 0.750000 0.230769 0.394737 0.093656 0.775000 0.167116 0.315682 0.079365 0.875000 0.145530 0.291181 0.068966 0.950000 0.128596 0.267229 2 khoa_tieng_phap suite23 2204 40 0.018149 0.621641 0.963840 0.011057 0.010711 0.016796 -0.001353 0.163636 0.900000 0.276923 0.473684 0.111782 0.925000 0.199461 0.376782 0.083900 0.925000 0.153846 0.307820 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite23_graph 2204 40 0.018149 0.431581 0.958838 0.014888 0.007921 0.016942 -0.001207 0.163636 0.900000 0.276923 0.473684 0.117825 0.975000 0.210243 0.397149 0.088435 0.975000 0.162162 0.324459 0.070780 0.975000 0.131980 0.274262 2 khoa_tieng_phap suite24 2204 40 0.018149 0.592479 0.947562 0.009742 0.012364 0.026862 0.008714 0.154545 0.850000 0.261538 0.447368 0.108761 0.900000 0.194070 0.366599 0.081633 0.900000 0.149688 0.299501 0.065336 0.900000 0.121827 0.253165 2 khoa_tieng_phap suite24_posthoc 2204 40 0.018149 0.587700 0.949238 0.010240 0.012296 0.023375 0.005226 0.159091 0.875000 0.269231 0.460526 0.108761 0.900000 0.194070 0.366599 0.083900 0.925000 0.153846 0.307820 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite25_committee_blend 2204 40 0.018149 0.631535 0.963031 0.010033 0.007109 0.017970 -0.000179 0.150000 0.825000 0.253846 0.434211 0.108761 0.900000 0.194070 0.366599 0.081633 0.900000 0.149688 0.299501 0.067151 0.925000 0.125212 0.260197 2 khoa_tieng_phap suite25_mlp 2204 40 0.018149 0.308501 0.925058 0.015463 0.016758 0.034907 0.016758 0.140909 0.775000 0.238462 0.407895 0.099698 0.825000 0.177898 0.336049 0.077098 0.850000 0.141372 0.282862 0.063521 0.875000 0.118443 0.246132 2 khoa_tieng_phap suite25_sacr 2204 40 0.018149 0.641630 0.964302 0.011137 0.005745 0.015508 -0.002640 0.159091 0.875000 0.269231 0.460526 0.108761 0.900000 0.194070 0.366599 0.083900 0.925000 0.153846 0.307820 0.068966 0.950000 0.128596 0.267229 2 khoa_tieng_phap suite25_tabr 2204 40 0.018149 0.418219 0.935097 0.014935 0.006471 0.011884 -0.006264 0.150000 0.825000 0.253846 0.434211 0.102719 0.850000 0.183288 0.346232 0.077098 0.850000 0.141372 0.282862 0.063521 0.875000 0.118443 0.246132 ================================================================================================================================================================================ SUITE25 TARGET FOLD 3 ================================================================================================================================================================================ [DATA] history=329,579 fail=6,495 (1.97%) train=219,176 validation=110,403 target=47,420 fail=1,103 (2.33%) ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_mlp] [SELECT MLP] epoch=01/10 loss=0.10517 BCE=0.07678 rank=0.28381 macroAP=0.2296 F2@20=0.2810 Brier=0.0242 best=01 [SELECT MLP] epoch=02/10 loss=0.09112 BCE=0.06903 rank=0.22092 macroAP=0.2027 F2@20=0.2734 Brier=0.0252 best=01 [SELECT MLP] epoch=03/10 loss=0.07724 BCE=0.06012 rank=0.17122 macroAP=0.2044 F2@20=0.2749 Brier=0.0254 best=01 [SELECT MLP] epoch=04/10 loss=0.07126 BCE=0.05763 rank=0.13624 macroAP=0.2013 F2@20=0.2768 Brier=0.0254 best=01 [SELECT MLP] epoch=05/10 loss=0.06358 BCE=0.05155 rank=0.12035 macroAP=0.2064 F2@20=0.2668 Brier=0.0255 best=01 [RETRIEVAL CACHE] selection phase... [RETRIEVAL INDEX] building selection: bank=219,176 query=329,579 PCA=24 [STATE RETRIEVAL] semester=6056 queries=225 eligible_bank=11,015 k=32 [STATE RETRIEVAL] semester=6057 queries=27,064 eligible_bank=11,240 k=32 [STATE RETRIEVAL] semester=6058 queries=27,400 eligible_bank=38,304 k=32 [STATE RETRIEVAL] semester=6059 queries=458 eligible_bank=65,704 k=32 [STATE RETRIEVAL] semester=6060 queries=42,415 eligible_bank=66,162 k=32 [STATE RETRIEVAL] semester=6061 queries=39,361 eligible_bank=108,577 k=32 [STATE RETRIEVAL] semester=6062 queries=906 eligible_bank=147,938 k=32 [STATE RETRIEVAL] semester=6063 queries=48,526 eligible_bank=148,844 k=32 [STATE RETRIEVAL] semester=6064 queries=42,562 eligible_bank=197,370 k=32 [STATE RETRIEVAL] semester=6065 queries=740 eligible_bank=218,484 k=32 [STATE RETRIEVAL] semester=6066 queries=45,800 eligible_bank=219,176 k=32 [STATE RETRIEVAL] semester=6067 queries=42,122 eligible_bank=219,176 k=32 [STATE RETRIEVAL] semester=6068 queries=985 eligible_bank=219,176 k=32 [STATE RETRIEVAL] complete N=329,579 in 1.36 min [RETRIEVAL CACHE] 25,000/329,579 [RETRIEVAL CACHE] 50,000/329,579 [RETRIEVAL CACHE] 75,000/329,579 [RETRIEVAL CACHE] 100,000/329,579 [RETRIEVAL CACHE] 125,000/329,579 [RETRIEVAL CACHE] 150,000/329,579 [RETRIEVAL CACHE] 175,000/329,579 [RETRIEVAL CACHE] 200,000/329,579 [RETRIEVAL CACHE] 225,000/329,579 [RETRIEVAL CACHE] 250,000/329,579 [RETRIEVAL CACHE] 275,000/329,579 [RETRIEVAL CACHE] 300,000/329,579 [RETRIEVAL CACHE] 325,000/329,579 [RETRIEVAL CACHE] complete N=329,579 bank=219,176 maxP=96 in 3.04 min FOLD 3 SELECTION RETRIEVAL SUPPORT -------------------------------------------------------------------------------- faculty rows prevalence any_candidate_zero_rate same_student_mean same_student_zero_rate same_student_candidate_fail_rate same_course_mean same_course_zero_rate same_course_candidate_fail_rate structural_mean structural_zero_rate structural_candidate_fail_rate state_mean state_zero_rate state_candidate_fail_rate candidate_mean cross_faculty_candidate_rate candidate_recency_mean khoa_cong_nghe_thong_tin 28910 0.031719 0.021584 7.076133 0.313629 0.014225 18.838464 0.214113 0.023148 2.430612 0.585507 0.012111 31.309305 0.021584 0.032664 58.630474 0.276275 2.984375 khoa_quan_tri_kinh_doanh_va_du_lich 45639 0.029229 0.040996 7.934223 0.272508 0.016539 19.668880 0.172024 0.026840 5.354215 0.297005 0.053572 30.688140 0.040996 0.027182 62.448542 0.187217 2.341797 khoa_quoc_te_hoc 14897 0.009935 0.036786 6.850305 0.320669 0.003185 18.032020 0.240317 0.004419 5.266899 0.350608 0.000497 30.822850 0.036786 0.019248 59.828892 0.403656 2.966797 khoa_tieng_anh 64490 0.016917 0.030687 8.831354 0.264599 0.003053 15.858831 0.334253 0.017223 3.461064 0.470910 0.041630 31.018018 0.030687 0.016495 58.156458 0.354553 2.400391 khoa_tieng_bo_dao_nha 5601 0.032673 0.026602 8.588645 0.238172 0.011808 18.826102 0.194965 0.023396 4.128013 0.386360 0.028070 31.148723 0.026602 0.042020 60.966435 0.558416 2.792969 khoa_tieng_duc 14676 0.018466 0.027869 8.890774 0.272418 0.004729 18.873331 0.212592 0.015080 1.352344 0.794154 0.004333 31.108204 0.027869 0.012787 58.975129 0.489071 2.503906 khoa_tieng_han_quoc 23343 0.005312 0.033800 9.250054 0.249025 0.002274 15.821831 0.336760 0.010178 3.073084 0.467721 0.067889 30.918391 0.033800 0.004474 58.181468 0.463286 2.472656 khoa_tieng_italia 14840 0.034232 0.028774 8.379650 0.231334 0.011194 17.409097 0.243801 0.025833 5.127224 0.268531 0.009752 31.079245 0.028774 0.039712 60.333760 0.440053 2.685547 khoa_tieng_nga 9763 0.046605 0.031548 8.467479 0.290382 0.019778 19.504763 0.176892 0.027087 5.717505 0.201577 0.063346 30.990474 0.031548 0.042834 62.445662 0.371903 2.597656 khoa_tieng_nhat 24331 0.009330 0.042538 8.637253 0.284657 0.003136 16.793227 0.298919 0.015590 4.581111 0.274711 0.073854 30.638774 0.042538 0.007238 59.439111 0.421811 2.589844 khoa_tieng_phap 20075 0.012951 0.054894 8.222765 0.263960 0.003920 17.816139 0.255093 0.010317 4.088618 0.330660 0.021857 30.243387 0.054894 0.017314 58.818082 0.394228 2.742188 khoa_tieng_tay_ban_nha 10668 0.025778 0.040964 8.554087 0.251312 0.008624 18.323116 0.225909 0.013102 7.246813 0.179978 0.006455 30.689164 0.040964 0.028412 63.380859 0.487672 2.650391 khoa_tieng_trung_quoc 45758 0.006469 0.025679 8.439792 0.235784 0.002685 17.477425 0.270860 0.008823 4.380130 0.287709 0.013431 31.178286 0.025679 0.006023 60.714651 0.360442 2.589844 khoa_viet_nam_hoc 6588 0.061627 0.024590 7.252125 0.286126 0.039517 16.558743 0.280662 0.056908 0.072860 0.982392 0.000000 31.213115 0.024590 0.065311 52.240134 0.030928 2.845703 ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_tabr] [SELECT TABR] epoch=01/10 loss=0.10132 BCE=0.07585 rank=0.25468 macroAP=0.2258 F2@20=0.2824 Brier=0.0244 best=01 [SELECT TABR] epoch=02/10 loss=0.08057 BCE=0.06195 rank=0.18628 macroAP=0.2253 F2@20=0.2839 Brier=0.0256 best=01 [SELECT TABR] epoch=03/10 loss=0.07469 BCE=0.05837 rank=0.16323 macroAP=0.2302 F2@20=0.2880 Brier=0.0250 best=03 [SELECT TABR] epoch=04/10 loss=0.06695 BCE=0.05335 rank=0.13602 macroAP=0.2007 F2@20=0.2853 Brier=0.0281 best=03 [SELECT TABR] epoch=05/10 loss=0.06025 BCE=0.04953 rank=0.10716 macroAP=0.1918 F2@20=0.2851 Brier=0.0273 best=03 [SELECT TABR] epoch=06/10 loss=0.05592 BCE=0.04594 rank=0.09975 macroAP=0.2038 F2@20=0.2763 Brier=0.0270 best=03 ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_sacr] [SELECT SACR] epoch=01/10 loss=0.09362 BCE=0.06971 rank=0.23906 macroAP=0.2683 F2@20=0.2822 Brier=0.0240 best=01 [SELECT SACR] epoch=02/10 loss=0.07460 BCE=0.05836 rank=0.16236 macroAP=0.2511 F2@20=0.2946 Brier=0.0242 best=01 [SELECT SACR] epoch=03/10 loss=0.06810 BCE=0.05417 rank=0.13921 macroAP=0.2603 F2@20=0.2924 Brier=0.0248 best=01 [SELECT SACR] epoch=04/10 loss=0.05980 BCE=0.04910 rank=0.10696 macroAP=0.2412 F2@20=0.2766 Brier=0.0243 best=01 [SELECT SACR] epoch=05/10 loss=0.05591 BCE=0.04613 rank=0.09778 macroAP=0.2469 F2@20=0.2699 Brier=0.0248 best=01 [COMMITTEE BLEND ABLATION] selected alpha=0.10 policyAP=0.4909 policyF2=0.3342 [RETRIEVAL CACHE] production history... [RETRIEVAL INDEX] building production-history: bank=329,579 query=329,579 PCA=24 [STATE RETRIEVAL] semester=6056 queries=225 eligible_bank=11,015 k=32 [STATE RETRIEVAL] semester=6057 queries=27,064 eligible_bank=11,240 k=32 [STATE RETRIEVAL] semester=6058 queries=27,400 eligible_bank=38,304 k=32 [STATE RETRIEVAL] semester=6059 queries=458 eligible_bank=65,704 k=32 [STATE RETRIEVAL] semester=6060 queries=42,415 eligible_bank=66,162 k=32 [STATE RETRIEVAL] semester=6061 queries=39,361 eligible_bank=108,577 k=32 [STATE RETRIEVAL] semester=6062 queries=906 eligible_bank=147,938 k=32 [STATE RETRIEVAL] semester=6063 queries=48,526 eligible_bank=148,844 k=32 [STATE RETRIEVAL] semester=6064 queries=42,562 eligible_bank=197,370 k=32 [STATE RETRIEVAL] semester=6065 queries=740 eligible_bank=239,932 k=32 [STATE RETRIEVAL] semester=6066 queries=45,800 eligible_bank=240,672 k=32 [STATE RETRIEVAL] semester=6067 queries=42,122 eligible_bank=286,472 k=32 [STATE RETRIEVAL] semester=6068 queries=985 eligible_bank=328,594 k=32 [STATE RETRIEVAL] complete N=329,579 in 1.19 min [RETRIEVAL CACHE] 25,000/329,579 [RETRIEVAL CACHE] 50,000/329,579 [RETRIEVAL CACHE] 75,000/329,579 [RETRIEVAL CACHE] 100,000/329,579 [RETRIEVAL CACHE] 125,000/329,579 [RETRIEVAL CACHE] 150,000/329,579 [RETRIEVAL CACHE] 175,000/329,579 [RETRIEVAL CACHE] 200,000/329,579 [RETRIEVAL CACHE] 225,000/329,579 [RETRIEVAL CACHE] 250,000/329,579 [RETRIEVAL CACHE] 275,000/329,579 [RETRIEVAL CACHE] 300,000/329,579 [RETRIEVAL CACHE] 325,000/329,579 [RETRIEVAL CACHE] complete N=329,579 bank=329,579 maxP=96 in 3.06 min [RETRIEVAL CACHE] production target... [RETRIEVAL INDEX] building production-target: bank=329,579 query=47,420 PCA=24 [STATE RETRIEVAL] semester=6069 queries=47,420 eligible_bank=329,579 k=32 [STATE RETRIEVAL] complete N=47,420 in 0.65 min [RETRIEVAL CACHE] 25,000/47,420 [RETRIEVAL CACHE] complete N=47,420 bank=329,579 maxP=96 in 0.50 min FOLD 3 TARGET RETRIEVAL SUPPORT -------------------------------------------------------------------------------- faculty rows prevalence any_candidate_zero_rate same_student_mean same_student_zero_rate same_student_candidate_fail_rate same_course_mean same_course_zero_rate same_course_candidate_fail_rate structural_mean structural_zero_rate structural_candidate_fail_rate state_mean state_zero_rate state_candidate_fail_rate candidate_mean cross_faculty_candidate_rate candidate_recency_mean fold khoa_cong_nghe_thong_tin 6277 0.034730 0.0 9.291859 0.310977 0.018980 23.009877 0.041102 0.024510 2.592003 0.578780 0.036509 32.0 0.0 0.052175 66.664808 0.312041 3.257812 3 khoa_quan_tri_kinh_doanh_va_du_lich 6491 0.032198 0.0 8.273918 0.333693 0.018881 21.461408 0.090895 0.035641 7.202588 0.158373 0.047442 32.0 0.0 0.060054 68.476044 0.312940 2.851562 3 khoa_quoc_te_hoc 2665 0.009756 0.0 8.226266 0.353471 0.003877 20.681801 0.130206 0.018815 7.681051 0.063790 0.004055 32.0 0.0 0.044629 68.385741 0.445865 3.455078 3 khoa_tieng_anh 7279 0.013876 0.0 10.537162 0.181481 0.004120 21.437285 0.105509 0.023801 9.571782 0.299629 0.033370 32.0 0.0 0.013167 73.052617 0.398161 2.628906 3 khoa_tieng_bo_dao_nha 1032 0.048450 0.0 9.247093 0.256783 0.036990 21.656977 0.091085 0.024116 3.662791 0.347868 0.046825 32.0 0.0 0.065225 66.134690 0.592226 3.509766 3 khoa_tieng_duc 1909 0.024620 0.0 10.240440 0.232059 0.015397 21.601362 0.096386 0.015447 1.642221 0.769513 0.020415 32.0 0.0 0.036292 65.187533 0.567191 2.865234 3 khoa_tieng_han_quoc 3235 0.012983 0.0 10.019474 0.278516 0.006016 21.540340 0.101700 0.005970 3.642658 0.514065 0.009759 32.0 0.0 0.011862 67.027202 0.545078 2.589844 3 khoa_tieng_italia 2145 0.031702 0.0 10.456410 0.185082 0.012216 20.793473 0.063403 0.035492 5.009790 0.251748 0.008003 32.0 0.0 0.050656 67.543590 0.491679 3.060547 3 khoa_tieng_nga 1996 0.046092 0.0 9.669840 0.233467 0.029377 21.454409 0.105210 0.021998 5.290581 0.178357 0.026136 32.0 0.0 0.056425 67.866232 0.571618 3.019531 3 khoa_tieng_nhat 2588 0.006569 0.0 8.217543 0.389876 0.004232 22.157264 0.065688 0.011806 5.739181 0.168083 0.072511 32.0 0.0 0.014599 67.863988 0.539458 2.716797 3 khoa_tieng_phap 2693 0.015967 0.0 9.936502 0.266246 0.003588 21.807278 0.086892 0.014610 5.595618 0.211289 0.010352 32.0 0.0 0.032236 69.050873 0.494128 3.000000 3 khoa_tieng_tay_ban_nha 1417 0.038109 0.0 9.833451 0.254764 0.025908 21.050812 0.122089 0.017198 7.976006 0.209598 0.031499 32.0 0.0 0.052047 70.582922 0.547132 2.845703 3 khoa_tieng_trung_quoc 6920 0.014884 0.0 10.367197 0.206069 0.002746 20.448844 0.147688 0.004509 4.048121 0.393786 0.012316 32.0 0.0 0.008788 66.636705 0.440034 2.523438 3 khoa_viet_nam_hoc 773 0.042691 0.0 6.500647 0.504528 0.017313 21.791721 0.087969 0.053488 0.331177 0.958603 0.117188 32.0 0.0 0.079803 59.604140 0.163715 3.703125 3 [CHRONOLOGY AUDIT] violations=0 / 376,999 | every retrieved label semester < query semester [REFIT MLP] epoch=01/1 loss=0.11929 BCE=0.08661 rank=0.32686 [VARIANT suite25_mlp] selected_epochs=1 target macroAP=0.2505 [REFIT TABR] epoch=01/3 loss=0.11303 BCE=0.08307 rank=0.29957 [REFIT TABR] epoch=03/3 loss=0.09107 BCE=0.07018 rank=0.20892 [VARIANT suite25_tabr] selected_epochs=3 target macroAP=0.1913 [REFIT SACR] epoch=01/1 loss=0.10113 BCE=0.07542 rank=0.25714 [VARIANT suite25_sacr] selected_epochs=1 target macroAP=0.3007 SUITE25 TARGET FOLD 3 — NEW + AVAILABLE REFERENCE RESULTS -------------------------------------------------------------------------------- fold faculty model rows failures prevalence ap auc brier ece10 mean_score calibration_gap precision_at_10 recall_at_10 f1_at_10 fbeta_at_10 precision_at_15 recall_at_15 f1_at_15 fbeta_at_15 precision_at_20 recall_at_20 f1_at_20 fbeta_at_20 precision_at_25 recall_at_25 f1_at_25 fbeta_at_25 3 khoa_cong_nghe_thong_tin committee 6277 218 0.034730 0.273839 0.850644 0.030542 0.032493 0.067100 0.032370 0.179936 0.518349 0.267139 0.376667 0.144374 0.623853 0.234483 0.374862 0.128287 0.738532 0.218601 0.378467 0.112811 0.811927 0.198097 0.362556 3 khoa_cong_nghe_thong_tin council 6277 218 0.034730 0.349713 0.869215 0.037664 0.070288 0.104926 0.070196 0.199045 0.573394 0.295508 0.416667 0.145435 0.628440 0.236207 0.377619 0.124303 0.715596 0.211813 0.366714 0.108349 0.779817 0.190263 0.348218 3 khoa_cong_nghe_thong_tin suite14 6277 218 0.034730 0.288386 0.825265 0.041959 0.060453 0.095183 0.060453 0.199045 0.573394 0.295508 0.416667 0.143312 0.619266 0.232759 0.372106 0.117131 0.674312 0.199593 0.345557 0.100701 0.724771 0.176833 0.323638 3 khoa_cong_nghe_thong_tin suite16 6277 218 0.034730 0.253664 0.846362 0.113280 0.216679 0.251409 0.216679 0.170382 0.490826 0.252955 0.356667 0.143312 0.619266 0.232759 0.372106 0.119522 0.688073 0.203666 0.352609 0.101976 0.733945 0.179071 0.327735 3 khoa_cong_nghe_thong_tin suite17 6277 218 0.034730 0.272571 0.860449 0.030952 0.034562 0.068180 0.033450 0.179936 0.518349 0.267139 0.376667 0.148620 0.642202 0.241379 0.385888 0.126693 0.729358 0.215886 0.373766 0.111536 0.802752 0.195859 0.358460 3 khoa_cong_nghe_thong_tin suite18 6277 218 0.034730 0.275123 0.862874 0.030766 0.034562 0.067810 0.033080 0.178344 0.513761 0.264775 0.373333 0.152866 0.660550 0.248276 0.396913 0.132271 0.761468 0.225390 0.390221 0.113448 0.816514 0.199217 0.364605 3 khoa_cong_nghe_thong_tin suite20 6277 218 0.034730 0.226538 0.847466 0.072905 0.093965 0.128695 0.093965 0.191083 0.550459 0.283688 0.400000 0.140127 0.605505 0.227586 0.363837 0.123506 0.711009 0.210455 0.364363 0.107712 0.775229 0.189144 0.346170 3 khoa_cong_nghe_thong_tin suite21 6277 218 0.034730 0.282764 0.852740 0.030451 0.032149 0.066707 0.031977 0.184713 0.532110 0.274232 0.386667 0.144374 0.623853 0.234483 0.374862 0.125896 0.724771 0.214528 0.371415 0.111536 0.802752 0.195859 0.358460 3 khoa_cong_nghe_thong_tin suite22 6277 218 0.034730 0.282771 0.862385 0.029457 0.018426 0.052332 0.017602 0.184713 0.532110 0.274232 0.386667 0.150743 0.651376 0.244828 0.391400 0.129880 0.747706 0.221317 0.383169 0.111536 0.802752 0.195859 0.358460 3 khoa_cong_nghe_thong_tin suite22_primary 6277 218 0.034730 0.275517 0.858734 0.029655 0.011604 0.036570 0.001840 0.184713 0.532110 0.274232 0.386667 0.143312 0.619266 0.232759 0.372106 0.120319 0.692661 0.205024 0.354960 0.106437 0.766055 0.186905 0.342073 3 khoa_cong_nghe_thong_tin suite22_relational 6277 218 0.034730 0.264619 0.871179 0.029798 0.014421 0.048414 0.013684 0.189490 0.545872 0.281324 0.396667 0.148620 0.642202 0.241379 0.385888 0.128287 0.738532 0.218601 0.378467 0.109624 0.788991 0.192501 0.352315 3 khoa_cong_nghe_thong_tin suite23 6277 218 0.034730 0.280618 0.856670 0.031756 0.047220 0.080587 0.045857 0.186306 0.536697 0.276596 0.390000 0.152866 0.660550 0.248276 0.396913 0.127490 0.733945 0.217244 0.376117 0.105800 0.761468 0.185786 0.340025 3 khoa_cong_nghe_thong_tin suite23_graph 6277 218 0.034730 0.211298 0.829977 0.039017 0.077991 0.112721 0.077991 0.186306 0.536697 0.276596 0.390000 0.141189 0.610092 0.229310 0.366593 0.120319 0.692661 0.205024 0.354960 0.103888 0.747706 0.182429 0.333880 3 khoa_cong_nghe_thong_tin suite24 6277 218 0.034730 0.273727 0.853848 0.032010 0.038695 0.073224 0.038494 0.176752 0.509174 0.262411 0.370000 0.149682 0.646789 0.243103 0.388644 0.124303 0.715596 0.211813 0.366714 0.105163 0.756881 0.184667 0.337976 3 khoa_cong_nghe_thong_tin suite24_posthoc 6277 218 0.034730 0.286961 0.858941 0.029535 0.022962 0.056421 0.021691 0.191083 0.550459 0.283688 0.400000 0.147558 0.637615 0.239655 0.383131 0.125896 0.724771 0.214528 0.371415 0.108349 0.779817 0.190263 0.348218 3 khoa_cong_nghe_thong_tin suite25_committee_blend 6277 218 0.034730 0.296711 0.857120 0.029912 0.032433 0.066544 0.031814 0.189490 0.545872 0.281324 0.396667 0.148620 0.642202 0.241379 0.385888 0.133068 0.766055 0.226748 0.392572 0.113448 0.816514 0.199217 0.364605 3 khoa_cong_nghe_thong_tin suite25_mlp 6277 218 0.034730 0.188305 0.827421 0.041422 0.066496 0.101226 0.066496 0.183121 0.527523 0.271868 0.383333 0.141189 0.610092 0.229310 0.366593 0.120319 0.692661 0.205024 0.354960 0.108987 0.784404 0.191382 0.350266 3 khoa_cong_nghe_thong_tin suite25_sacr 6277 218 0.034730 0.280168 0.841323 0.033395 0.048903 0.083381 0.048651 0.195860 0.564220 0.290780 0.410000 0.143312 0.619266 0.232759 0.372106 0.118725 0.683486 0.202308 0.350259 0.104525 0.752294 0.183548 0.335928 3 khoa_cong_nghe_thong_tin suite25_tabr 6277 218 0.034730 0.178869 0.826625 0.034727 0.045674 0.080388 0.045658 0.179936 0.518349 0.267139 0.376667 0.138004 0.596330 0.224138 0.358324 0.113944 0.655963 0.194162 0.336154 0.098152 0.706422 0.172356 0.315444 3 khoa_cong_nghe_thong_tin v2 6277 218 0.034730 0.225600 0.868996 0.126963 0.224629 0.259359 0.224629 0.179936 0.518349 0.267139 0.376667 0.154989 0.669725 0.251724 0.402426 0.131474 0.756881 0.224033 0.387870 0.117272 0.844037 0.205932 0.376895 3 khoa_quan_tri_kinh_doanh_va_du_lich committee 6491 209 0.032198 0.384599 0.912642 0.025929 0.030317 0.061832 0.029633 0.211094 0.655502 0.319347 0.461279 0.167351 0.779904 0.275571 0.450276 0.136364 0.846890 0.234904 0.414714 0.112754 0.875598 0.199782 0.372102 3 khoa_quan_tri_kinh_doanh_va_du_lich suite14 6491 209 0.032198 0.410315 0.908408 0.029278 0.017511 0.049709 0.017511 0.214176 0.665072 0.324009 0.468013 0.161191 0.751196 0.265427 0.433702 0.130200 0.808612 0.224287 0.395970 0.110290 0.856459 0.195415 0.363969 3 khoa_quan_tri_kinh_doanh_va_du_lich suite16 6491 209 0.032198 0.388950 0.911929 0.082912 0.175514 0.207713 0.175514 0.206471 0.641148 0.312354 0.451178 0.165298 0.770335 0.272189 0.444751 0.134823 0.837321 0.232250 0.410028 0.110906 0.861244 0.196507 0.366002 3 khoa_quan_tri_kinh_doanh_va_du_lich suite17 6491 209 0.032198 0.394712 0.916415 0.026664 0.036569 0.065205 0.033007 0.226502 0.703349 0.342657 0.494949 0.168378 0.784689 0.277261 0.453039 0.133282 0.827751 0.229595 0.405342 0.110290 0.856459 0.195415 0.363969 3 khoa_quan_tri_kinh_doanh_va_du_lich suite18 6491 209 0.032198 0.392208 0.918589 0.026625 0.035282 0.064469 0.032271 0.215716 0.669856 0.326340 0.471380 0.169405 0.789474 0.278952 0.455801 0.137904 0.856459 0.237558 0.419400 0.115219 0.894737 0.204148 0.380236 3 khoa_quan_tri_kinh_doanh_va_du_lich suite20 6491 209 0.032198 0.294483 0.890058 0.055236 0.078592 0.110790 0.078592 0.200308 0.622010 0.303030 0.437710 0.152977 0.712919 0.251902 0.411602 0.126348 0.784689 0.217651 0.384255 0.107825 0.837321 0.191048 0.355836 3 khoa_quan_tri_kinh_doanh_va_du_lich suite21 6491 209 0.032198 0.396604 0.913265 0.025649 0.030148 0.061594 0.029395 0.214176 0.665072 0.324009 0.468013 0.162218 0.755981 0.267117 0.436464 0.137134 0.851675 0.236231 0.417057 0.113986 0.885167 0.201965 0.376169 3 khoa_quan_tri_kinh_doanh_va_du_lich suite22 6491 209 0.032198 0.412248 0.920702 0.024430 0.018097 0.048144 0.015946 0.223421 0.693780 0.337995 0.488215 0.172485 0.803828 0.284024 0.464088 0.137904 0.856459 0.237558 0.419400 0.115219 0.894737 0.204148 0.380236 3 khoa_quan_tri_kinh_doanh_va_du_lich suite22_primary 6491 209 0.032198 0.386371 0.910107 0.024415 0.003332 0.032283 0.000084 0.220339 0.684211 0.333333 0.481481 0.162218 0.755981 0.267117 0.436464 0.129430 0.803828 0.222960 0.393627 0.111522 0.866029 0.197598 0.368036 3 khoa_quan_tri_kinh_doanh_va_du_lich suite22_relational 6491 209 0.032198 0.406466 0.897137 0.025417 0.013275 0.042830 0.010631 0.200308 0.622010 0.303030 0.437710 0.149897 0.698565 0.246830 0.403315 0.122496 0.760766 0.211015 0.372540 0.105360 0.818182 0.186681 0.347702 3 khoa_quan_tri_kinh_doanh_va_du_lich suite23 6491 209 0.032198 0.402569 0.912421 0.026208 0.036643 0.066276 0.034078 0.215716 0.669856 0.326340 0.471380 0.168378 0.784689 0.277261 0.453039 0.135593 0.842105 0.233577 0.412371 0.114603 0.889952 0.203057 0.378203 3 khoa_quan_tri_kinh_doanh_va_du_lich suite23_graph 6491 209 0.032198 0.343607 0.873878 0.030623 0.057675 0.086062 0.053864 0.187982 0.583732 0.284382 0.410774 0.148871 0.693780 0.245139 0.400552 0.117103 0.727273 0.201725 0.356139 0.103512 0.803828 0.183406 0.341602 3 khoa_quan_tri_kinh_doanh_va_du_lich suite24 6491 209 0.032198 0.383951 0.908401 0.028343 0.045452 0.077095 0.044897 0.212635 0.660287 0.321678 0.464646 0.164271 0.765550 0.270499 0.441989 0.130200 0.808612 0.224287 0.395970 0.111522 0.866029 0.197598 0.368036 3 khoa_quan_tri_kinh_doanh_va_du_lich suite24_posthoc 6491 209 0.032198 0.400526 0.921175 0.025189 0.025721 0.055253 0.023055 0.231125 0.717703 0.349650 0.505051 0.173511 0.808612 0.285714 0.466851 0.134823 0.837321 0.232250 0.410028 0.115219 0.894737 0.204148 0.380236 3 khoa_quan_tri_kinh_doanh_va_du_lich suite25_committee_blend 6491 209 0.032198 0.394980 0.914765 0.025813 0.031200 0.062274 0.030076 0.212635 0.660287 0.321678 0.464646 0.166324 0.775120 0.273880 0.447514 0.139445 0.866029 0.240212 0.424086 0.113986 0.885167 0.201965 0.376169 3 khoa_quan_tri_kinh_doanh_va_du_lich suite25_mlp 6491 209 0.032198 0.256496 0.879506 0.036852 0.063355 0.095553 0.063355 0.184900 0.574163 0.279720 0.404040 0.152977 0.712919 0.251902 0.411602 0.123267 0.765550 0.212342 0.374883 0.102896 0.799043 0.182314 0.339569 3 khoa_quan_tri_kinh_doanh_va_du_lich suite25_sacr 6491 209 0.032198 0.274610 0.879604 0.030330 0.046673 0.078871 0.046673 0.187982 0.583732 0.284382 0.410774 0.140657 0.655502 0.231615 0.378453 0.119414 0.741627 0.205707 0.363168 0.101047 0.784689 0.179039 0.333469 3 khoa_quan_tri_kinh_doanh_va_du_lich suite25_tabr 6491 209 0.032198 0.253043 0.894244 0.027465 0.014991 0.046777 0.014579 0.186441 0.578947 0.282051 0.407407 0.149897 0.698565 0.246830 0.403315 0.127119 0.789474 0.218978 0.386598 0.112138 0.870813 0.198690 0.370069 3 khoa_quoc_te_hoc committee 2665 26 0.009756 0.199138 0.814302 0.009094 0.014132 0.022704 0.012948 0.048872 0.500000 0.089041 0.175676 0.040000 0.615385 0.075117 0.158730 0.030019 0.615385 0.057245 0.125589 0.027027 0.692308 0.052023 0.116883 3 khoa_quoc_te_hoc suite14 2665 26 0.009756 0.142260 0.811088 0.014789 0.010698 0.020454 0.010698 0.037594 0.384615 0.068493 0.135135 0.032500 0.500000 0.061033 0.128968 0.028143 0.576923 0.053667 0.117739 0.027027 0.692308 0.052023 0.116883 3 khoa_quoc_te_hoc suite16 2665 26 0.009756 0.195628 0.808727 0.034446 0.095273 0.105029 0.095273 0.052632 0.538462 0.095890 0.189189 0.040000 0.615385 0.075117 0.158730 0.031895 0.653846 0.060823 0.133438 0.025526 0.653846 0.049133 0.110390 3 khoa_quoc_te_hoc suite17 2665 26 0.009756 0.193277 0.817945 0.009314 0.014312 0.023822 0.014066 0.052632 0.538462 0.095890 0.189189 0.042500 0.653846 0.079812 0.168651 0.033771 0.692308 0.064401 0.141287 0.028529 0.730769 0.054913 0.123377 3 khoa_quoc_te_hoc suite18 2665 26 0.009756 0.188385 0.832665 0.009265 0.013995 0.023550 0.013794 0.052632 0.538462 0.095890 0.189189 0.042500 0.653846 0.079812 0.168651 0.033771 0.692308 0.064401 0.141287 0.028529 0.730769 0.054913 0.123377 3 khoa_quoc_te_hoc suite20 2665 26 0.009756 0.150915 0.769187 0.038417 0.050707 0.060463 0.050707 0.048872 0.500000 0.089041 0.175676 0.037500 0.576923 0.070423 0.148810 0.030019 0.615385 0.057245 0.125589 0.027027 0.692308 0.052023 0.116883 3 khoa_quoc_te_hoc suite21 2665 26 0.009756 0.196525 0.816553 0.009205 0.014866 0.023338 0.013582 0.052632 0.538462 0.095890 0.189189 0.037500 0.576923 0.070423 0.148810 0.030019 0.615385 0.057245 0.125589 0.027027 0.692308 0.052023 0.116883 3 khoa_quoc_te_hoc suite22 2665 26 0.009756 0.171784 0.816247 0.008869 0.010513 0.018730 0.008974 0.052632 0.538462 0.095890 0.189189 0.037500 0.576923 0.070423 0.148810 0.031895 0.653846 0.060823 0.133438 0.027027 0.692308 0.052023 0.116883 3 khoa_quoc_te_hoc suite22_primary 2665 26 0.009756 0.177036 0.796208 0.008913 0.007149 0.014651 0.004895 0.052632 0.538462 0.095890 0.189189 0.037500 0.576923 0.070423 0.148810 0.031895 0.653846 0.060823 0.133438 0.025526 0.653846 0.049133 0.110390 3 khoa_quoc_te_hoc suite22_relational 2665 26 0.009756 0.121251 0.811263 0.009528 0.004489 0.012324 0.002568 0.048872 0.500000 0.089041 0.175676 0.040000 0.615385 0.075117 0.158730 0.031895 0.653846 0.060823 0.133438 0.025526 0.653846 0.049133 0.110390 3 khoa_quoc_te_hoc suite23 2665 26 0.009756 0.187661 0.829131 0.009280 0.015705 0.024931 0.015174 0.052632 0.538462 0.095890 0.189189 0.040000 0.615385 0.075117 0.158730 0.033771 0.692308 0.064401 0.141287 0.028529 0.730769 0.054913 0.123377 3 khoa_quoc_te_hoc suite23_graph 2665 26 0.009756 0.100840 0.811569 0.011785 0.034981 0.044616 0.034860 0.056391 0.576923 0.102740 0.202703 0.040000 0.615385 0.075117 0.158730 0.030019 0.615385 0.057245 0.125589 0.024024 0.615385 0.046243 0.103896 3 khoa_quoc_te_hoc suite24 2665 26 0.009756 0.186269 0.843895 0.010087 0.022011 0.031083 0.021327 0.056391 0.576923 0.102740 0.202703 0.042500 0.653846 0.079812 0.168651 0.031895 0.653846 0.060823 0.133438 0.030030 0.769231 0.057803 0.129870 3 khoa_quoc_te_hoc suite24_posthoc 2665 26 0.009756 0.148819 0.843837 0.009233 0.013653 0.023409 0.013653 0.052632 0.538462 0.095890 0.189189 0.042500 0.653846 0.079812 0.168651 0.033771 0.692308 0.064401 0.141287 0.028529 0.730769 0.054913 0.123377 3 khoa_quoc_te_hoc suite25_committee_blend 2665 26 0.009756 0.207563 0.824394 0.008985 0.014892 0.023353 0.013597 0.056391 0.576923 0.102740 0.202703 0.040000 0.615385 0.075117 0.158730 0.030019 0.615385 0.057245 0.125589 0.027027 0.692308 0.052023 0.116883 3 khoa_quoc_te_hoc suite25_mlp 2665 26 0.009756 0.075287 0.839931 0.018292 0.043457 0.053213 0.043457 0.048872 0.500000 0.089041 0.175676 0.037500 0.576923 0.070423 0.148810 0.030019 0.615385 0.057245 0.125589 0.028529 0.730769 0.054913 0.123377 3 khoa_quoc_te_hoc suite25_sacr 2665 26 0.009756 0.286752 0.842408 0.012121 0.036504 0.045325 0.035569 0.048872 0.500000 0.089041 0.175676 0.035000 0.538462 0.065728 0.138889 0.030019 0.615385 0.057245 0.125589 0.025526 0.653846 0.049133 0.110390 3 khoa_quoc_te_hoc suite25_tabr 2665 26 0.009756 0.037720 0.752514 0.014602 0.042815 0.052571 0.042815 0.026316 0.269231 0.047945 0.094595 0.020000 0.307692 0.037559 0.079365 0.020638 0.423077 0.039356 0.086342 0.022523 0.576923 0.043353 0.097403 3 khoa_tieng_anh committee 7279 101 0.013876 0.346834 0.940849 0.011179 0.012806 0.025715 0.011839 0.111264 0.801980 0.195416 0.357774 0.084249 0.910891 0.154233 0.307487 0.064560 0.930693 0.120745 0.252688 0.051648 0.930693 0.097866 0.211331 3 khoa_tieng_anh suite14 7279 101 0.013876 0.320806 0.906215 0.013917 0.027554 0.041077 0.027201 0.081044 0.584158 0.142340 0.260601 0.065934 0.712871 0.120704 0.240642 0.059066 0.851485 0.110469 0.231183 0.050000 0.900990 0.094742 0.204586 3 khoa_tieng_anh suite16 7279 101 0.013876 0.362907 0.958968 0.030675 0.082267 0.096142 0.082267 0.123626 0.891089 0.217129 0.397527 0.086081 0.930693 0.157586 0.314171 0.067995 0.980198 0.127168 0.266129 0.054945 0.990099 0.104112 0.224820 3 khoa_tieng_anh suite17 7279 101 0.013876 0.377574 0.956844 0.011076 0.017212 0.028871 0.014995 0.122253 0.881188 0.214717 0.393110 0.086996 0.940594 0.159262 0.317513 0.067995 0.980198 0.127168 0.266129 0.054945 0.990099 0.104112 0.224820 3 khoa_tieng_anh suite18 7279 101 0.013876 0.371242 0.955575 0.011039 0.017101 0.028545 0.014669 0.119505 0.861386 0.209891 0.384276 0.086996 0.940594 0.159262 0.317513 0.067308 0.970297 0.125883 0.263441 0.054945 0.990099 0.104112 0.224820 3 khoa_tieng_anh suite20 7279 101 0.013876 0.461653 0.947451 0.031635 0.038904 0.052779 0.038904 0.108516 0.782178 0.190591 0.348940 0.081502 0.881188 0.149204 0.297460 0.065934 0.950495 0.123314 0.258065 0.053846 0.970297 0.102030 0.220324 3 khoa_tieng_anh suite21 7279 101 0.013876 0.383605 0.947709 0.010871 0.014284 0.025795 0.011920 0.116758 0.841584 0.205066 0.375442 0.083333 0.900990 0.152557 0.304144 0.065247 0.940594 0.122030 0.255376 0.052198 0.940594 0.098907 0.213579 3 khoa_tieng_anh suite22 7279 101 0.013876 0.414925 0.953997 0.010493 0.007131 0.017144 0.003268 0.119505 0.861386 0.209891 0.384276 0.085165 0.920792 0.155909 0.310829 0.064560 0.930693 0.120745 0.252688 0.052747 0.950495 0.099948 0.215827 3 khoa_tieng_anh suite22_primary 7279 101 0.013876 0.429238 0.950565 0.010655 0.006457 0.010526 -0.003350 0.118132 0.851485 0.207479 0.379859 0.083333 0.900990 0.152557 0.304144 0.063874 0.920792 0.119461 0.250000 0.052198 0.940594 0.098907 0.213579 3 khoa_tieng_anh suite22_relational 7279 101 0.013876 0.282679 0.929496 0.011448 0.006530 0.009464 -0.004411 0.114011 0.821782 0.200241 0.366608 0.081502 0.881188 0.149204 0.297460 0.061126 0.881188 0.114322 0.239247 0.048901 0.881188 0.092660 0.200090 3 khoa_tieng_anh suite23 7279 101 0.013876 0.394045 0.949436 0.010850 0.014877 0.026545 0.012670 0.118132 0.851485 0.207479 0.379859 0.084249 0.910891 0.154233 0.307487 0.064560 0.930693 0.120745 0.252688 0.053297 0.960396 0.100989 0.218076 3 khoa_tieng_anh suite23_graph 7279 101 0.013876 0.313080 0.931558 0.012501 0.025648 0.038397 0.024522 0.103022 0.742574 0.180941 0.331272 0.076923 0.831683 0.140821 0.280749 0.065247 0.940594 0.122030 0.255376 0.052198 0.940594 0.098907 0.213579 3 khoa_tieng_anh suite24 7279 101 0.013876 0.396828 0.940969 0.010655 0.011793 0.024272 0.010397 0.109890 0.792079 0.193004 0.353357 0.082418 0.891089 0.150880 0.300802 0.063874 0.920792 0.119461 0.250000 0.052747 0.950495 0.099948 0.215827 3 khoa_tieng_anh suite24_posthoc 7279 101 0.013876 0.421314 0.952721 0.010581 0.010569 0.020180 0.006304 0.123626 0.891089 0.217129 0.397527 0.084249 0.910891 0.154233 0.307487 0.065247 0.940594 0.122030 0.255376 0.053297 0.960396 0.100989 0.218076 3 khoa_tieng_anh suite25_committee_blend 7279 101 0.013876 0.377543 0.945316 0.010933 0.014851 0.025227 0.011351 0.119505 0.861386 0.209891 0.384276 0.085165 0.920792 0.155909 0.310829 0.064560 0.930693 0.120745 0.252688 0.052198 0.940594 0.098907 0.213579 3 khoa_tieng_anh suite25_mlp 7279 101 0.013876 0.350425 0.919122 0.011176 0.003386 0.016084 0.002209 0.111264 0.801980 0.195416 0.357774 0.080586 0.871287 0.147527 0.294118 0.060440 0.871287 0.113038 0.236559 0.048901 0.881188 0.092660 0.200090 3 khoa_tieng_anh suite25_sacr 7279 101 0.013876 0.384453 0.929574 0.011152 0.016603 0.028976 0.015101 0.097527 0.702970 0.171291 0.313604 0.076923 0.831683 0.140821 0.280749 0.064560 0.930693 0.120745 0.252688 0.052198 0.940594 0.098907 0.213579 3 khoa_tieng_anh suite25_tabr 7279 101 0.013876 0.245813 0.931471 0.011645 0.003288 0.014535 0.000659 0.103022 0.742574 0.180941 0.331272 0.083333 0.900990 0.152557 0.304144 0.063187 0.910891 0.118176 0.247312 0.051099 0.920792 0.096825 0.209083 3 khoa_tieng_bo_dao_nha committee 1032 50 0.048450 0.348897 0.909959 0.038416 0.027383 0.060127 0.011678 0.368932 0.760000 0.496732 0.627063 0.251613 0.780000 0.380488 0.549296 0.208738 0.860000 0.335938 0.529557 0.174419 0.900000 0.292208 0.491266 3 khoa_tieng_bo_dao_nha suite14 1032 50 0.048450 0.444556 0.904705 0.040251 0.034001 0.078617 0.030167 0.359223 0.740000 0.483660 0.610561 0.245161 0.760000 0.370732 0.535211 0.184466 0.760000 0.296875 0.467980 0.158915 0.820000 0.266234 0.447598 3 khoa_tieng_bo_dao_nha suite16 1032 50 0.048450 0.382743 0.913218 0.103843 0.201871 0.250321 0.201871 0.339806 0.700000 0.457516 0.577558 0.264516 0.820000 0.400000 0.577465 0.208738 0.860000 0.335938 0.529557 0.178295 0.920000 0.298701 0.502183 3 khoa_tieng_bo_dao_nha suite17 1032 50 0.048450 0.363423 0.920530 0.038856 0.023248 0.060796 0.012346 0.359223 0.740000 0.483660 0.610561 0.258065 0.800000 0.390244 0.563380 0.208738 0.860000 0.335938 0.529557 0.174419 0.900000 0.292208 0.491266 3 khoa_tieng_bo_dao_nha suite18 1032 50 0.048450 0.343661 0.913727 0.039030 0.022790 0.060700 0.012251 0.359223 0.740000 0.483660 0.610561 0.251613 0.780000 0.380488 0.549296 0.208738 0.860000 0.335938 0.529557 0.174419 0.900000 0.292208 0.491266 3 khoa_tieng_bo_dao_nha suite20 1032 50 0.048450 0.484337 0.932525 0.069934 0.067814 0.115448 0.066998 0.339806 0.700000 0.457516 0.577558 0.264516 0.820000 0.400000 0.577465 0.213592 0.880000 0.343750 0.541872 0.178295 0.920000 0.298701 0.502183 3 khoa_tieng_bo_dao_nha suite21 1032 50 0.048450 0.396907 0.919654 0.036294 0.037994 0.060956 0.012507 0.378641 0.780000 0.509804 0.643564 0.251613 0.780000 0.380488 0.549296 0.208738 0.860000 0.335938 0.529557 0.178295 0.920000 0.298701 0.502183 3 khoa_tieng_bo_dao_nha suite22 1032 50 0.048450 0.377368 0.922729 0.037521 0.030519 0.042842 -0.005608 0.368932 0.760000 0.496732 0.627063 0.264516 0.820000 0.400000 0.577465 0.218447 0.900000 0.351562 0.554187 0.178295 0.920000 0.298701 0.502183 3 khoa_tieng_bo_dao_nha suite22_primary 1032 50 0.048450 0.414117 0.919043 0.038547 0.025549 0.023679 -0.024771 0.359223 0.740000 0.483660 0.610561 0.264516 0.820000 0.400000 0.577465 0.203883 0.840000 0.328125 0.517241 0.178295 0.920000 0.298701 0.502183 3 khoa_tieng_bo_dao_nha suite22_relational 1032 50 0.048450 0.464143 0.933747 0.034966 0.020996 0.027454 -0.020996 0.359223 0.740000 0.483660 0.610561 0.264516 0.820000 0.400000 0.577465 0.218447 0.900000 0.351562 0.554187 0.186047 0.960000 0.311688 0.524017 3 khoa_tieng_bo_dao_nha suite23 1032 50 0.048450 0.348897 0.909959 0.038416 0.027383 0.060127 0.011678 0.368932 0.760000 0.496732 0.627063 0.251613 0.780000 0.380488 0.549296 0.208738 0.860000 0.335938 0.529557 0.174419 0.900000 0.292208 0.491266 3 khoa_tieng_bo_dao_nha suite23_graph 1032 50 0.048450 0.399114 0.916599 0.042721 0.077768 0.123367 0.074917 0.330097 0.680000 0.444444 0.561056 0.251613 0.780000 0.380488 0.549296 0.199029 0.820000 0.320312 0.504926 0.170543 0.880000 0.285714 0.480349 3 khoa_tieng_bo_dao_nha suite24 1032 50 0.048450 0.341537 0.906823 0.038150 0.031178 0.068443 0.019994 0.330097 0.680000 0.444444 0.561056 0.238710 0.740000 0.360976 0.521127 0.199029 0.820000 0.320312 0.504926 0.166667 0.860000 0.279221 0.469432 3 khoa_tieng_bo_dao_nha suite24_posthoc 1032 50 0.048450 0.384548 0.919145 0.037653 0.027721 0.055127 0.006678 0.339806 0.700000 0.457516 0.577558 0.258065 0.800000 0.390244 0.563380 0.213592 0.880000 0.343750 0.541872 0.178295 0.920000 0.298701 0.502183 3 khoa_tieng_bo_dao_nha suite25_committee_blend 1032 50 0.048450 0.367851 0.914684 0.037802 0.026239 0.060488 0.012039 0.368932 0.760000 0.496732 0.627063 0.251613 0.780000 0.380488 0.549296 0.208738 0.860000 0.335938 0.529557 0.178295 0.920000 0.298701 0.502183 3 khoa_tieng_bo_dao_nha suite25_mlp 1032 50 0.048450 0.350892 0.908371 0.044579 0.058692 0.106125 0.057675 0.291262 0.600000 0.392157 0.495050 0.251613 0.780000 0.380488 0.549296 0.213592 0.880000 0.343750 0.541872 0.178295 0.920000 0.298701 0.502183 3 khoa_tieng_bo_dao_nha suite25_sacr 1032 50 0.048450 0.448327 0.913870 0.037668 0.029924 0.076223 0.027773 0.320388 0.660000 0.431373 0.544554 0.264516 0.820000 0.400000 0.577465 0.213592 0.880000 0.343750 0.541872 0.178295 0.920000 0.298701 0.502183 3 khoa_tieng_bo_dao_nha suite25_tabr 1032 50 0.048450 0.390017 0.905845 0.037054 0.017576 0.038117 -0.010333 0.339806 0.700000 0.457516 0.577558 0.251613 0.780000 0.380488 0.549296 0.208738 0.860000 0.335938 0.529557 0.166667 0.860000 0.279221 0.469432 3 khoa_tieng_duc committee 1909 47 0.024620 0.247552 0.852915 0.022254 0.034028 0.057899 0.033279 0.162304 0.659574 0.260504 0.408971 0.122378 0.744681 0.210210 0.369198 0.094241 0.765957 0.167832 0.315789 0.075472 0.765957 0.137405 0.270677 3 khoa_tieng_duc suite14 1909 47 0.024620 0.205287 0.856069 0.043384 0.080132 0.104752 0.080132 0.136126 0.553191 0.218487 0.343008 0.108392 0.659574 0.186186 0.327004 0.091623 0.744681 0.163170 0.307018 0.079665 0.808511 0.145038 0.285714 3 khoa_tieng_duc suite16 1909 47 0.024620 0.212514 0.892257 0.092964 0.199525 0.224145 0.199525 0.146597 0.595745 0.235294 0.369393 0.129371 0.787234 0.222222 0.390295 0.096859 0.787234 0.172494 0.324561 0.079665 0.808511 0.145038 0.285714 3 khoa_tieng_duc suite17 1909 47 0.024620 0.267260 0.887435 0.022219 0.037266 0.056659 0.032038 0.167539 0.680851 0.268908 0.422164 0.122378 0.744681 0.210210 0.369198 0.096859 0.787234 0.172494 0.324561 0.079665 0.808511 0.145038 0.285714 3 khoa_tieng_duc suite18 1909 47 0.024620 0.282976 0.888852 0.022190 0.036711 0.056984 0.032364 0.167539 0.680851 0.268908 0.422164 0.118881 0.723404 0.204204 0.358650 0.096859 0.787234 0.172494 0.324561 0.079665 0.808511 0.145038 0.285714 3 khoa_tieng_duc suite20 1909 47 0.024620 0.219488 0.906655 0.062231 0.061847 0.086468 0.061847 0.157068 0.638298 0.252101 0.395778 0.129371 0.787234 0.222222 0.390295 0.107330 0.872340 0.191142 0.359649 0.085954 0.872340 0.156489 0.308271 3 khoa_tieng_duc suite21 1909 47 0.024620 0.241119 0.865759 0.022892 0.034324 0.058913 0.034293 0.167539 0.680851 0.268908 0.422164 0.122378 0.744681 0.210210 0.369198 0.096859 0.787234 0.172494 0.324561 0.077568 0.787234 0.141221 0.278195 3 khoa_tieng_duc suite22 1909 47 0.024620 0.333258 0.897936 0.020291 0.019097 0.041211 0.016591 0.162304 0.659574 0.260504 0.408971 0.125874 0.765957 0.216216 0.379747 0.096859 0.787234 0.172494 0.324561 0.081761 0.829787 0.148855 0.293233 3 khoa_tieng_duc suite22_primary 1909 47 0.024620 0.357600 0.906266 0.019484 0.007646 0.027251 0.002631 0.162304 0.659574 0.260504 0.408971 0.125874 0.765957 0.216216 0.379747 0.104712 0.851064 0.186480 0.350877 0.090147 0.914894 0.164122 0.323308 3 khoa_tieng_duc suite22_relational 1909 47 0.024620 0.409484 0.926172 0.018760 0.005359 0.027407 0.002787 0.183246 0.744681 0.294118 0.461741 0.136364 0.829787 0.234234 0.411392 0.107330 0.872340 0.191142 0.359649 0.090147 0.914894 0.164122 0.323308 3 khoa_tieng_duc suite23 1909 47 0.024620 0.282070 0.878008 0.022002 0.034966 0.057889 0.033268 0.167539 0.680851 0.268908 0.422164 0.122378 0.744681 0.210210 0.369198 0.096859 0.787234 0.172494 0.324561 0.077568 0.787234 0.141221 0.278195 3 khoa_tieng_duc suite23_graph 1909 47 0.024620 0.303875 0.903375 0.025509 0.049632 0.073744 0.049124 0.178010 0.723404 0.285714 0.448549 0.125874 0.765957 0.216216 0.379747 0.099476 0.808511 0.177156 0.333333 0.085954 0.872340 0.156489 0.308271 3 khoa_tieng_duc suite24 1909 47 0.024620 0.274217 0.841203 0.023267 0.038583 0.063203 0.038583 0.167539 0.680851 0.268908 0.422164 0.111888 0.680851 0.192192 0.337553 0.086387 0.702128 0.153846 0.289474 0.075472 0.765957 0.137405 0.270677 3 khoa_tieng_duc suite24_posthoc 1909 47 0.024620 0.312040 0.870306 0.020939 0.026870 0.047791 0.023171 0.167539 0.680851 0.268908 0.422164 0.118881 0.723404 0.204204 0.358650 0.096859 0.787234 0.172494 0.324561 0.077568 0.787234 0.141221 0.278195 3 khoa_tieng_duc suite25_committee_blend 1909 47 0.024620 0.285838 0.875597 0.021942 0.033421 0.057443 0.032822 0.162304 0.659574 0.260504 0.408971 0.125874 0.765957 0.216216 0.379747 0.094241 0.765957 0.167832 0.315789 0.077568 0.787234 0.141221 0.278195 3 khoa_tieng_duc suite25_mlp 1909 47 0.024620 0.259759 0.925315 0.022502 0.024263 0.048356 0.023735 0.183246 0.744681 0.294118 0.461741 0.139860 0.851064 0.240240 0.421941 0.107330 0.872340 0.191142 0.359649 0.094340 0.957447 0.171756 0.338346 3 khoa_tieng_duc suite25_sacr 1909 47 0.024620 0.394182 0.905169 0.024824 0.047407 0.069870 0.045249 0.167539 0.680851 0.268908 0.422164 0.125874 0.765957 0.216216 0.379747 0.104712 0.851064 0.186480 0.350877 0.090147 0.914894 0.164122 0.323308 3 khoa_tieng_duc suite25_tabr 1909 47 0.024620 0.113752 0.857451 0.023274 0.007592 0.032212 0.007592 0.115183 0.468085 0.184874 0.290237 0.101399 0.617021 0.174174 0.305907 0.094241 0.765957 0.167832 0.315789 0.079665 0.808511 0.145038 0.285714 3 khoa_tieng_han_quoc committee 3235 42 0.012983 0.214705 0.841066 0.011907 0.017082 0.026409 0.013426 0.080247 0.619048 0.142077 0.264228 0.057732 0.666667 0.106262 0.214395 0.043277 0.666667 0.081277 0.171779 0.038319 0.738095 0.072855 0.158649 3 khoa_tieng_han_quoc suite14 3235 42 0.012983 0.137334 0.833177 0.027323 0.064849 0.077832 0.064849 0.064815 0.500000 0.114754 0.213415 0.051546 0.595238 0.094877 0.191424 0.044822 0.690476 0.084180 0.177914 0.035847 0.690476 0.068155 0.148414 3 khoa_tieng_han_quoc suite16 3235 42 0.012983 0.218216 0.851468 0.033047 0.094078 0.107061 0.094078 0.083333 0.642857 0.147541 0.274390 0.065979 0.761905 0.121442 0.245023 0.052550 0.809524 0.098694 0.208589 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite17 3235 42 0.012983 0.253086 0.861908 0.011717 0.020093 0.030276 0.017293 0.092593 0.714286 0.163934 0.304878 0.065979 0.761905 0.121442 0.245023 0.051005 0.785714 0.095791 0.202454 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite18 3235 42 0.012983 0.250176 0.864160 0.011746 0.020395 0.030077 0.017094 0.086420 0.666667 0.153005 0.284553 0.065979 0.761905 0.121442 0.245023 0.052550 0.809524 0.098694 0.208589 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite20 3235 42 0.012983 0.196312 0.841357 0.061651 0.069322 0.082305 0.069322 0.083333 0.642857 0.147541 0.274390 0.061856 0.714286 0.113852 0.229709 0.052550 0.809524 0.098694 0.208589 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite21 3235 42 0.012983 0.229856 0.849008 0.011523 0.016029 0.025891 0.012908 0.086420 0.666667 0.153005 0.284553 0.057732 0.666667 0.106262 0.214395 0.046368 0.714286 0.087083 0.184049 0.039555 0.761905 0.075206 0.163767 3 khoa_tieng_han_quoc suite22 3235 42 0.012983 0.278722 0.867605 0.011094 0.007883 0.016990 0.004007 0.095679 0.738095 0.169399 0.315041 0.068041 0.785714 0.125237 0.252680 0.052550 0.809524 0.098694 0.208589 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite22_primary 3235 42 0.012983 0.352874 0.855607 0.010403 0.003428 0.011186 -0.001797 0.101852 0.785714 0.180328 0.335366 0.068041 0.785714 0.125237 0.252680 0.052550 0.809524 0.098694 0.208589 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite22_relational 3235 42 0.012983 0.323710 0.850119 0.010862 0.006883 0.009283 -0.003700 0.092593 0.714286 0.163934 0.304878 0.068041 0.785714 0.125237 0.252680 0.052550 0.809524 0.098694 0.208589 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite23 3235 42 0.012983 0.279797 0.859559 0.011625 0.018562 0.027748 0.014765 0.086420 0.666667 0.153005 0.284553 0.065979 0.761905 0.121442 0.245023 0.049459 0.761905 0.092888 0.196319 0.039555 0.761905 0.075206 0.163767 3 khoa_tieng_han_quoc suite23_graph 3235 42 0.012983 0.298919 0.845413 0.013871 0.031289 0.044098 0.031115 0.086420 0.666667 0.153005 0.284553 0.059794 0.690476 0.110057 0.222052 0.051005 0.785714 0.095791 0.202454 0.040791 0.785714 0.077556 0.168884 3 khoa_tieng_han_quoc suite24 3235 42 0.012983 0.194055 0.830634 0.012138 0.019090 0.029226 0.016243 0.077160 0.595238 0.136612 0.254065 0.055670 0.642857 0.102467 0.206738 0.044822 0.690476 0.084180 0.177914 0.035847 0.690476 0.068155 0.148414 3 khoa_tieng_han_quoc suite24_posthoc 3235 42 0.012983 0.250643 0.836450 0.011620 0.011952 0.021593 0.008610 0.080247 0.619048 0.142077 0.264228 0.055670 0.642857 0.102467 0.206738 0.046368 0.714286 0.087083 0.184049 0.038319 0.738095 0.072855 0.158649 3 khoa_tieng_han_quoc suite25_committee_blend 3235 42 0.012983 0.264631 0.853496 0.011634 0.015587 0.025222 0.012239 0.083333 0.642857 0.147541 0.274390 0.061856 0.714286 0.113852 0.229709 0.047913 0.738095 0.089985 0.190184 0.039555 0.761905 0.075206 0.163767 3 khoa_tieng_han_quoc suite25_mlp 3235 42 0.012983 0.206797 0.852579 0.011528 0.004799 0.014316 0.001333 0.095679 0.738095 0.169399 0.315041 0.070103 0.809524 0.129032 0.260337 0.052550 0.809524 0.098694 0.208589 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite25_sacr 3235 42 0.012983 0.366791 0.847598 0.011349 0.014109 0.025627 0.012644 0.092593 0.714286 0.163934 0.304878 0.068041 0.785714 0.125237 0.252680 0.051005 0.785714 0.095791 0.202454 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_han_quoc suite25_tabr 3235 42 0.012983 0.108957 0.837099 0.012273 0.005374 0.018357 0.005374 0.080247 0.619048 0.142077 0.264228 0.063918 0.738095 0.117647 0.237366 0.052550 0.809524 0.098694 0.208589 0.042027 0.809524 0.079906 0.174002 3 khoa_tieng_italia committee 2145 68 0.031702 0.207328 0.833251 0.029431 0.034903 0.064843 0.033141 0.135514 0.426471 0.205674 0.298354 0.111801 0.529412 0.184615 0.303030 0.100233 0.632353 0.173038 0.306705 0.082090 0.647059 0.145695 0.272277 3 khoa_tieng_italia suite14 2145 68 0.031702 0.181800 0.769336 0.037335 0.042334 0.072988 0.041286 0.098131 0.308824 0.148936 0.216049 0.083851 0.397059 0.138462 0.227273 0.088578 0.558824 0.152918 0.271041 0.076493 0.602941 0.135762 0.253713 3 khoa_tieng_italia suite16 2145 68 0.031702 0.267848 0.865396 0.099754 0.210833 0.242534 0.210833 0.172897 0.544118 0.262411 0.380658 0.133540 0.632353 0.220513 0.361953 0.107226 0.676471 0.185111 0.328103 0.091418 0.720588 0.162252 0.303218 3 khoa_tieng_italia suite17 2145 68 0.031702 0.258617 0.877375 0.028946 0.040957 0.065232 0.033530 0.168224 0.529412 0.255319 0.370370 0.124224 0.588235 0.205128 0.336700 0.116550 0.735294 0.201207 0.356633 0.098881 0.779412 0.175497 0.327970 3 khoa_tieng_italia suite18 2145 68 0.031702 0.256135 0.876724 0.028999 0.037578 0.065320 0.033619 0.158879 0.500000 0.241135 0.349794 0.124224 0.588235 0.205128 0.336700 0.109557 0.691176 0.189135 0.335235 0.108209 0.852941 0.192053 0.358911 3 khoa_tieng_italia suite20 2145 68 0.031702 0.182696 0.844310 0.083755 0.091420 0.114088 0.082386 0.126168 0.397059 0.191489 0.277778 0.096273 0.455882 0.158974 0.260943 0.086247 0.544118 0.148893 0.263909 0.095149 0.750000 0.168874 0.315594 3 khoa_tieng_italia suite21 2145 68 0.031702 0.206976 0.835049 0.030006 0.037895 0.067967 0.036266 0.135514 0.426471 0.205674 0.298354 0.105590 0.500000 0.174359 0.286195 0.093240 0.588235 0.160966 0.285307 0.085821 0.676471 0.152318 0.284653 3 khoa_tieng_italia suite22 2145 68 0.031702 0.271716 0.880399 0.027217 0.018345 0.047698 0.015997 0.172897 0.544118 0.262411 0.380658 0.133540 0.632353 0.220513 0.361953 0.118881 0.750000 0.205231 0.363766 0.102612 0.808824 0.182119 0.340347 3 khoa_tieng_italia suite22_primary 2145 68 0.031702 0.216908 0.872809 0.027618 0.003920 0.034844 0.003142 0.177570 0.558824 0.269504 0.390947 0.139752 0.661765 0.230769 0.378788 0.125874 0.794118 0.217304 0.385164 0.102612 0.808824 0.182119 0.340347 3 khoa_tieng_italia suite22_relational 2145 68 0.031702 0.213833 0.870139 0.028822 0.018923 0.037297 0.005595 0.126168 0.397059 0.191489 0.277778 0.121118 0.573529 0.200000 0.328283 0.118881 0.750000 0.205231 0.363766 0.100746 0.794118 0.178808 0.334158 3 khoa_tieng_italia suite23 2145 68 0.031702 0.207328 0.833251 0.029431 0.034903 0.064843 0.033141 0.135514 0.426471 0.205674 0.298354 0.111801 0.529412 0.184615 0.303030 0.100233 0.632353 0.173038 0.306705 0.082090 0.647059 0.145695 0.272277 3 khoa_tieng_italia suite23_graph 2145 68 0.031702 0.190476 0.856680 0.033666 0.059104 0.090806 0.059104 0.168224 0.529412 0.255319 0.370370 0.133540 0.632353 0.220513 0.361953 0.116550 0.735294 0.201207 0.356633 0.095149 0.750000 0.168874 0.315594 3 khoa_tieng_italia suite24 2145 68 0.031702 0.215837 0.817454 0.030943 0.038342 0.069018 0.037317 0.144860 0.455882 0.219858 0.318930 0.105590 0.500000 0.174359 0.286195 0.088578 0.558824 0.152918 0.271041 0.080224 0.632353 0.142384 0.266089 3 khoa_tieng_italia suite24_posthoc 2145 68 0.031702 0.231373 0.844841 0.028174 0.022054 0.051374 0.019672 0.149533 0.470588 0.226950 0.329218 0.118012 0.558824 0.194872 0.319865 0.100233 0.632353 0.173038 0.306705 0.091418 0.720588 0.162252 0.303218 3 khoa_tieng_italia suite25_committee_blend 2145 68 0.031702 0.220574 0.857650 0.028889 0.033028 0.062914 0.031212 0.144860 0.455882 0.219858 0.318930 0.118012 0.558824 0.194872 0.319865 0.102564 0.647059 0.177062 0.313837 0.091418 0.720588 0.162252 0.303218 3 khoa_tieng_italia suite25_mlp 2145 68 0.031702 0.146561 0.879344 0.034668 0.034940 0.066641 0.034940 0.158879 0.500000 0.241135 0.349794 0.145963 0.691176 0.241026 0.395623 0.123543 0.779412 0.213280 0.378031 0.104478 0.823529 0.185430 0.346535 3 khoa_tieng_italia suite25_sacr 2145 68 0.031702 0.339924 0.887245 0.028704 0.033924 0.061660 0.029958 0.168224 0.529412 0.255319 0.370370 0.139752 0.661765 0.230769 0.378788 0.118881 0.750000 0.205231 0.363766 0.108209 0.852941 0.192053 0.358911 3 khoa_tieng_italia suite25_tabr 2145 68 0.031702 0.184787 0.873333 0.028606 0.011831 0.042396 0.010694 0.144860 0.455882 0.219858 0.318930 0.130435 0.617647 0.215385 0.353535 0.125874 0.794118 0.217304 0.385164 0.108209 0.852941 0.192053 0.358911 3 khoa_tieng_nga committee 1996 92 0.046092 0.421984 0.931432 0.034452 0.035830 0.069994 0.023902 0.340000 0.739130 0.465753 0.598592 0.250836 0.815217 0.383632 0.562219 0.197995 0.858696 0.321792 0.514993 0.162325 0.880435 0.274112 0.467128 3 khoa_tieng_nga suite14 1996 92 0.046092 0.430375 0.921144 0.039912 0.041027 0.086314 0.040222 0.280000 0.608696 0.383562 0.492958 0.237458 0.771739 0.363171 0.532234 0.190476 0.826087 0.309572 0.495437 0.166333 0.902174 0.280880 0.478662 3 khoa_tieng_nga suite16 1996 92 0.046092 0.424612 0.932653 0.098656 0.210658 0.256751 0.210658 0.310000 0.673913 0.424658 0.545775 0.250836 0.815217 0.383632 0.562219 0.203008 0.880435 0.329939 0.528031 0.170341 0.923913 0.287648 0.490196 3 khoa_tieng_nga suite17 1996 92 0.046092 0.424649 0.933858 0.035079 0.044946 0.069618 0.023526 0.350000 0.760870 0.479452 0.616197 0.254181 0.826087 0.388747 0.569715 0.208020 0.902174 0.338086 0.541069 0.168337 0.913043 0.284264 0.484429 3 khoa_tieng_nga suite18 1996 92 0.046092 0.419681 0.935079 0.034986 0.040758 0.069761 0.023669 0.345000 0.750000 0.472603 0.607394 0.257525 0.836957 0.393862 0.577211 0.200501 0.869565 0.325866 0.521512 0.168337 0.913043 0.284264 0.484429 3 khoa_tieng_nga suite20 1996 92 0.046092 0.380608 0.931626 0.083794 0.089171 0.135263 0.089171 0.310000 0.673913 0.424658 0.545775 0.237458 0.771739 0.363171 0.532234 0.200501 0.869565 0.325866 0.521512 0.174349 0.945652 0.294416 0.501730 3 khoa_tieng_nga suite21 1996 92 0.046092 0.456810 0.942284 0.033091 0.038008 0.070874 0.024782 0.345000 0.750000 0.472603 0.607394 0.254181 0.826087 0.388747 0.569715 0.208020 0.902174 0.338086 0.541069 0.172345 0.934783 0.291032 0.495963 3 khoa_tieng_nga suite22 1996 92 0.046092 0.467471 0.943745 0.032052 0.022979 0.053061 0.006969 0.355000 0.771739 0.486301 0.625000 0.270903 0.880435 0.414322 0.607196 0.208020 0.902174 0.338086 0.541069 0.172345 0.934783 0.291032 0.495963 3 khoa_tieng_nga suite22_primary 1996 92 0.046092 0.543715 0.945955 0.030258 0.010046 0.036047 -0.010046 0.355000 0.771739 0.486301 0.625000 0.270903 0.880435 0.414322 0.607196 0.208020 0.902174 0.338086 0.541069 0.170341 0.923913 0.287648 0.490196 3 khoa_tieng_nga suite22_relational 1996 92 0.046092 0.458311 0.929656 0.032843 0.010782 0.049031 0.002939 0.325000 0.706522 0.445205 0.572183 0.267559 0.869565 0.409207 0.599700 0.208020 0.902174 0.338086 0.541069 0.172345 0.934783 0.291032 0.495963 3 khoa_tieng_nga suite23 1996 92 0.046092 0.448413 0.937882 0.033438 0.035023 0.067647 0.021555 0.350000 0.760870 0.479452 0.616197 0.257525 0.836957 0.393862 0.577211 0.203008 0.880435 0.329939 0.528031 0.168337 0.913043 0.284264 0.484429 3 khoa_tieng_nga suite23_graph 1996 92 0.046092 0.468971 0.933418 0.033085 0.035772 0.067372 0.021279 0.345000 0.750000 0.472603 0.607394 0.244147 0.793478 0.373402 0.547226 0.205514 0.891304 0.334012 0.534550 0.168337 0.913043 0.284264 0.484429 3 khoa_tieng_nga suite24 1996 92 0.046092 0.420392 0.931363 0.034633 0.037547 0.077335 0.031243 0.315000 0.684783 0.431507 0.554577 0.244147 0.793478 0.373402 0.547226 0.200501 0.869565 0.325866 0.521512 0.168337 0.913043 0.284264 0.484429 3 khoa_tieng_nga suite24_posthoc 1996 92 0.046092 0.445741 0.939464 0.033296 0.029500 0.060650 0.014558 0.345000 0.750000 0.472603 0.607394 0.257525 0.836957 0.393862 0.577211 0.203008 0.880435 0.329939 0.528031 0.168337 0.913043 0.284264 0.484429 3 khoa_tieng_nga suite25_committee_blend 1996 92 0.046092 0.439819 0.935137 0.033712 0.037839 0.069432 0.023340 0.345000 0.750000 0.472603 0.607394 0.257525 0.836957 0.393862 0.577211 0.200501 0.869565 0.325866 0.521512 0.166333 0.902174 0.280880 0.478662 3 khoa_tieng_nga suite25_mlp 1996 92 0.046092 0.484984 0.941753 0.035829 0.042462 0.088554 0.042462 0.330000 0.717391 0.452055 0.580986 0.270903 0.880435 0.414322 0.607196 0.213033 0.923913 0.346232 0.554107 0.174349 0.945652 0.294416 0.501730 3 khoa_tieng_nga suite25_sacr 1996 92 0.046092 0.374895 0.928703 0.034994 0.035613 0.077637 0.031544 0.325000 0.706522 0.445205 0.572183 0.250836 0.815217 0.383632 0.562219 0.210526 0.913043 0.342159 0.547588 0.170341 0.923913 0.287648 0.490196 3 khoa_tieng_nga suite25_tabr 1996 92 0.046092 0.252164 0.906256 0.038294 0.021185 0.057435 0.011343 0.280000 0.608696 0.383562 0.492958 0.230769 0.750000 0.352941 0.517241 0.187970 0.815217 0.305499 0.488918 0.168337 0.913043 0.284264 0.484429 3 khoa_tieng_nhat committee 2588 17 0.006569 0.377311 0.940273 0.005765 0.014185 0.018554 0.011985 0.057915 0.882353 0.108696 0.229358 0.038660 0.882353 0.074074 0.164474 0.030888 0.941176 0.059813 0.136519 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite14 2588 17 0.006569 0.357011 0.909237 0.012615 0.041325 0.047667 0.041098 0.034749 0.529412 0.065217 0.137615 0.028351 0.647059 0.054321 0.120614 0.028958 0.882353 0.056075 0.127986 0.023184 0.882353 0.045181 0.104895 3 khoa_tieng_nhat suite16 2588 17 0.006569 0.309216 0.939312 0.022760 0.069478 0.076046 0.069478 0.054054 0.823529 0.101449 0.214067 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.023184 0.882353 0.045181 0.104895 3 khoa_tieng_nhat suite17 2588 17 0.006569 0.374713 0.937310 0.006397 0.017579 0.022973 0.016405 0.057915 0.882353 0.108696 0.229358 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite18 2588 17 0.006569 0.374306 0.936006 0.006289 0.016597 0.022309 0.015741 0.057915 0.882353 0.108696 0.229358 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite20 2588 17 0.006569 0.180518 0.924337 0.041997 0.056645 0.063214 0.056645 0.046332 0.705882 0.086957 0.183486 0.036082 0.823529 0.069136 0.153509 0.030888 0.941176 0.059813 0.136519 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite21 2588 17 0.006569 0.362570 0.940399 0.005590 0.013074 0.017806 0.011237 0.057915 0.882353 0.108696 0.229358 0.038660 0.882353 0.074074 0.164474 0.030888 0.941176 0.059813 0.136519 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite22 2588 17 0.006569 0.334171 0.940696 0.005471 0.007009 0.011833 0.005265 0.057915 0.882353 0.108696 0.229358 0.041237 0.941176 0.079012 0.175439 0.030888 0.941176 0.059813 0.136519 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite22_primary 2588 17 0.006569 0.277747 0.935113 0.005556 0.003030 0.005734 -0.000835 0.054054 0.823529 0.101449 0.214067 0.038660 0.882353 0.074074 0.164474 0.030888 0.941176 0.059813 0.136519 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite22_relational 2588 17 0.006569 0.330789 0.960670 0.005709 0.004602 0.010956 0.004387 0.054054 0.823529 0.101449 0.214067 0.038660 0.882353 0.074074 0.164474 0.030888 0.941176 0.059813 0.136519 0.026275 1.000000 0.051205 0.118881 3 khoa_tieng_nhat suite23 2588 17 0.006569 0.380972 0.939460 0.005732 0.013891 0.018512 0.011943 0.057915 0.882353 0.108696 0.229358 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite23_graph 2588 17 0.006569 0.335253 0.922644 0.006449 0.017594 0.023591 0.017022 0.050193 0.764706 0.094203 0.198777 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.023184 0.882353 0.045181 0.104895 3 khoa_tieng_nhat suite24 2588 17 0.006569 0.347971 0.925641 0.005840 0.014575 0.020303 0.013734 0.050193 0.764706 0.094203 0.198777 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.023184 0.882353 0.045181 0.104895 3 khoa_tieng_nhat suite24_posthoc 2588 17 0.006569 0.389310 0.925504 0.005669 0.011803 0.015844 0.009275 0.050193 0.764706 0.094203 0.198777 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.023184 0.882353 0.045181 0.104895 3 khoa_tieng_nhat suite25_committee_blend 2588 17 0.006569 0.386020 0.941977 0.005784 0.013696 0.018915 0.012346 0.057915 0.882353 0.108696 0.229358 0.038660 0.882353 0.074074 0.164474 0.030888 0.941176 0.059813 0.136519 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite25_mlp 2588 17 0.006569 0.123784 0.898048 0.007198 0.012930 0.019498 0.012930 0.042471 0.647059 0.079710 0.168196 0.038660 0.882353 0.074074 0.164474 0.028958 0.882353 0.056075 0.127986 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite25_sacr 2588 17 0.006569 0.081591 0.920127 0.008422 0.025768 0.032337 0.025768 0.054054 0.823529 0.101449 0.214067 0.036082 0.823529 0.069136 0.153509 0.030888 0.941176 0.059813 0.136519 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_nhat suite25_tabr 2588 17 0.006569 0.154372 0.903517 0.006411 0.008447 0.014398 0.007830 0.042471 0.647059 0.079710 0.168196 0.036082 0.823529 0.069136 0.153509 0.028958 0.882353 0.056075 0.127986 0.024730 0.941176 0.048193 0.111888 3 khoa_tieng_phap committee 2693 43 0.015967 0.101848 0.693208 0.016580 0.025891 0.041771 0.025803 0.040892 0.255814 0.070513 0.124717 0.032178 0.302326 0.058166 0.112847 0.029685 0.372093 0.054983 0.112518 0.026746 0.418605 0.050279 0.106509 3 khoa_tieng_phap suite14 2693 43 0.015967 0.117176 0.606099 0.026349 0.046352 0.061353 0.045386 0.048327 0.302326 0.083333 0.147392 0.039604 0.372093 0.071588 0.138889 0.037106 0.465116 0.068729 0.140647 0.029718 0.465116 0.055866 0.118343 3 khoa_tieng_phap suite16 2693 43 0.015967 0.126256 0.826204 0.057257 0.135409 0.151377 0.135409 0.066914 0.418605 0.115385 0.204082 0.051980 0.488372 0.093960 0.182292 0.048237 0.604651 0.089347 0.182841 0.047548 0.744186 0.089385 0.189349 3 khoa_tieng_phap suite17 2693 43 0.015967 0.116178 0.788574 0.016517 0.027749 0.042700 0.026732 0.059480 0.372093 0.102564 0.181406 0.042079 0.395349 0.076063 0.147569 0.042672 0.534884 0.079038 0.161744 0.040119 0.627907 0.075419 0.159763 3 khoa_tieng_phap suite18 2693 43 0.015967 0.112773 0.778271 0.016517 0.026556 0.042523 0.026556 0.052045 0.325581 0.089744 0.158730 0.042079 0.395349 0.076063 0.147569 0.040816 0.511628 0.075601 0.154712 0.037147 0.581395 0.069832 0.147929 3 khoa_tieng_phap suite20 2693 43 0.015967 0.059501 0.725748 0.088148 0.101464 0.117431 0.101464 0.070632 0.441860 0.121795 0.215420 0.051980 0.488372 0.093960 0.182292 0.038961 0.488372 0.072165 0.147679 0.031204 0.488372 0.058659 0.124260 3 khoa_tieng_phap suite21 2693 43 0.015967 0.108362 0.716419 0.017046 0.028151 0.043617 0.027649 0.052045 0.325581 0.089744 0.158730 0.042079 0.395349 0.076063 0.147569 0.035250 0.441860 0.065292 0.133615 0.031204 0.488372 0.058659 0.124260 3 khoa_tieng_phap suite22 2693 43 0.015967 0.126427 0.778903 0.015445 0.013064 0.029031 0.013064 0.063197 0.395349 0.108974 0.192744 0.049505 0.465116 0.089485 0.173611 0.040816 0.511628 0.075601 0.154712 0.035661 0.558140 0.067039 0.142012 3 khoa_tieng_phap suite22_primary 2693 43 0.015967 0.133561 0.845792 0.015107 0.004590 0.018250 0.002282 0.089219 0.558140 0.153846 0.272109 0.074257 0.697674 0.134228 0.260417 0.057514 0.720930 0.106529 0.218003 0.047548 0.744186 0.089385 0.189349 3 khoa_tieng_phap suite22_relational 2693 43 0.015967 0.211370 0.883932 0.014166 0.005268 0.012512 -0.003455 0.092937 0.581395 0.160256 0.283447 0.066832 0.627907 0.120805 0.234375 0.057514 0.720930 0.106529 0.218003 0.050520 0.790698 0.094972 0.201183 3 khoa_tieng_phap suite23 2693 43 0.015967 0.108677 0.779851 0.015775 0.020988 0.035732 0.019765 0.052045 0.325581 0.089744 0.158730 0.051980 0.488372 0.093960 0.182292 0.044527 0.558140 0.082474 0.168776 0.041605 0.651163 0.078212 0.165680 3 khoa_tieng_phap suite23_graph 2693 43 0.015967 0.118303 0.833804 0.016220 0.019814 0.035781 0.019814 0.066914 0.418605 0.115385 0.204082 0.049505 0.465116 0.089485 0.173611 0.048237 0.604651 0.089347 0.182841 0.046062 0.720930 0.086592 0.183432 3 khoa_tieng_phap suite24 2693 43 0.015967 0.127895 0.734015 0.017539 0.034070 0.047913 0.031945 0.048327 0.302326 0.083333 0.147392 0.037129 0.348837 0.067114 0.130208 0.035250 0.441860 0.065292 0.133615 0.031204 0.488372 0.058659 0.124260 3 khoa_tieng_phap suite24_posthoc 2693 43 0.015967 0.121700 0.749785 0.015718 0.021913 0.034579 0.018612 0.048327 0.302326 0.083333 0.147392 0.039604 0.372093 0.071588 0.138889 0.035250 0.441860 0.065292 0.133615 0.034175 0.534884 0.064246 0.136095 3 khoa_tieng_phap suite25_committee_blend 2693 43 0.015967 0.103851 0.700842 0.016486 0.025734 0.041061 0.025094 0.048327 0.302326 0.083333 0.147392 0.034653 0.325581 0.062640 0.121528 0.027829 0.348837 0.051546 0.105485 0.025260 0.395349 0.047486 0.100592 3 khoa_tieng_phap suite25_mlp 2693 43 0.015967 0.133394 0.797595 0.022590 0.026554 0.042105 0.026138 0.059480 0.372093 0.102564 0.181406 0.056931 0.534884 0.102908 0.199653 0.050093 0.627907 0.092784 0.189873 0.047548 0.744186 0.089385 0.189349 3 khoa_tieng_phap suite25_sacr 2693 43 0.015967 0.045260 0.695893 0.020644 0.033097 0.049064 0.033097 0.048327 0.302326 0.083333 0.147392 0.047030 0.441860 0.085011 0.164931 0.044527 0.558140 0.082474 0.168776 0.038633 0.604651 0.072626 0.153846 3 khoa_tieng_phap suite25_tabr 2693 43 0.015967 0.093919 0.802949 0.015657 0.008804 0.024771 0.008804 0.081784 0.511628 0.141026 0.249433 0.056931 0.534884 0.102908 0.199653 0.046382 0.581395 0.085911 0.175809 0.047548 0.744186 0.089385 0.189349 ================================================================================================================================================================================ SUITE25 TARGET FOLD 4 ================================================================================================================================================================================ [DATA] history=376,999 fail=7,598 (2.02%) train=254,508 validation=122,491 target=41,376 fail=1,100 (2.66%) ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_mlp] [SELECT MLP] epoch=01/10 loss=0.10765 BCE=0.07842 rank=0.29233 macroAP=0.1761 F2@20=0.2670 Brier=0.0268 best=01 [SELECT MLP] epoch=02/10 loss=0.09005 BCE=0.06826 rank=0.21788 macroAP=0.2034 F2@20=0.2742 Brier=0.0247 best=02 [SELECT MLP] epoch=03/10 loss=0.08289 BCE=0.06407 rank=0.18818 macroAP=0.2170 F2@20=0.2840 Brier=0.0247 best=03 [SELECT MLP] epoch=04/10 loss=0.07308 BCE=0.05851 rank=0.14571 macroAP=0.2121 F2@20=0.2925 Brier=0.0254 best=03 [SELECT MLP] epoch=05/10 loss=0.06746 BCE=0.05468 rank=0.12781 macroAP=0.2112 F2@20=0.2887 Brier=0.0251 best=03 [SELECT MLP] epoch=06/10 loss=0.06129 BCE=0.05044 rank=0.10847 macroAP=0.2047 F2@20=0.2976 Brier=0.0254 best=03 [RETRIEVAL CACHE] selection phase... [RETRIEVAL INDEX] building selection: bank=254,508 query=376,999 PCA=24 [STATE RETRIEVAL] semester=6056 queries=225 eligible_bank=11,015 k=32 [STATE RETRIEVAL] semester=6057 queries=27,064 eligible_bank=11,240 k=32 [STATE RETRIEVAL] semester=6058 queries=27,400 eligible_bank=38,304 k=32 [STATE RETRIEVAL] semester=6059 queries=458 eligible_bank=65,704 k=32 [STATE RETRIEVAL] semester=6060 queries=42,415 eligible_bank=66,162 k=32 [STATE RETRIEVAL] semester=6061 queries=39,361 eligible_bank=108,577 k=32 [STATE RETRIEVAL] semester=6062 queries=906 eligible_bank=147,938 k=32 [STATE RETRIEVAL] semester=6063 queries=48,526 eligible_bank=148,844 k=32 [STATE RETRIEVAL] semester=6064 queries=42,562 eligible_bank=197,370 k=32 [STATE RETRIEVAL] semester=6065 queries=740 eligible_bank=239,932 k=32 [STATE RETRIEVAL] semester=6066 queries=45,800 eligible_bank=240,672 k=32 [STATE RETRIEVAL] semester=6067 queries=42,122 eligible_bank=254,508 k=32 [STATE RETRIEVAL] semester=6068 queries=985 eligible_bank=254,508 k=32 [STATE RETRIEVAL] semester=6069 queries=47,420 eligible_bank=254,508 k=32 [STATE RETRIEVAL] complete N=376,999 in 1.57 min [RETRIEVAL CACHE] 25,000/376,999 [RETRIEVAL CACHE] 50,000/376,999 [RETRIEVAL CACHE] 75,000/376,999 [RETRIEVAL CACHE] 100,000/376,999 [RETRIEVAL CACHE] 125,000/376,999 [RETRIEVAL CACHE] 150,000/376,999 [RETRIEVAL CACHE] 175,000/376,999 [RETRIEVAL CACHE] 200,000/376,999 [RETRIEVAL CACHE] 225,000/376,999 [RETRIEVAL CACHE] 250,000/376,999 [RETRIEVAL CACHE] 275,000/376,999 [RETRIEVAL CACHE] 300,000/376,999 [RETRIEVAL CACHE] 325,000/376,999 [RETRIEVAL CACHE] 350,000/376,999 [RETRIEVAL CACHE] 375,000/376,999 [RETRIEVAL CACHE] complete N=376,999 bank=254,508 maxP=96 in 3.63 min FOLD 4 SELECTION RETRIEVAL SUPPORT -------------------------------------------------------------------------------- faculty rows prevalence any_candidate_zero_rate same_student_mean same_student_zero_rate same_student_candidate_fail_rate same_course_mean same_course_zero_rate same_course_candidate_fail_rate structural_mean structural_zero_rate structural_candidate_fail_rate state_mean state_zero_rate state_candidate_fail_rate candidate_mean cross_faculty_candidate_rate candidate_recency_mean khoa_cong_nghe_thong_tin 35187 0.032256 0.017734 7.330349 0.375821 0.013891 19.523688 0.186063 0.018875 2.470145 0.583397 0.028073 31.432518 0.017734 0.035051 59.897718 0.259301 3.117188 khoa_quan_tri_kinh_doanh_va_du_lich 52130 0.029599 0.035891 8.071437 0.229925 0.016777 19.892020 0.162018 0.029661 5.571533 0.285881 0.049517 30.851487 0.035891 0.031274 63.142183 0.184752 2.394531 khoa_quoc_te_hoc 17562 0.009908 0.031204 6.821831 0.387712 0.003472 18.288350 0.231295 0.004343 5.603633 0.310500 0.001026 31.001480 0.031204 0.020404 60.686596 0.413784 3.001953 khoa_tieng_anh 71769 0.016609 0.027575 9.056863 0.233708 0.003280 16.223523 0.319469 0.017252 4.062799 0.455475 0.035897 31.117613 0.027575 0.015112 59.219287 0.315785 2.406250 khoa_tieng_bo_dao_nha 6633 0.035127 0.022463 8.269863 0.301673 0.015970 19.403739 0.173376 0.020007 4.044475 0.381878 0.024863 31.281170 0.022463 0.043974 61.370270 0.543001 2.978516 khoa_tieng_duc 16585 0.019174 0.024661 8.483931 0.307808 0.004705 19.183238 0.199518 0.013151 1.376304 0.792825 0.003724 31.210853 0.024661 0.014306 59.197046 0.541299 2.742188 khoa_tieng_han_quoc 26578 0.006246 0.029686 8.733915 0.290955 0.002210 15.959591 0.331402 0.008303 3.133531 0.474904 0.059964 31.050041 0.029686 0.004682 58.061555 0.519513 2.669922 khoa_tieng_italia 16985 0.033912 0.025140 8.675302 0.279894 0.011829 17.847159 0.215543 0.022960 5.083427 0.275007 0.012010 31.195525 0.025140 0.040734 61.259582 0.448682 2.796875 khoa_tieng_nga 11759 0.046518 0.026193 7.652862 0.366698 0.020136 19.829237 0.164895 0.022044 5.625308 0.200782 0.059049 31.161833 0.026193 0.043200 62.520963 0.451756 2.929688 khoa_tieng_nhat 26919 0.009064 0.038449 8.605000 0.323378 0.003052 17.310933 0.276533 0.012865 4.661280 0.264683 0.058122 30.769642 0.038449 0.007264 59.995654 0.348913 2.595703 khoa_tieng_phap 22768 0.013308 0.048401 8.386068 0.310040 0.004242 18.279120 0.235770 0.009066 4.283688 0.320011 0.022834 30.451160 0.048401 0.017080 59.910444 0.373718 2.771484 khoa_tieng_tay_ban_nha 12085 0.027224 0.036161 8.726603 0.297807 0.010279 18.571038 0.217625 0.010618 7.318659 0.184113 0.008706 30.842863 0.036161 0.028157 63.999669 0.471933 2.746094 khoa_tieng_trung_quoc 52678 0.007574 0.022305 8.511846 0.287691 0.002328 17.813205 0.257052 0.007586 4.331637 0.303789 0.011666 31.286230 0.022305 0.006164 61.200710 0.353728 2.695312 khoa_viet_nam_hoc 7361 0.059639 0.022008 7.182040 0.335145 0.037698 17.152017 0.260562 0.062326 0.083684 0.979894 0.000000 31.295748 0.022008 0.063438 53.029616 0.071159 2.998047 ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_tabr] [SELECT TABR] epoch=01/10 loss=0.10640 BCE=0.07802 rank=0.28383 macroAP=0.2155 F2@20=0.2905 Brier=0.0269 best=01 [SELECT TABR] epoch=02/10 loss=0.08921 BCE=0.06808 rank=0.21123 macroAP=0.1729 F2@20=0.2765 Brier=0.0265 best=01 [SELECT TABR] epoch=03/10 loss=0.07809 BCE=0.06069 rank=0.17398 macroAP=0.1841 F2@20=0.2710 Brier=0.0256 best=01 [SELECT TABR] epoch=04/10 loss=0.07346 BCE=0.05893 rank=0.14532 macroAP=0.1853 F2@20=0.2719 Brier=0.0270 best=01 [SELECT TABR] epoch=05/10 loss=0.06602 BCE=0.05364 rank=0.12387 macroAP=0.1690 F2@20=0.2707 Brier=0.0290 best=01 ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_sacr] [SELECT SACR] epoch=01/10 loss=0.09457 BCE=0.07076 rank=0.23805 macroAP=0.2489 F2@20=0.2882 Brier=0.0248 best=01 [SELECT SACR] epoch=02/10 loss=0.07976 BCE=0.06185 rank=0.17913 macroAP=0.2484 F2@20=0.2835 Brier=0.0237 best=01 [SELECT SACR] epoch=03/10 loss=0.07155 BCE=0.05720 rank=0.14349 macroAP=0.2511 F2@20=0.2989 Brier=0.0236 best=03 [SELECT SACR] epoch=04/10 loss=0.06285 BCE=0.05115 rank=0.11697 macroAP=0.2459 F2@20=0.2947 Brier=0.0262 best=03 [SELECT SACR] epoch=05/10 loss=0.05987 BCE=0.04949 rank=0.10383 macroAP=0.2381 F2@20=0.2848 Brier=0.0248 best=03 [SELECT SACR] epoch=06/10 loss=0.05525 BCE=0.04601 rank=0.09233 macroAP=0.2569 F2@20=0.2927 Brier=0.0237 best=06 [SELECT SACR] epoch=07/10 loss=0.05336 BCE=0.04462 rank=0.08743 macroAP=0.2473 F2@20=0.2927 Brier=0.0241 best=06 [SELECT SACR] epoch=08/10 loss=0.05003 BCE=0.04285 rank=0.07180 macroAP=0.2550 F2@20=0.2906 Brier=0.0248 best=06 [SELECT SACR] epoch=09/10 loss=0.04776 BCE=0.04063 rank=0.07129 macroAP=0.2312 F2@20=0.2899 Brier=0.0255 best=06 [COMMITTEE BLEND ABLATION] selected alpha=0.50 policyAP=0.3218 policyF2=0.3237 [RETRIEVAL CACHE] production history... [RETRIEVAL INDEX] building production-history: bank=376,999 query=376,999 PCA=24 [STATE RETRIEVAL] semester=6056 queries=225 eligible_bank=11,015 k=32 [STATE RETRIEVAL] semester=6057 queries=27,064 eligible_bank=11,240 k=32 [STATE RETRIEVAL] semester=6058 queries=27,400 eligible_bank=38,304 k=32 [STATE RETRIEVAL] semester=6059 queries=458 eligible_bank=65,704 k=32 [STATE RETRIEVAL] semester=6060 queries=42,415 eligible_bank=66,162 k=32 [STATE RETRIEVAL] semester=6061 queries=39,361 eligible_bank=108,577 k=32 [STATE RETRIEVAL] semester=6062 queries=906 eligible_bank=147,938 k=32 [STATE RETRIEVAL] semester=6063 queries=48,526 eligible_bank=148,844 k=32 [STATE RETRIEVAL] semester=6064 queries=42,562 eligible_bank=197,370 k=32 [STATE RETRIEVAL] semester=6065 queries=740 eligible_bank=239,932 k=32 [STATE RETRIEVAL] semester=6066 queries=45,800 eligible_bank=240,672 k=32 [STATE RETRIEVAL] semester=6067 queries=42,122 eligible_bank=286,472 k=32 [STATE RETRIEVAL] semester=6068 queries=985 eligible_bank=328,594 k=32 [STATE RETRIEVAL] semester=6069 queries=47,420 eligible_bank=329,579 k=32 [STATE RETRIEVAL] complete N=376,999 in 1.56 min [RETRIEVAL CACHE] 25,000/376,999 [RETRIEVAL CACHE] 50,000/376,999 [RETRIEVAL CACHE] 75,000/376,999 [RETRIEVAL CACHE] 100,000/376,999 [RETRIEVAL CACHE] 125,000/376,999 [RETRIEVAL CACHE] 150,000/376,999 [RETRIEVAL CACHE] 175,000/376,999 [RETRIEVAL CACHE] 200,000/376,999 [RETRIEVAL CACHE] 225,000/376,999 [RETRIEVAL CACHE] 250,000/376,999 [RETRIEVAL CACHE] 275,000/376,999 [RETRIEVAL CACHE] 300,000/376,999 [RETRIEVAL CACHE] 325,000/376,999 [RETRIEVAL CACHE] 350,000/376,999 [RETRIEVAL CACHE] 375,000/376,999 [RETRIEVAL CACHE] complete N=376,999 bank=376,999 maxP=96 in 3.50 min [RETRIEVAL CACHE] production target... [RETRIEVAL INDEX] building production-target: bank=376,999 query=41,376 PCA=24 [STATE RETRIEVAL] semester=6070 queries=41,376 eligible_bank=376,999 k=32 [STATE RETRIEVAL] complete N=41,376 in 0.38 min [RETRIEVAL CACHE] 25,000/41,376 [RETRIEVAL CACHE] complete N=41,376 bank=376,999 maxP=96 in 0.50 min FOLD 4 TARGET RETRIEVAL SUPPORT -------------------------------------------------------------------------------- faculty rows prevalence any_candidate_zero_rate same_student_mean same_student_zero_rate same_student_candidate_fail_rate same_course_mean same_course_zero_rate same_course_candidate_fail_rate structural_mean structural_zero_rate structural_candidate_fail_rate state_mean state_zero_rate state_candidate_fail_rate candidate_mean cross_faculty_candidate_rate candidate_recency_mean fold khoa_cong_nghe_thong_tin 5072 0.048107 0.0 11.692626 0.002169 0.019948 22.983044 0.039432 0.032598 2.642153 0.524645 0.012536 32.0 0.0 0.046431 67.016759 0.153038 2.681641 4 khoa_quan_tri_kinh_doanh_va_du_lich 6440 0.037422 0.0 10.759783 0.002795 0.023047 23.287578 0.023913 0.022998 7.358230 0.193012 0.040391 32.0 0.0 0.046603 71.605590 0.135967 2.398438 4 khoa_quoc_te_hoc 2202 0.015895 0.0 11.649410 0.007266 0.005146 21.912807 0.084923 0.004269 7.230699 0.182107 0.000063 32.0 0.0 0.029959 70.133061 0.328466 2.750000 4 khoa_tieng_anh 6636 0.010247 0.0 11.662598 0.027125 0.003385 21.132459 0.118143 0.021992 8.084087 0.412146 0.008966 32.0 0.0 0.013732 71.415310 0.375287 2.523438 4 khoa_tieng_bo_dao_nha 869 0.073648 0.0 12.903337 0.001151 0.035940 22.296893 0.065593 0.025650 3.880322 0.317606 0.054567 32.0 0.0 0.064981 67.711162 0.425639 2.828125 4 khoa_tieng_duc 1746 0.025200 0.0 12.784651 0.004582 0.015232 22.694158 0.053837 0.024783 1.593356 0.800115 0.001078 32.0 0.0 0.035152 66.190149 0.429150 2.550781 4 khoa_tieng_han_quoc 3351 0.011340 0.0 11.939123 0.020591 0.006749 21.866309 0.088630 0.001337 3.044464 0.527305 0.000392 32.0 0.0 0.008971 66.847210 0.386487 2.537109 4 khoa_tieng_italia 1795 0.018942 0.0 12.476880 0.000000 0.009823 18.857382 0.183287 0.018258 4.485237 0.348189 0.017513 32.0 0.0 0.041661 64.905850 0.444106 2.287109 4 khoa_tieng_nga 1659 0.068716 0.0 11.839060 0.001808 0.030447 19.111513 0.200121 0.039582 5.027125 0.278481 0.017386 32.0 0.0 0.060334 64.817963 0.409697 2.361328 4 khoa_tieng_nhat 2413 0.015748 0.0 11.634894 0.001658 0.004773 22.106506 0.070452 0.011960 5.101119 0.213427 0.044926 32.0 0.0 0.008107 68.407377 0.359775 2.558594 4 khoa_tieng_phap 2275 0.008352 0.0 11.624176 0.000000 0.008092 20.120879 0.157802 0.009241 5.866374 0.190330 0.005020 32.0 0.0 0.021538 66.599560 0.313872 2.623047 4 khoa_tieng_tay_ban_nha 1306 0.029862 0.0 12.153139 0.000000 0.030431 21.119449 0.118683 0.023892 8.297090 0.078101 0.060908 32.0 0.0 0.042329 71.247320 0.432622 2.531250 4 khoa_tieng_trung_quoc 5107 0.020364 0.0 11.885647 0.032896 0.006524 19.220678 0.198943 0.009933 3.666536 0.495007 0.027343 32.0 0.0 0.016650 64.909144 0.232887 2.511719 4 khoa_viet_nam_hoc 505 0.035644 0.0 9.728713 0.000000 0.017301 20.578218 0.142574 0.042052 0.332673 0.958416 0.000000 32.0 0.0 0.057240 56.881188 0.058346 3.183594 4 [CHRONOLOGY AUDIT] violations=0 / 418,375 | every retrieved label semester < query semester [REFIT MLP] epoch=01/3 loss=0.11671 BCE=0.08636 rank=0.30357 [REFIT MLP] epoch=03/3 loss=0.09875 BCE=0.07652 rank=0.22229 [VARIANT suite25_mlp] selected_epochs=3 target macroAP=0.2368 [REFIT TABR] epoch=01/1 loss=0.11206 BCE=0.08232 rank=0.29749 [VARIANT suite25_tabr] selected_epochs=1 target macroAP=0.3061 [REFIT SACR] epoch=01/6 loss=0.10066 BCE=0.07590 rank=0.24764 [REFIT SACR] epoch=06/6 loss=0.06813 BCE=0.05557 rank=0.12563 [VARIANT suite25_sacr] selected_epochs=6 target macroAP=0.3808 SUITE25 TARGET FOLD 4 — NEW + AVAILABLE REFERENCE RESULTS -------------------------------------------------------------------------------- fold faculty model rows failures prevalence ap auc brier ece10 mean_score calibration_gap precision_at_10 recall_at_10 f1_at_10 fbeta_at_10 precision_at_15 recall_at_15 f1_at_15 fbeta_at_15 precision_at_20 recall_at_20 f1_at_20 fbeta_at_20 precision_at_25 recall_at_25 f1_at_25 fbeta_at_25 4 khoa_cong_nghe_thong_tin committee 5072 244 0.048107 0.378777 0.887995 0.037427 0.017945 0.056748 0.008641 0.287968 0.598361 0.388815 0.492245 0.235217 0.733607 0.356219 0.515256 0.189349 0.786885 0.305246 0.482412 0.162461 0.844262 0.272487 0.459002 4 khoa_cong_nghe_thong_tin council 5072 244 0.048107 0.414418 0.903728 0.036559 0.023658 0.070543 0.022436 0.311637 0.647541 0.420772 0.532704 0.237845 0.741803 0.360199 0.521013 0.198225 0.823770 0.319555 0.505025 0.167192 0.868852 0.280423 0.472371 4 khoa_cong_nghe_thong_tin suite14 5072 244 0.048107 0.378777 0.887995 0.037427 0.017945 0.056748 0.008641 0.287968 0.598361 0.388815 0.492245 0.235217 0.733607 0.356219 0.515256 0.189349 0.786885 0.305246 0.482412 0.162461 0.844262 0.272487 0.459002 4 khoa_cong_nghe_thong_tin suite16 5072 244 0.048107 0.385248 0.893210 0.045897 0.060652 0.108760 0.060652 0.291913 0.606557 0.394141 0.498989 0.235217 0.733607 0.356219 0.515256 0.196252 0.815574 0.316375 0.500000 0.164038 0.852459 0.275132 0.463458 4 khoa_cong_nghe_thong_tin suite17 5072 244 0.048107 0.387517 0.895507 0.036382 0.016993 0.060573 0.012466 0.295858 0.614754 0.399467 0.505732 0.235217 0.733607 0.356219 0.515256 0.198225 0.823770 0.319555 0.505025 0.165615 0.860656 0.277778 0.467914 4 khoa_cong_nghe_thong_tin suite18 5072 244 0.048107 0.388248 0.896229 0.036372 0.014992 0.060887 0.012780 0.295858 0.614754 0.399467 0.505732 0.233903 0.729508 0.354229 0.512378 0.196252 0.815574 0.316375 0.500000 0.163249 0.848361 0.273810 0.461230 4 khoa_cong_nghe_thong_tin suite20 5072 244 0.048107 0.296976 0.861361 0.095693 0.149447 0.197554 0.149447 0.260355 0.540984 0.351531 0.445044 0.207622 0.647541 0.314428 0.454807 0.168639 0.700820 0.271860 0.429648 0.145899 0.758197 0.244709 0.412210 4 khoa_cong_nghe_thong_tin suite21 5072 244 0.048107 0.388536 0.893152 0.036970 0.012038 0.055940 0.007833 0.287968 0.598361 0.388815 0.492245 0.228647 0.713115 0.346269 0.500864 0.190335 0.790984 0.306836 0.484925 0.163249 0.848361 0.273810 0.461230 4 khoa_cong_nghe_thong_tin suite22 5072 244 0.048107 0.399243 0.897276 0.036307 0.016298 0.051045 0.002938 0.305720 0.635246 0.412783 0.522589 0.239159 0.745902 0.362189 0.523892 0.194280 0.807377 0.313196 0.494975 0.164038 0.852459 0.275132 0.463458 4 khoa_cong_nghe_thong_tin suite22_primary 5072 244 0.048107 0.378661 0.881782 0.036795 0.004919 0.044225 -0.003882 0.285996 0.594262 0.386152 0.488874 0.218134 0.680328 0.330348 0.477835 0.179487 0.745902 0.289348 0.457286 0.157729 0.819672 0.264550 0.445633 4 khoa_cong_nghe_thong_tin suite22_relational 5072 244 0.048107 0.339791 0.860343 0.038752 0.022547 0.027585 -0.020522 0.246548 0.512295 0.332889 0.421443 0.195795 0.610656 0.296517 0.428900 0.160750 0.668033 0.259141 0.409548 0.147476 0.766393 0.247354 0.416667 4 khoa_cong_nghe_thong_tin suite23 5072 244 0.048107 0.407552 0.898207 0.036349 0.015804 0.049194 0.001087 0.299803 0.622951 0.404794 0.512475 0.231275 0.721311 0.350249 0.506621 0.192308 0.799180 0.310016 0.489950 0.163249 0.848361 0.273810 0.461230 4 khoa_cong_nghe_thong_tin suite23_graph 5072 244 0.048107 0.342413 0.866389 0.038784 0.016898 0.049016 0.000909 0.266272 0.553279 0.359521 0.455158 0.212878 0.663934 0.322388 0.466321 0.172584 0.717213 0.278219 0.439698 0.150631 0.782787 0.252646 0.425579 4 khoa_cong_nghe_thong_tin suite24 5072 244 0.048107 0.380217 0.889591 0.037151 0.009468 0.046878 -0.001229 0.291913 0.606557 0.394141 0.498989 0.233903 0.729508 0.354229 0.512378 0.193294 0.803279 0.311606 0.492462 0.167192 0.868852 0.280423 0.472371 4 khoa_cong_nghe_thong_tin suite24_posthoc 5072 244 0.048107 0.387963 0.890068 0.036884 0.008792 0.044235 -0.003873 0.280079 0.581967 0.378162 0.478759 0.227332 0.709016 0.344279 0.497985 0.189349 0.786885 0.305246 0.482412 0.163249 0.848361 0.273810 0.461230 4 khoa_cong_nghe_thong_tin suite25_committee_blend 5072 244 0.048107 0.412275 0.894115 0.035743 0.021235 0.064743 0.016635 0.309665 0.643443 0.418109 0.529332 0.231275 0.721311 0.350249 0.506621 0.190335 0.790984 0.306836 0.484925 0.160095 0.831967 0.268519 0.452317 4 khoa_cong_nghe_thong_tin suite25_mlp 5072 244 0.048107 0.231355 0.822271 0.041885 0.019499 0.066948 0.018841 0.203156 0.422131 0.274301 0.347269 0.168200 0.524590 0.254726 0.368451 0.149901 0.622951 0.241653 0.381910 0.131703 0.684426 0.220899 0.372103 4 khoa_cong_nghe_thong_tin suite25_sacr 5072 244 0.048107 0.406807 0.866577 0.037310 0.039985 0.083176 0.035069 0.284024 0.590164 0.383489 0.485502 0.207622 0.647541 0.314428 0.454807 0.173570 0.721311 0.279809 0.442211 0.149054 0.774590 0.250000 0.421123 4 khoa_cong_nghe_thong_tin suite25_tabr 5072 244 0.048107 0.266164 0.807470 0.041322 0.006907 0.041200 -0.006907 0.203156 0.422131 0.274301 0.347269 0.164258 0.512295 0.248756 0.359816 0.144970 0.602459 0.233704 0.369347 0.129338 0.672131 0.216931 0.365419 4 khoa_cong_nghe_thong_tin v2 5072 244 0.048107 0.393242 0.892005 0.088444 0.168180 0.216287 0.168180 0.293886 0.610656 0.396804 0.502360 0.227332 0.709016 0.344279 0.497985 0.189349 0.786885 0.305246 0.482412 0.160883 0.836066 0.269841 0.454545 4 khoa_quan_tri_kinh_doanh_va_du_lich committee 6440 241 0.037422 0.432508 0.920474 0.027709 0.021085 0.058019 0.020596 0.271739 0.726141 0.395480 0.544154 0.201863 0.809129 0.323115 0.505181 0.163043 0.871369 0.274689 0.466252 0.133540 0.892116 0.232307 0.417638 4 khoa_quan_tri_kinh_doanh_va_du_lich suite14 6440 241 0.037422 0.432508 0.920474 0.027709 0.021085 0.058019 0.020596 0.271739 0.726141 0.395480 0.544154 0.201863 0.809129 0.323115 0.505181 0.163043 0.871369 0.274689 0.466252 0.133540 0.892116 0.232307 0.417638 4 khoa_quan_tri_kinh_doanh_va_du_lich suite16 6440 241 0.037422 0.442292 0.927777 0.042402 0.078336 0.115759 0.078336 0.277950 0.742739 0.404520 0.556592 0.208075 0.834025 0.333057 0.520725 0.164596 0.879668 0.277305 0.470693 0.137267 0.917012 0.238790 0.429293 4 khoa_quan_tri_kinh_doanh_va_du_lich suite17 6440 241 0.037422 0.443585 0.929220 0.028190 0.026084 0.062501 0.025079 0.282609 0.755187 0.411299 0.565920 0.207039 0.829876 0.331400 0.518135 0.163043 0.871369 0.274689 0.466252 0.134783 0.900415 0.234468 0.421523 4 khoa_quan_tri_kinh_doanh_va_du_lich suite18 6440 241 0.037422 0.443761 0.929665 0.028241 0.027026 0.062986 0.025564 0.282609 0.755187 0.411299 0.565920 0.207039 0.829876 0.331400 0.518135 0.163043 0.871369 0.274689 0.466252 0.136025 0.908714 0.236629 0.425408 4 khoa_quan_tri_kinh_doanh_va_du_lich suite20 6440 241 0.037422 0.269802 0.897731 0.106162 0.162863 0.200286 0.162863 0.226708 0.605809 0.329944 0.453980 0.174948 0.701245 0.280033 0.437824 0.145186 0.775934 0.244604 0.415187 0.129193 0.863071 0.224743 0.404040 4 khoa_quan_tri_kinh_doanh_va_du_lich suite21 6440 241 0.037422 0.438791 0.925347 0.027500 0.020974 0.058020 0.020598 0.273292 0.730290 0.397740 0.547264 0.207039 0.829876 0.331400 0.518135 0.164596 0.879668 0.277305 0.470693 0.135404 0.904564 0.235548 0.423465 4 khoa_quan_tri_kinh_doanh_va_du_lich suite22 6440 241 0.037422 0.456000 0.930370 0.026676 0.015946 0.052899 0.015477 0.282609 0.755187 0.411299 0.565920 0.208075 0.834025 0.333057 0.520725 0.164596 0.879668 0.277305 0.470693 0.137888 0.921162 0.239870 0.431235 4 khoa_quan_tri_kinh_doanh_va_du_lich suite22_primary 6440 241 0.037422 0.407717 0.933004 0.028158 0.012083 0.049506 0.012083 0.273292 0.730290 0.397740 0.547264 0.203934 0.817427 0.326429 0.510363 0.163820 0.875519 0.275997 0.468472 0.137888 0.921162 0.239870 0.431235 4 khoa_quan_tri_kinh_doanh_va_du_lich suite22_relational 6440 241 0.037422 0.382417 0.929036 0.031323 0.024484 0.061906 0.024484 0.263975 0.705394 0.384181 0.528607 0.203934 0.817427 0.326429 0.510363 0.165373 0.883817 0.278613 0.472913 0.137888 0.921162 0.239870 0.431235 4 khoa_quan_tri_kinh_doanh_va_du_lich suite23 6440 241 0.037422 0.491526 0.939974 0.026477 0.018636 0.041056 0.003634 0.288820 0.771784 0.420339 0.578358 0.212215 0.850622 0.339685 0.531088 0.168478 0.900415 0.283846 0.481794 0.140373 0.937759 0.244192 0.439005 4 khoa_quan_tri_kinh_doanh_va_du_lich suite23_graph 6440 241 0.037422 0.428389 0.930343 0.028980 0.015252 0.033992 -0.003430 0.263975 0.705394 0.384181 0.528607 0.207039 0.829876 0.331400 0.518135 0.164596 0.879668 0.277305 0.470693 0.138509 0.925311 0.240951 0.433178 4 khoa_quan_tri_kinh_doanh_va_du_lich suite24 6440 241 0.037422 0.442857 0.928442 0.026680 0.011726 0.046251 0.008829 0.276398 0.738589 0.402260 0.553483 0.203934 0.817427 0.326429 0.510363 0.164596 0.879668 0.277305 0.470693 0.137267 0.917012 0.238790 0.429293 4 khoa_quan_tri_kinh_doanh_va_du_lich suite24_posthoc 6440 241 0.037422 0.457135 0.936060 0.026759 0.016417 0.042641 0.005219 0.282609 0.755187 0.411299 0.565920 0.210145 0.842324 0.336371 0.525907 0.166149 0.887967 0.279922 0.475133 0.137267 0.917012 0.238790 0.429293 4 khoa_quan_tri_kinh_doanh_va_du_lich suite25_committee_blend 6440 241 0.037422 0.495533 0.925637 0.027004 0.033266 0.068417 0.030994 0.284161 0.759336 0.413559 0.569030 0.199793 0.800830 0.319801 0.500000 0.157609 0.842324 0.265533 0.450710 0.133540 0.892116 0.232307 0.417638 4 khoa_quan_tri_kinh_doanh_va_du_lich suite25_mlp 6440 241 0.037422 0.210362 0.869578 0.033558 0.027013 0.064435 0.027013 0.192547 0.514523 0.280226 0.385572 0.151139 0.605809 0.241922 0.378238 0.132764 0.709544 0.223676 0.379663 0.114907 0.767635 0.199892 0.359363 4 khoa_quan_tri_kinh_doanh_va_du_lich suite25_sacr 6440 241 0.037422 0.456472 0.911248 0.031347 0.054838 0.090823 0.053401 0.265528 0.709544 0.386441 0.531716 0.191511 0.767635 0.306545 0.479275 0.152174 0.813278 0.256377 0.435169 0.126708 0.846473 0.220421 0.396270 4 khoa_quan_tri_kinh_doanh_va_du_lich suite25_tabr 6440 241 0.037422 0.285791 0.870521 0.031910 0.006966 0.031012 -0.006411 0.203416 0.543568 0.296045 0.407338 0.171843 0.688797 0.275062 0.430052 0.139752 0.746888 0.235448 0.399645 0.118634 0.792531 0.206375 0.371018 4 khoa_quoc_te_hoc committee 2202 35 0.015895 0.097129 0.880691 0.016323 0.009167 0.025061 0.009167 0.081818 0.514286 0.141176 0.250000 0.066667 0.628571 0.120548 0.234043 0.065909 0.828571 0.122105 0.250000 0.054545 0.857143 0.102564 0.217391 4 khoa_quoc_te_hoc suite14 2202 35 0.015895 0.097129 0.880691 0.016323 0.009167 0.025061 0.009167 0.081818 0.514286 0.141176 0.250000 0.066667 0.628571 0.120548 0.234043 0.065909 0.828571 0.122105 0.250000 0.054545 0.857143 0.102564 0.217391 4 khoa_quoc_te_hoc suite16 2202 35 0.015895 0.105504 0.879161 0.022624 0.037741 0.053635 0.037741 0.072727 0.457143 0.125490 0.222222 0.069697 0.657143 0.126027 0.244681 0.063636 0.800000 0.117895 0.241379 0.054545 0.857143 0.102564 0.217391 4 khoa_quoc_te_hoc suite17 2202 35 0.015895 0.101694 0.890553 0.016091 0.011415 0.027310 0.011415 0.081818 0.514286 0.141176 0.250000 0.078788 0.742857 0.142466 0.276596 0.063636 0.800000 0.117895 0.241379 0.058182 0.914286 0.109402 0.231884 4 khoa_quoc_te_hoc suite18 2202 35 0.015895 0.097812 0.883723 0.016301 0.011726 0.027620 0.011726 0.086364 0.542857 0.149020 0.263889 0.072727 0.685714 0.131507 0.255319 0.059091 0.742857 0.109474 0.224138 0.056364 0.885714 0.105983 0.224638 4 khoa_quoc_te_hoc suite20 2202 35 0.015895 0.100794 0.882458 0.164017 0.222128 0.238022 0.222128 0.090909 0.571429 0.156863 0.277778 0.069697 0.657143 0.126027 0.244681 0.063636 0.800000 0.117895 0.241379 0.052727 0.828571 0.099145 0.210145 4 khoa_quoc_te_hoc suite21 2202 35 0.015895 0.097628 0.890883 0.017242 0.011164 0.027059 0.011164 0.090909 0.571429 0.156863 0.277778 0.072727 0.685714 0.131507 0.255319 0.068182 0.857143 0.126316 0.258621 0.056364 0.885714 0.105983 0.224638 4 khoa_quoc_te_hoc suite22 2202 35 0.015895 0.107635 0.889037 0.015877 0.005750 0.021363 0.005469 0.086364 0.542857 0.149020 0.263889 0.072727 0.685714 0.131507 0.255319 0.063636 0.800000 0.117895 0.241379 0.058182 0.914286 0.109402 0.231884 4 khoa_quoc_te_hoc suite22_primary 2202 35 0.015895 0.100975 0.870407 0.016903 0.009130 0.019408 0.003513 0.086364 0.542857 0.149020 0.263889 0.066667 0.628571 0.120548 0.234043 0.054545 0.685714 0.101053 0.206897 0.047273 0.742857 0.088889 0.188406 4 khoa_quoc_te_hoc suite22_relational 2202 35 0.015895 0.090497 0.855864 0.018111 0.011443 0.023820 0.007925 0.081818 0.514286 0.141176 0.250000 0.060606 0.571429 0.109589 0.212766 0.052273 0.657143 0.096842 0.198276 0.043636 0.685714 0.082051 0.173913 4 khoa_quoc_te_hoc suite23 2202 35 0.015895 0.097129 0.880691 0.016323 0.009167 0.025061 0.009167 0.081818 0.514286 0.141176 0.250000 0.066667 0.628571 0.120548 0.234043 0.065909 0.828571 0.122105 0.250000 0.054545 0.857143 0.102564 0.217391 4 khoa_quoc_te_hoc suite23_graph 2202 35 0.015895 0.106832 0.823561 0.015253 0.011438 0.027210 0.011315 0.081818 0.514286 0.141176 0.250000 0.069697 0.657143 0.126027 0.244681 0.054545 0.685714 0.101053 0.206897 0.047273 0.742857 0.088889 0.188406 4 khoa_quoc_te_hoc suite24 2202 35 0.015895 0.103266 0.886097 0.016067 0.006129 0.022024 0.006129 0.081818 0.514286 0.141176 0.250000 0.075758 0.714286 0.136986 0.265957 0.063636 0.800000 0.117895 0.241379 0.054545 0.857143 0.102564 0.217391 4 khoa_quoc_te_hoc suite24_posthoc 2202 35 0.015895 0.099057 0.881508 0.015337 0.005810 0.021705 0.005810 0.090909 0.571429 0.156863 0.277778 0.066667 0.628571 0.120548 0.234043 0.059091 0.742857 0.109474 0.224138 0.052727 0.828571 0.099145 0.210145 4 khoa_quoc_te_hoc suite25_committee_blend 2202 35 0.015895 0.115715 0.895062 0.015763 0.013541 0.028290 0.012395 0.100000 0.628571 0.172549 0.305556 0.078788 0.742857 0.142466 0.276596 0.063636 0.800000 0.117895 0.241379 0.058182 0.914286 0.109402 0.231884 4 khoa_quoc_te_hoc suite25_mlp 2202 35 0.015895 0.095839 0.868811 0.016846 0.025289 0.041184 0.025289 0.081818 0.514286 0.141176 0.250000 0.069697 0.657143 0.126027 0.244681 0.059091 0.742857 0.109474 0.224138 0.049091 0.771429 0.092308 0.195652 4 khoa_quoc_te_hoc suite25_sacr 2202 35 0.015895 0.096448 0.876142 0.016732 0.024130 0.039498 0.023603 0.077273 0.485714 0.133333 0.236111 0.060606 0.571429 0.109589 0.212766 0.065909 0.828571 0.122105 0.250000 0.054545 0.857143 0.102564 0.217391 4 khoa_quoc_te_hoc suite25_tabr 2202 35 0.015895 0.073678 0.835441 0.015395 0.010743 0.026638 0.010743 0.068182 0.428571 0.117647 0.208333 0.051515 0.485714 0.093151 0.180851 0.056818 0.714286 0.105263 0.215517 0.050909 0.800000 0.095726 0.202899 4 khoa_tieng_anh committee 6636 68 0.010247 0.449701 0.922113 0.007513 0.010167 0.018988 0.008741 0.079819 0.779412 0.144809 0.283120 0.054271 0.794118 0.101599 0.213102 0.042200 0.823529 0.080287 0.175109 0.036166 0.882353 0.069485 0.155360 4 khoa_tieng_anh suite14 6636 68 0.010247 0.484360 0.928595 0.007377 0.010686 0.020110 0.009863 0.079819 0.779412 0.144809 0.283120 0.054271 0.794118 0.101599 0.213102 0.043708 0.852941 0.083154 0.181363 0.036769 0.897059 0.070643 0.157949 4 khoa_tieng_anh suite16 6636 68 0.010247 0.417198 0.916158 0.014352 0.038411 0.048659 0.038411 0.078313 0.764706 0.142077 0.277778 0.053266 0.779412 0.099718 0.209155 0.041447 0.808824 0.078853 0.171982 0.036166 0.882353 0.069485 0.155360 4 khoa_tieng_anh suite17 6636 68 0.010247 0.456514 0.929144 0.008202 0.014501 0.021870 0.011623 0.076807 0.750000 0.139344 0.272436 0.054271 0.794118 0.101599 0.213102 0.042200 0.823529 0.080287 0.175109 0.037372 0.911765 0.071801 0.160539 4 khoa_tieng_anh suite18 6636 68 0.010247 0.459148 0.930781 0.008166 0.014378 0.021983 0.011736 0.076807 0.750000 0.139344 0.272436 0.054271 0.794118 0.101599 0.213102 0.042954 0.838235 0.081720 0.178236 0.035564 0.867647 0.068327 0.152771 4 khoa_tieng_anh suite20 6636 68 0.010247 0.381805 0.926278 0.016485 0.032988 0.043235 0.032988 0.076807 0.750000 0.139344 0.272436 0.055276 0.808824 0.103481 0.217048 0.044461 0.867647 0.084588 0.184490 0.038577 0.941176 0.074117 0.165717 4 khoa_tieng_anh suite21 6636 68 0.010247 0.460794 0.925951 0.007353 0.008698 0.017863 0.007616 0.081325 0.794118 0.147541 0.288462 0.055276 0.808824 0.103481 0.217048 0.042200 0.823529 0.080287 0.175109 0.036769 0.897059 0.070643 0.157949 4 khoa_tieng_anh suite22 6636 68 0.010247 0.490961 0.937294 0.007094 0.005994 0.013786 0.003539 0.078313 0.764706 0.142077 0.277778 0.054271 0.794118 0.101599 0.213102 0.044461 0.867647 0.084588 0.184490 0.037372 0.911765 0.071801 0.160539 4 khoa_tieng_anh suite22_primary 6636 68 0.010247 0.330010 0.947123 0.008053 0.002590 0.009276 -0.000971 0.090361 0.882353 0.163934 0.320513 0.063317 0.926471 0.118532 0.248619 0.047476 0.926471 0.090323 0.196998 0.037975 0.926471 0.072959 0.163128 4 khoa_tieng_anh suite22_relational 6636 68 0.010247 0.357815 0.937025 0.007913 0.002806 0.009900 -0.000347 0.082831 0.808824 0.150273 0.293803 0.057286 0.838235 0.107244 0.224941 0.044461 0.867647 0.084588 0.184490 0.037975 0.926471 0.072959 0.163128 4 khoa_tieng_anh suite23 6636 68 0.010247 0.495981 0.929560 0.007723 0.013107 0.020216 0.009969 0.079819 0.779412 0.144809 0.283120 0.054271 0.794118 0.101599 0.213102 0.042200 0.823529 0.080287 0.175109 0.036166 0.882353 0.069485 0.155360 4 khoa_tieng_anh suite23_graph 6636 68 0.010247 0.214202 0.899634 0.009688 0.020454 0.029531 0.019284 0.075301 0.735294 0.136612 0.267094 0.055276 0.808824 0.103481 0.217048 0.042200 0.823529 0.080287 0.175109 0.033755 0.823529 0.064852 0.145003 4 khoa_tieng_anh suite24 6636 68 0.010247 0.475767 0.926153 0.007143 0.007338 0.015713 0.005465 0.079819 0.779412 0.144809 0.283120 0.054271 0.794118 0.101599 0.213102 0.041447 0.808824 0.078853 0.171982 0.037372 0.911765 0.071801 0.160539 4 khoa_tieng_anh suite24_posthoc 6636 68 0.010247 0.491552 0.921650 0.007477 0.009437 0.015367 0.005120 0.078313 0.764706 0.142077 0.277778 0.055276 0.808824 0.103481 0.217048 0.042200 0.823529 0.080287 0.175109 0.034961 0.852941 0.067169 0.150181 4 khoa_tieng_anh suite25_committee_blend 6636 68 0.010247 0.458320 0.928839 0.007373 0.008843 0.017143 0.006895 0.079819 0.779412 0.144809 0.283120 0.054271 0.794118 0.101599 0.213102 0.043708 0.852941 0.083154 0.181363 0.037372 0.911765 0.071801 0.160539 4 khoa_tieng_anh suite25_mlp 6636 68 0.010247 0.167041 0.904642 0.009675 0.016382 0.026517 0.016270 0.075301 0.735294 0.136612 0.267094 0.057286 0.838235 0.107244 0.224941 0.043708 0.852941 0.083154 0.181363 0.035564 0.867647 0.068327 0.152771 4 khoa_tieng_anh suite25_sacr 6636 68 0.010247 0.402178 0.921204 0.007853 0.011532 0.020317 0.010070 0.076807 0.750000 0.139344 0.272436 0.055276 0.808824 0.103481 0.217048 0.045215 0.882353 0.086022 0.187617 0.036769 0.897059 0.070643 0.157949 4 khoa_tieng_anh suite25_tabr 6636 68 0.010247 0.219538 0.855135 0.009171 0.008387 0.016397 0.006150 0.066265 0.647059 0.120219 0.235043 0.047236 0.691176 0.088429 0.185478 0.037679 0.735294 0.071685 0.156348 0.030139 0.735294 0.057904 0.129467 4 khoa_tieng_bo_dao_nha committee 869 64 0.073648 0.656224 0.958521 0.037391 0.021204 0.074782 0.001134 0.574713 0.781250 0.662252 0.728863 0.438462 0.890625 0.587629 0.738342 0.344828 0.937500 0.504202 0.697674 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite14 869 64 0.073648 0.656224 0.958521 0.037391 0.021204 0.074782 0.001134 0.574713 0.781250 0.662252 0.728863 0.438462 0.890625 0.587629 0.738342 0.344828 0.937500 0.504202 0.697674 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite16 869 64 0.073648 0.643426 0.960637 0.043323 0.052213 0.125861 0.052213 0.586207 0.796875 0.675497 0.743440 0.438462 0.890625 0.587629 0.738342 0.356322 0.968750 0.521008 0.720930 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite17 869 64 0.073648 0.657468 0.961607 0.039466 0.032287 0.074429 0.000781 0.586207 0.796875 0.675497 0.743440 0.438462 0.890625 0.587629 0.738342 0.344828 0.937500 0.504202 0.697674 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite18 869 64 0.073648 0.657732 0.961762 0.039377 0.031976 0.074678 0.001030 0.574713 0.781250 0.662252 0.728863 0.438462 0.890625 0.587629 0.738342 0.344828 0.937500 0.504202 0.697674 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite20 869 64 0.073648 0.410617 0.911258 0.127290 0.155506 0.229154 0.155506 0.356322 0.484375 0.410596 0.451895 0.384615 0.781250 0.515464 0.647668 0.310345 0.843750 0.453782 0.627907 0.253456 0.859375 0.391459 0.581395 4 khoa_tieng_bo_dao_nha suite21 869 64 0.073648 0.660654 0.960578 0.037231 0.021642 0.077528 0.003880 0.563218 0.765625 0.649007 0.714286 0.446154 0.906250 0.597938 0.751295 0.356322 0.968750 0.521008 0.720930 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite22 869 64 0.073648 0.645344 0.956483 0.039321 0.019242 0.063078 -0.010570 0.540230 0.734375 0.622517 0.685131 0.423077 0.859375 0.567010 0.712435 0.339080 0.921875 0.495798 0.686047 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite22_primary 869 64 0.073648 0.458059 0.919973 0.052553 0.034537 0.051706 -0.021942 0.471264 0.640625 0.543046 0.597668 0.369231 0.750000 0.494845 0.621762 0.310345 0.843750 0.453782 0.627907 0.267281 0.906250 0.412811 0.613108 4 khoa_tieng_bo_dao_nha suite22_relational 869 64 0.073648 0.361754 0.919759 0.054638 0.029768 0.065166 -0.008481 0.402299 0.546875 0.463576 0.510204 0.376923 0.765625 0.505155 0.634715 0.327586 0.890625 0.478992 0.662791 0.267281 0.906250 0.412811 0.613108 4 khoa_tieng_bo_dao_nha suite23 869 64 0.073648 0.656224 0.958521 0.037391 0.021204 0.074782 0.001134 0.574713 0.781250 0.662252 0.728863 0.438462 0.890625 0.587629 0.738342 0.344828 0.937500 0.504202 0.697674 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite23_graph 869 64 0.073648 0.513767 0.936297 0.052712 0.030949 0.044714 -0.028934 0.505747 0.687500 0.582781 0.641399 0.392308 0.796875 0.525773 0.660622 0.339080 0.921875 0.495798 0.686047 0.281106 0.953125 0.434164 0.644820 4 khoa_tieng_bo_dao_nha suite24 869 64 0.073648 0.694238 0.966149 0.035531 0.031774 0.066476 -0.007172 0.574713 0.781250 0.662252 0.728863 0.461538 0.937500 0.618557 0.777202 0.350575 0.953125 0.512605 0.709302 0.285714 0.968750 0.441281 0.655391 4 khoa_tieng_bo_dao_nha suite24_posthoc 869 64 0.073648 0.664871 0.964557 0.041870 0.036199 0.059199 -0.014448 0.586207 0.796875 0.675497 0.743440 0.438462 0.890625 0.587629 0.738342 0.350575 0.953125 0.512605 0.709302 0.290323 0.984375 0.448399 0.665962 4 khoa_tieng_bo_dao_nha suite25_committee_blend 869 64 0.073648 0.615900 0.955357 0.040554 0.029929 0.069669 -0.003979 0.563218 0.765625 0.649007 0.714286 0.446154 0.906250 0.597938 0.751295 0.344828 0.937500 0.504202 0.697674 0.281106 0.953125 0.434164 0.644820 4 khoa_tieng_bo_dao_nha suite25_mlp 869 64 0.073648 0.366729 0.898932 0.052849 0.022854 0.080922 0.007275 0.425287 0.578125 0.490066 0.539359 0.353846 0.718750 0.474227 0.595855 0.304598 0.828125 0.445378 0.616279 0.258065 0.875000 0.398577 0.591966 4 khoa_tieng_bo_dao_nha suite25_sacr 869 64 0.073648 0.524488 0.929911 0.046571 0.026937 0.072388 -0.001260 0.448276 0.609375 0.516556 0.568513 0.407692 0.828125 0.546392 0.686528 0.333333 0.906250 0.487395 0.674419 0.276498 0.937500 0.427046 0.634249 4 khoa_tieng_bo_dao_nha suite25_tabr 869 64 0.073648 0.456996 0.911219 0.057769 0.034051 0.039597 -0.034051 0.448276 0.609375 0.516556 0.568513 0.384615 0.781250 0.515464 0.647668 0.298851 0.812500 0.436975 0.604651 0.262673 0.890625 0.405694 0.602537 4 khoa_tieng_duc committee 1746 44 0.025200 0.446284 0.919733 0.020084 0.019022 0.043253 0.018052 0.182857 0.727273 0.292237 0.455840 0.148855 0.886364 0.254902 0.445205 0.111748 0.886364 0.198473 0.371429 0.089450 0.886364 0.162500 0.318627 4 khoa_tieng_duc suite14 1746 44 0.025200 0.466902 0.933020 0.021339 0.020418 0.045619 0.020418 0.205714 0.818182 0.328767 0.512821 0.145038 0.863636 0.248366 0.433790 0.111748 0.886364 0.198473 0.371429 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite16 1746 44 0.025200 0.439311 0.928413 0.030231 0.045144 0.070344 0.045144 0.194286 0.772727 0.310502 0.484330 0.148855 0.886364 0.254902 0.445205 0.111748 0.886364 0.198473 0.371429 0.089450 0.886364 0.162500 0.318627 4 khoa_tieng_duc suite17 1746 44 0.025200 0.425388 0.935170 0.020904 0.021880 0.045503 0.020302 0.194286 0.772727 0.310502 0.484330 0.148855 0.886364 0.254902 0.445205 0.117479 0.931818 0.208651 0.390476 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite18 1746 44 0.025200 0.423159 0.934756 0.021034 0.022055 0.045665 0.020464 0.188571 0.750000 0.301370 0.470085 0.148855 0.886364 0.254902 0.445205 0.117479 0.931818 0.208651 0.390476 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite20 1746 44 0.025200 0.274165 0.915500 0.091424 0.122784 0.147985 0.122784 0.160000 0.636364 0.255708 0.398860 0.133588 0.795455 0.228758 0.399543 0.108883 0.863636 0.193384 0.361905 0.087156 0.863636 0.158333 0.310458 4 khoa_tieng_duc suite21 1746 44 0.025200 0.465899 0.922538 0.020334 0.021864 0.045442 0.020241 0.188571 0.750000 0.301370 0.470085 0.148855 0.886364 0.254902 0.445205 0.111748 0.886364 0.198473 0.371429 0.089450 0.886364 0.162500 0.318627 4 khoa_tieng_duc suite22 1746 44 0.025200 0.457867 0.933140 0.018134 0.011121 0.034059 0.008859 0.200000 0.795455 0.319635 0.498575 0.148855 0.886364 0.254902 0.445205 0.111748 0.886364 0.198473 0.371429 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite22_primary 1746 44 0.025200 0.406232 0.927345 0.018854 0.004770 0.022969 -0.002231 0.177143 0.704545 0.283105 0.441595 0.133588 0.795455 0.228758 0.399543 0.111748 0.886364 0.198473 0.371429 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite22_relational 1746 44 0.025200 0.270080 0.919026 0.021227 0.008489 0.021333 -0.003868 0.182857 0.727273 0.292237 0.455840 0.137405 0.818182 0.235294 0.410959 0.106017 0.840909 0.188295 0.352381 0.089450 0.886364 0.162500 0.318627 4 khoa_tieng_duc suite23 1746 44 0.025200 0.472304 0.932539 0.018043 0.014273 0.033656 0.008456 0.205714 0.818182 0.328767 0.512821 0.145038 0.863636 0.248366 0.433790 0.111748 0.886364 0.198473 0.371429 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite23_graph 1746 44 0.025200 0.314679 0.918625 0.020828 0.013131 0.032924 0.007724 0.182857 0.727273 0.292237 0.455840 0.129771 0.772727 0.222222 0.388128 0.108883 0.863636 0.193384 0.361905 0.089450 0.886364 0.162500 0.318627 4 khoa_tieng_duc suite24 1746 44 0.025200 0.426557 0.925115 0.020046 0.016357 0.040076 0.014876 0.182857 0.727273 0.292237 0.455840 0.148855 0.886364 0.254902 0.445205 0.111748 0.886364 0.198473 0.371429 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite24_posthoc 1746 44 0.025200 0.428744 0.941980 0.018543 0.009602 0.032518 0.007318 0.200000 0.795455 0.319635 0.498575 0.152672 0.909091 0.261438 0.456621 0.117479 0.931818 0.208651 0.390476 0.094037 0.931818 0.170833 0.334967 4 khoa_tieng_duc suite25_committee_blend 1746 44 0.025200 0.442025 0.928119 0.019178 0.016638 0.040171 0.014970 0.194286 0.772727 0.310502 0.484330 0.145038 0.863636 0.248366 0.433790 0.114613 0.909091 0.203562 0.380952 0.091743 0.909091 0.166667 0.326797 4 khoa_tieng_duc suite25_mlp 1746 44 0.025200 0.208606 0.911321 0.022669 0.022674 0.046036 0.020836 0.188571 0.750000 0.301370 0.470085 0.141221 0.840909 0.241830 0.422374 0.111748 0.886364 0.198473 0.371429 0.089450 0.886364 0.162500 0.318627 4 khoa_tieng_duc suite25_sacr 1746 44 0.025200 0.408900 0.893828 0.020753 0.026135 0.046775 0.021575 0.160000 0.636364 0.255708 0.398860 0.125954 0.750000 0.215686 0.376712 0.097421 0.772727 0.173028 0.323810 0.077982 0.772727 0.141667 0.277778 4 khoa_tieng_duc suite25_tabr 1746 44 0.025200 0.259172 0.903870 0.021393 0.004608 0.023504 -0.001696 0.182857 0.727273 0.292237 0.455840 0.129771 0.772727 0.222222 0.388128 0.100287 0.795455 0.178117 0.333333 0.082569 0.818182 0.150000 0.294118 4 khoa_tieng_han_quoc committee 3351 38 0.011340 0.439642 0.957377 0.008367 0.006205 0.016604 0.005264 0.095522 0.842105 0.171582 0.328542 0.065606 0.868421 0.121996 0.251908 0.052239 0.921053 0.098870 0.212895 0.044153 0.973684 0.084475 0.186869 4 khoa_tieng_han_quoc suite14 3351 38 0.011340 0.439642 0.957377 0.008367 0.006205 0.016604 0.005264 0.095522 0.842105 0.171582 0.328542 0.065606 0.868421 0.121996 0.251908 0.052239 0.921053 0.098870 0.212895 0.044153 0.973684 0.084475 0.186869 4 khoa_tieng_han_quoc suite16 3351 38 0.011340 0.473670 0.959013 0.010520 0.016075 0.027319 0.015979 0.098507 0.868421 0.176944 0.338809 0.065606 0.868421 0.121996 0.251908 0.050746 0.894737 0.096045 0.206813 0.042959 0.947368 0.082192 0.181818 4 khoa_tieng_han_quoc suite17 3351 38 0.011340 0.479670 0.960943 0.008598 0.008094 0.018007 0.006667 0.098507 0.868421 0.176944 0.338809 0.065606 0.868421 0.121996 0.251908 0.050746 0.894737 0.096045 0.206813 0.045346 1.000000 0.086758 0.191919 4 khoa_tieng_han_quoc suite18 3351 38 0.011340 0.465818 0.961746 0.008638 0.008402 0.018141 0.006801 0.098507 0.868421 0.176944 0.338809 0.065606 0.868421 0.121996 0.251908 0.053731 0.947368 0.101695 0.218978 0.045346 1.000000 0.086758 0.191919 4 khoa_tieng_han_quoc suite20 3351 38 0.011340 0.150101 0.881535 0.080783 0.122812 0.134152 0.122812 0.065672 0.578947 0.117962 0.225873 0.049702 0.657895 0.092421 0.190840 0.046269 0.815789 0.087571 0.188564 0.039379 0.868421 0.075342 0.166667 4 khoa_tieng_han_quoc suite21 3351 38 0.011340 0.474092 0.958910 0.008398 0.006393 0.017190 0.005850 0.095522 0.842105 0.171582 0.328542 0.065606 0.868421 0.121996 0.251908 0.052239 0.921053 0.098870 0.212895 0.044153 0.973684 0.084475 0.186869 4 khoa_tieng_han_quoc suite22 3351 38 0.011340 0.438360 0.955510 0.008315 0.004797 0.014022 0.002682 0.095522 0.842105 0.171582 0.328542 0.065606 0.868421 0.121996 0.251908 0.049254 0.868421 0.093220 0.200730 0.044153 0.973684 0.084475 0.186869 4 khoa_tieng_han_quoc suite22_primary 3351 38 0.011340 0.291409 0.900083 0.009500 0.002659 0.012978 0.001638 0.083582 0.736842 0.150134 0.287474 0.059642 0.789474 0.110906 0.229008 0.046269 0.815789 0.087571 0.188564 0.038186 0.842105 0.073059 0.161616 4 khoa_tieng_han_quoc suite22_relational 3351 38 0.011340 0.339706 0.936018 0.009270 0.005556 0.007770 -0.003570 0.083582 0.736842 0.150134 0.287474 0.065606 0.868421 0.121996 0.251908 0.049254 0.868421 0.093220 0.200730 0.042959 0.947368 0.082192 0.181818 4 khoa_tieng_han_quoc suite23 3351 38 0.011340 0.401390 0.962866 0.008741 0.005917 0.014525 0.003185 0.101493 0.894737 0.182306 0.349076 0.067594 0.894737 0.125693 0.259542 0.053731 0.947368 0.101695 0.218978 0.044153 0.973684 0.084475 0.186869 4 khoa_tieng_han_quoc suite23_graph 3351 38 0.011340 0.230327 0.931196 0.009973 0.010243 0.019497 0.008157 0.089552 0.789474 0.160858 0.308008 0.067594 0.894737 0.125693 0.259542 0.050746 0.894737 0.096045 0.206813 0.040573 0.894737 0.077626 0.171717 4 khoa_tieng_han_quoc suite24 3351 38 0.011340 0.462308 0.962286 0.008091 0.005399 0.015539 0.004199 0.095522 0.842105 0.171582 0.328542 0.069583 0.921053 0.129390 0.267176 0.053731 0.947368 0.101695 0.218978 0.042959 0.947368 0.082192 0.181818 4 khoa_tieng_han_quoc suite24_posthoc 3351 38 0.011340 0.408188 0.955335 0.008804 0.006394 0.012252 0.000912 0.095522 0.842105 0.171582 0.328542 0.065606 0.868421 0.121996 0.251908 0.050746 0.894737 0.096045 0.206813 0.041766 0.921053 0.079909 0.176768 4 khoa_tieng_han_quoc suite25_committee_blend 3351 38 0.011340 0.458866 0.948107 0.008293 0.010821 0.018653 0.007313 0.086567 0.763158 0.155496 0.297741 0.067594 0.894737 0.125693 0.259542 0.052239 0.921053 0.098870 0.212895 0.042959 0.947368 0.082192 0.181818 4 khoa_tieng_han_quoc suite25_mlp 3351 38 0.011340 0.204458 0.853647 0.011154 0.016529 0.026758 0.015418 0.068657 0.605263 0.123324 0.236140 0.045726 0.605263 0.085028 0.175573 0.040299 0.710526 0.076271 0.164234 0.038186 0.842105 0.073059 0.161616 4 khoa_tieng_han_quoc suite25_sacr 3351 38 0.011340 0.387752 0.876912 0.009988 0.021087 0.030351 0.019011 0.077612 0.684211 0.139410 0.266940 0.057654 0.763158 0.107209 0.221374 0.044776 0.789474 0.084746 0.182482 0.038186 0.842105 0.073059 0.161616 4 khoa_tieng_han_quoc suite25_tabr 3351 38 0.011340 0.223831 0.830619 0.010343 0.001404 0.010406 -0.000934 0.068657 0.605263 0.123324 0.236140 0.047714 0.631579 0.088725 0.183206 0.040299 0.710526 0.076271 0.164234 0.034606 0.763158 0.066210 0.146465 4 khoa_tieng_italia committee 1795 34 0.018942 0.397905 0.910579 0.015673 0.017386 0.035270 0.016329 0.138889 0.735294 0.233645 0.395570 0.104089 0.823529 0.184818 0.345679 0.083565 0.882353 0.152672 0.303030 0.066815 0.882353 0.124224 0.256410 4 khoa_tieng_italia suite14 1795 34 0.018942 0.397905 0.910579 0.015673 0.017386 0.035270 0.016329 0.138889 0.735294 0.233645 0.395570 0.104089 0.823529 0.184818 0.345679 0.083565 0.882353 0.152672 0.303030 0.066815 0.882353 0.124224 0.256410 4 khoa_tieng_italia suite16 1795 34 0.018942 0.389546 0.919414 0.023213 0.047742 0.066513 0.047571 0.144444 0.764706 0.242991 0.411392 0.107807 0.852941 0.191419 0.358025 0.080780 0.852941 0.147583 0.292929 0.066815 0.882353 0.124224 0.256410 4 khoa_tieng_italia suite17 1795 34 0.018942 0.414482 0.919898 0.015777 0.019345 0.036640 0.017699 0.144444 0.764706 0.242991 0.411392 0.107807 0.852941 0.191419 0.358025 0.080780 0.852941 0.147583 0.292929 0.066815 0.882353 0.124224 0.256410 4 khoa_tieng_italia suite18 1795 34 0.018942 0.417296 0.919113 0.015788 0.019436 0.036696 0.017754 0.144444 0.764706 0.242991 0.411392 0.107807 0.852941 0.191419 0.358025 0.080780 0.852941 0.147583 0.292929 0.064588 0.852941 0.120083 0.247863 4 khoa_tieng_italia suite20 1795 34 0.018942 0.337496 0.895113 0.136508 0.199609 0.218550 0.199609 0.111111 0.588235 0.186916 0.316456 0.092937 0.735294 0.165017 0.308642 0.075209 0.794118 0.137405 0.272727 0.064588 0.852941 0.120083 0.247863 4 khoa_tieng_italia suite21 1795 34 0.018942 0.404654 0.919448 0.015579 0.019032 0.036700 0.017758 0.138889 0.735294 0.233645 0.395570 0.104089 0.823529 0.184818 0.345679 0.080780 0.852941 0.147583 0.292929 0.066815 0.882353 0.124224 0.256410 4 khoa_tieng_italia suite22 1795 34 0.018942 0.446614 0.927064 0.014033 0.013020 0.028841 0.009900 0.150000 0.794118 0.252336 0.427215 0.107807 0.852941 0.191419 0.358025 0.080780 0.852941 0.147583 0.292929 0.066815 0.882353 0.124224 0.256410 4 khoa_tieng_italia suite22_primary 1795 34 0.018942 0.351824 0.910161 0.015211 0.007189 0.025431 0.006489 0.138889 0.735294 0.233645 0.395570 0.096654 0.764706 0.171617 0.320988 0.083565 0.882353 0.152672 0.303030 0.071269 0.941176 0.132505 0.273504 4 khoa_tieng_italia suite22_relational 1795 34 0.018942 0.337127 0.909760 0.016589 0.010664 0.028787 0.009846 0.122222 0.647059 0.205607 0.348101 0.100372 0.794118 0.178218 0.333333 0.083565 0.882353 0.152672 0.303030 0.069042 0.911765 0.128364 0.264957 4 khoa_tieng_italia suite23 1795 34 0.018942 0.428439 0.928466 0.014370 0.013828 0.029944 0.011003 0.144444 0.764706 0.242991 0.411392 0.104089 0.823529 0.184818 0.345679 0.083565 0.882353 0.152672 0.303030 0.069042 0.911765 0.128364 0.264957 4 khoa_tieng_italia suite23_graph 1795 34 0.018942 0.391397 0.918395 0.015482 0.015806 0.029592 0.010651 0.138889 0.735294 0.233645 0.395570 0.096654 0.764706 0.171617 0.320988 0.080780 0.852941 0.147583 0.292929 0.064588 0.852941 0.120083 0.247863 4 khoa_tieng_italia suite24 1795 34 0.018942 0.413964 0.923038 0.014468 0.011825 0.028169 0.009227 0.144444 0.764706 0.242991 0.411392 0.104089 0.823529 0.184818 0.345679 0.077994 0.823529 0.142494 0.282828 0.069042 0.911765 0.128364 0.264957 4 khoa_tieng_italia suite24_posthoc 1795 34 0.018942 0.427991 0.926162 0.014489 0.014141 0.028864 0.009923 0.133333 0.705882 0.224299 0.379747 0.096654 0.764706 0.171617 0.320988 0.080780 0.852941 0.147583 0.292929 0.073497 0.970588 0.136646 0.282051 4 khoa_tieng_italia suite25_committee_blend 1795 34 0.018942 0.351927 0.908107 0.015660 0.017426 0.035062 0.016120 0.144444 0.764706 0.242991 0.411392 0.100372 0.794118 0.178218 0.333333 0.080780 0.852941 0.147583 0.292929 0.064588 0.852941 0.120083 0.247863 4 khoa_tieng_italia suite25_mlp 1795 34 0.018942 0.348454 0.880065 0.018334 0.038979 0.055643 0.036702 0.133333 0.705882 0.224299 0.379747 0.092937 0.735294 0.165017 0.308642 0.072423 0.764706 0.132316 0.262626 0.057906 0.764706 0.107660 0.222222 4 khoa_tieng_italia suite25_sacr 1795 34 0.018942 0.238027 0.867472 0.017624 0.023970 0.041642 0.022700 0.111111 0.588235 0.186916 0.316456 0.085502 0.676471 0.151815 0.283951 0.072423 0.764706 0.132316 0.262626 0.064588 0.852941 0.120083 0.247863 4 khoa_tieng_italia suite25_tabr 1795 34 0.018942 0.343754 0.895664 0.016076 0.016046 0.028126 0.009184 0.133333 0.705882 0.224299 0.379747 0.096654 0.764706 0.171617 0.320988 0.072423 0.764706 0.132316 0.262626 0.064588 0.852941 0.120083 0.247863 4 khoa_tieng_nga committee 1659 114 0.068716 0.617681 0.927116 0.038524 0.007788 0.069410 0.000694 0.481928 0.701754 0.571429 0.643087 0.357430 0.780702 0.490358 0.631206 0.286145 0.833333 0.426009 0.602792 0.238554 0.868421 0.374291 0.568312 4 khoa_tieng_nga suite14 1659 114 0.068716 0.617681 0.927116 0.038524 0.007788 0.069410 0.000694 0.481928 0.701754 0.571429 0.643087 0.357430 0.780702 0.490358 0.631206 0.286145 0.833333 0.426009 0.602792 0.238554 0.868421 0.374291 0.568312 4 khoa_tieng_nga suite16 1659 114 0.068716 0.610272 0.932885 0.044550 0.040898 0.109614 0.040898 0.481928 0.701754 0.571429 0.643087 0.361446 0.789474 0.495868 0.638298 0.286145 0.833333 0.426009 0.602792 0.240964 0.877193 0.378072 0.574053 4 khoa_tieng_nga suite17 1659 114 0.068716 0.623071 0.929660 0.039167 0.012063 0.071126 0.002410 0.481928 0.701754 0.571429 0.643087 0.357430 0.780702 0.490358 0.631206 0.289157 0.842105 0.430493 0.609137 0.240964 0.877193 0.378072 0.574053 4 khoa_tieng_nga suite18 1659 114 0.068716 0.617948 0.927094 0.039307 0.011642 0.071290 0.002574 0.475904 0.692982 0.564286 0.635048 0.361446 0.789474 0.495868 0.638298 0.286145 0.833333 0.426009 0.602792 0.240964 0.877193 0.378072 0.574053 4 khoa_tieng_nga suite20 1659 114 0.068716 0.531185 0.918969 0.088273 0.106676 0.175392 0.106676 0.457831 0.666667 0.542857 0.610932 0.345382 0.754386 0.473829 0.609929 0.280120 0.815789 0.417040 0.590102 0.233735 0.850877 0.366730 0.556831 4 khoa_tieng_nga suite21 1659 114 0.068716 0.609277 0.928814 0.038973 0.011515 0.073791 0.005075 0.487952 0.710526 0.578571 0.651125 0.361446 0.789474 0.495868 0.638298 0.295181 0.859649 0.439462 0.621827 0.248193 0.903509 0.389414 0.591274 4 khoa_tieng_nga suite22 1659 114 0.068716 0.637465 0.935303 0.037540 0.009583 0.064518 -0.004198 0.506024 0.736842 0.600000 0.675241 0.357430 0.780702 0.490358 0.631206 0.289157 0.842105 0.430493 0.609137 0.240964 0.877193 0.378072 0.574053 4 khoa_tieng_nga suite22_primary 1659 114 0.068716 0.641316 0.936990 0.038081 0.016003 0.059876 -0.008840 0.487952 0.710526 0.578571 0.651125 0.361446 0.789474 0.495868 0.638298 0.280120 0.815789 0.417040 0.590102 0.245783 0.894737 0.385633 0.585534 4 khoa_tieng_nga suite22_relational 1659 114 0.068716 0.554012 0.916885 0.043088 0.022190 0.051083 -0.017633 0.445783 0.649123 0.528571 0.594855 0.337349 0.736842 0.462810 0.595745 0.280120 0.815789 0.417040 0.590102 0.238554 0.868421 0.374291 0.568312 4 khoa_tieng_nga suite23 1659 114 0.068716 0.617681 0.927116 0.038524 0.007788 0.069410 0.000694 0.481928 0.701754 0.571429 0.643087 0.357430 0.780702 0.490358 0.631206 0.286145 0.833333 0.426009 0.602792 0.238554 0.868421 0.374291 0.568312 4 khoa_tieng_nga suite23_graph 1659 114 0.068716 0.513527 0.894007 0.051602 0.032430 0.036286 -0.032430 0.439759 0.640351 0.521429 0.586817 0.337349 0.736842 0.462810 0.595745 0.268072 0.780702 0.399103 0.564721 0.226506 0.824561 0.355388 0.539610 4 khoa_tieng_nga suite24 1659 114 0.068716 0.629059 0.928275 0.038234 0.010597 0.064220 -0.004496 0.493976 0.719298 0.585714 0.659164 0.357430 0.780702 0.490358 0.631206 0.286145 0.833333 0.426009 0.602792 0.243373 0.885965 0.381853 0.579793 4 khoa_tieng_nga suite24_posthoc 1659 114 0.068716 0.626698 0.929546 0.040294 0.012958 0.056961 -0.011755 0.475904 0.692982 0.564286 0.635048 0.361446 0.789474 0.495868 0.638298 0.286145 0.833333 0.426009 0.602792 0.236145 0.859649 0.370510 0.562572 4 khoa_tieng_nga suite25_committee_blend 1659 114 0.068716 0.639748 0.937257 0.037650 0.010731 0.059496 -0.009220 0.524096 0.763158 0.621429 0.699357 0.365462 0.798246 0.501377 0.645390 0.295181 0.859649 0.439462 0.621827 0.238554 0.868421 0.374291 0.568312 4 khoa_tieng_nga suite25_mlp 1659 114 0.068716 0.402226 0.905201 0.049354 0.017066 0.070412 0.001696 0.415663 0.605263 0.492857 0.554662 0.329317 0.719298 0.451791 0.581560 0.268072 0.780702 0.399103 0.564721 0.224096 0.815789 0.351607 0.533869 4 khoa_tieng_nga suite25_sacr 1659 114 0.068716 0.587000 0.935678 0.040470 0.017539 0.053943 -0.014773 0.512048 0.745614 0.607143 0.683280 0.373494 0.815789 0.512397 0.659574 0.289157 0.842105 0.430493 0.609137 0.240964 0.877193 0.378072 0.574053 4 khoa_tieng_nga suite25_tabr 1659 114 0.068716 0.527542 0.899205 0.053141 0.034169 0.034547 -0.034169 0.439759 0.640351 0.521429 0.586817 0.337349 0.736842 0.462810 0.595745 0.283133 0.824561 0.421525 0.596447 0.228916 0.833333 0.359168 0.545350 4 khoa_tieng_nhat committee 2413 38 0.015748 0.166735 0.861307 0.015721 0.012607 0.013597 -0.002151 0.099585 0.631579 0.172043 0.305344 0.074586 0.710526 0.135000 0.262646 0.057971 0.736842 0.107486 0.220472 0.053068 0.842105 0.099844 0.211921 4 khoa_tieng_nhat suite14 2413 38 0.015748 0.166735 0.861307 0.015721 0.012607 0.013597 -0.002151 0.099585 0.631579 0.172043 0.305344 0.074586 0.710526 0.135000 0.262646 0.057971 0.736842 0.107486 0.220472 0.053068 0.842105 0.099844 0.211921 4 khoa_tieng_nhat suite16 2413 38 0.015748 0.186532 0.871712 0.017572 0.011513 0.021975 0.006227 0.099585 0.631579 0.172043 0.305344 0.071823 0.684211 0.130000 0.252918 0.064182 0.815789 0.119002 0.244094 0.053068 0.842105 0.099844 0.211921 4 khoa_tieng_nhat suite17 2413 38 0.015748 0.177684 0.880975 0.015798 0.012531 0.015357 -0.000391 0.099585 0.631579 0.172043 0.305344 0.074586 0.710526 0.135000 0.262646 0.062112 0.789474 0.115163 0.236220 0.054726 0.868421 0.102964 0.218543 4 khoa_tieng_nhat suite18 2413 38 0.015748 0.181447 0.883535 0.015659 0.012275 0.015197 -0.000551 0.095436 0.605263 0.164875 0.292621 0.074586 0.710526 0.135000 0.262646 0.066253 0.842105 0.122841 0.251969 0.054726 0.868421 0.102964 0.218543 4 khoa_tieng_nhat suite20 2413 38 0.015748 0.286287 0.906105 0.072509 0.102681 0.118429 0.102681 0.095436 0.605263 0.164875 0.292621 0.071823 0.684211 0.130000 0.252918 0.060041 0.763158 0.111324 0.228346 0.056385 0.894737 0.106084 0.225166 4 khoa_tieng_nhat suite21 2413 38 0.015748 0.177007 0.869230 0.015956 0.012430 0.014327 -0.001421 0.099585 0.631579 0.172043 0.305344 0.074586 0.710526 0.135000 0.262646 0.064182 0.815789 0.119002 0.244094 0.053068 0.842105 0.099844 0.211921 4 khoa_tieng_nhat suite22 2413 38 0.015748 0.189639 0.886681 0.014409 0.009584 0.011291 -0.004457 0.095436 0.605263 0.164875 0.292621 0.080110 0.763158 0.145000 0.282101 0.066253 0.842105 0.122841 0.251969 0.054726 0.868421 0.102964 0.218543 4 khoa_tieng_nhat suite22_primary 2413 38 0.015748 0.264782 0.926449 0.013361 0.006282 0.010998 -0.004750 0.103734 0.657895 0.179211 0.318066 0.080110 0.763158 0.145000 0.282101 0.072464 0.921053 0.134357 0.275591 0.063018 1.000000 0.118565 0.251656 4 khoa_tieng_nhat suite22_relational 2413 38 0.015748 0.213701 0.915945 0.014058 0.007823 0.012704 -0.003044 0.099585 0.631579 0.172043 0.305344 0.080110 0.763158 0.145000 0.282101 0.070393 0.894737 0.130518 0.267717 0.059701 0.947368 0.112324 0.238411 4 khoa_tieng_nhat suite23 2413 38 0.015748 0.166735 0.861307 0.015721 0.012607 0.013597 -0.002151 0.099585 0.631579 0.172043 0.305344 0.074586 0.710526 0.135000 0.262646 0.057971 0.736842 0.107486 0.220472 0.053068 0.842105 0.099844 0.211921 4 khoa_tieng_nhat suite23_graph 2413 38 0.015748 0.400538 0.907579 0.012946 0.008958 0.019724 0.003976 0.107884 0.684211 0.186380 0.330789 0.077348 0.736842 0.140000 0.272374 0.064182 0.815789 0.119002 0.244094 0.056385 0.894737 0.106084 0.225166 4 khoa_tieng_nhat suite24 2413 38 0.015748 0.171152 0.870460 0.015466 0.011994 0.012984 -0.002764 0.095436 0.605263 0.164875 0.292621 0.074586 0.710526 0.135000 0.262646 0.062112 0.789474 0.115163 0.236220 0.053068 0.842105 0.099844 0.211921 4 khoa_tieng_nhat suite24_posthoc 2413 38 0.015748 0.229875 0.885053 0.013716 0.006029 0.010688 -0.005060 0.103734 0.657895 0.179211 0.318066 0.080110 0.763158 0.145000 0.282101 0.064182 0.815789 0.119002 0.244094 0.053068 0.842105 0.099844 0.211921 4 khoa_tieng_nhat suite25_committee_blend 2413 38 0.015748 0.196562 0.911235 0.014796 0.008256 0.015061 -0.000687 0.099585 0.631579 0.172043 0.305344 0.085635 0.815789 0.155000 0.301556 0.070393 0.894737 0.130518 0.267717 0.061360 0.973684 0.115445 0.245033 4 khoa_tieng_nhat suite25_mlp 2413 38 0.015748 0.250267 0.864898 0.013682 0.007957 0.021524 0.005776 0.099585 0.631579 0.172043 0.305344 0.071823 0.684211 0.130000 0.252918 0.057971 0.736842 0.107486 0.220472 0.048093 0.763158 0.090484 0.192053 4 khoa_tieng_nhat suite25_sacr 2413 38 0.015748 0.211779 0.914416 0.014542 0.010048 0.024932 0.009183 0.099585 0.631579 0.172043 0.305344 0.080110 0.763158 0.145000 0.282101 0.064182 0.815789 0.119002 0.244094 0.059701 0.947368 0.112324 0.238411 4 khoa_tieng_nhat suite25_tabr 2413 38 0.015748 0.236968 0.769208 0.014326 0.004586 0.011162 -0.004586 0.062241 0.394737 0.107527 0.190840 0.049724 0.473684 0.090000 0.175097 0.047619 0.605263 0.088292 0.181102 0.041459 0.657895 0.078003 0.165563 4 khoa_tieng_phap committee 2275 19 0.008352 0.294413 0.839411 0.009178 0.014767 0.022986 0.014634 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.030769 0.736842 0.059072 0.131827 0.024605 0.736842 0.047619 0.108527 4 khoa_tieng_phap suite14 2275 19 0.008352 0.392727 0.885358 0.011128 0.015318 0.023616 0.015265 0.057018 0.684211 0.105263 0.213816 0.041056 0.736842 0.077778 0.167866 0.030769 0.736842 0.059072 0.131827 0.029877 0.894737 0.057823 0.131783 4 khoa_tieng_phap suite16 2275 19 0.008352 0.325041 0.846071 0.014988 0.031783 0.040134 0.031783 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.030769 0.736842 0.059072 0.131827 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite17 2275 19 0.008352 0.310734 0.849874 0.009275 0.016841 0.024933 0.016581 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.032967 0.789474 0.063291 0.141243 0.028120 0.842105 0.054422 0.124031 4 khoa_tieng_phap suite18 2275 19 0.008352 0.303660 0.849757 0.009279 0.016701 0.024808 0.016456 0.057018 0.684211 0.105263 0.213816 0.041056 0.736842 0.077778 0.167866 0.030769 0.736842 0.059072 0.131827 0.028120 0.842105 0.054422 0.124031 4 khoa_tieng_phap suite20 2275 19 0.008352 0.289964 0.875397 0.112072 0.155364 0.163715 0.155364 0.052632 0.631579 0.097166 0.197368 0.038123 0.684211 0.072222 0.155875 0.030769 0.736842 0.059072 0.131827 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite21 2275 19 0.008352 0.323932 0.844718 0.009633 0.016286 0.024506 0.016154 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.030769 0.736842 0.059072 0.131827 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite22 2275 19 0.008352 0.326914 0.853163 0.007866 0.011631 0.019806 0.011454 0.057018 0.684211 0.105263 0.213816 0.041056 0.736842 0.077778 0.167866 0.030769 0.736842 0.059072 0.131827 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite22_primary 2275 19 0.008352 0.318931 0.872854 0.007653 0.010937 0.018502 0.010151 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.035165 0.842105 0.067511 0.150659 0.028120 0.842105 0.054422 0.124031 4 khoa_tieng_phap suite22_relational 2275 19 0.008352 0.271892 0.881812 0.009593 0.012409 0.020760 0.012409 0.061404 0.736842 0.113360 0.230263 0.043988 0.789474 0.083333 0.179856 0.032967 0.789474 0.063291 0.141243 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite23 2275 19 0.008352 0.298863 0.864058 0.007268 0.015946 0.022583 0.014232 0.052632 0.631579 0.097166 0.197368 0.041056 0.736842 0.077778 0.167866 0.030769 0.736842 0.059072 0.131827 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite23_graph 2275 19 0.008352 0.164763 0.860209 0.008351 0.021296 0.029366 0.021015 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.028571 0.684211 0.054852 0.122411 0.028120 0.842105 0.054422 0.124031 4 khoa_tieng_phap suite24 2275 19 0.008352 0.313510 0.846491 0.009008 0.014221 0.022182 0.013831 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.028571 0.684211 0.054852 0.122411 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite24_posthoc 2275 19 0.008352 0.328172 0.869284 0.007395 0.013220 0.019537 0.011185 0.057018 0.684211 0.105263 0.213816 0.041056 0.736842 0.077778 0.167866 0.032967 0.789474 0.063291 0.141243 0.028120 0.842105 0.054422 0.124031 4 khoa_tieng_phap suite25_committee_blend 2275 19 0.008352 0.284065 0.862939 0.008371 0.016447 0.024517 0.016165 0.057018 0.684211 0.105263 0.213816 0.038123 0.684211 0.072222 0.155875 0.030769 0.736842 0.059072 0.131827 0.024605 0.736842 0.047619 0.108527 4 khoa_tieng_phap suite25_mlp 2275 19 0.008352 0.095216 0.850994 0.013696 0.040157 0.048509 0.040157 0.048246 0.578947 0.089069 0.180921 0.035191 0.631579 0.066667 0.143885 0.030769 0.736842 0.059072 0.131827 0.026362 0.789474 0.051020 0.116279 4 khoa_tieng_phap suite25_sacr 2275 19 0.008352 0.224770 0.866368 0.009504 0.027257 0.035354 0.027003 0.048246 0.578947 0.089069 0.180921 0.035191 0.631579 0.066667 0.143885 0.030769 0.736842 0.059072 0.131827 0.024605 0.736842 0.047619 0.108527 4 khoa_tieng_phap suite25_tabr 2275 19 0.008352 0.209854 0.839236 0.007807 0.009846 0.016998 0.008646 0.052632 0.631579 0.097166 0.197368 0.038123 0.684211 0.072222 0.155875 0.028571 0.684211 0.054852 0.122411 0.022847 0.684211 0.044218 0.100775 ================================================================================================================================================================================ SUITE25 TARGET FOLD 5 ================================================================================================================================================================================ [DATA] history=419,467 fail=8,736 (2.08%) train=313,390 validation=106,077 target=50,698 fail=1,797 (3.54%) ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_mlp] [SELECT MLP] epoch=01/10 loss=0.11588 BCE=0.08343 rank=0.32456 macroAP=0.1783 F2@20=0.2756 Brier=0.0256 best=01 [SELECT MLP] epoch=02/10 loss=0.09926 BCE=0.07551 rank=0.23753 macroAP=0.1930 F2@20=0.2851 Brier=0.0329 best=02 [SELECT MLP] epoch=03/10 loss=0.08907 BCE=0.06912 rank=0.19949 macroAP=0.1807 F2@20=0.2860 Brier=0.0276 best=02 [SELECT MLP] epoch=04/10 loss=0.08299 BCE=0.06654 rank=0.16452 macroAP=0.1854 F2@20=0.2830 Brier=0.0271 best=02 [SELECT MLP] epoch=05/10 loss=0.07934 BCE=0.06281 rank=0.16536 macroAP=0.1688 F2@20=0.2766 Brier=0.0300 best=02 [RETRIEVAL CACHE] selection phase... [RETRIEVAL INDEX] building selection: bank=313,390 query=419,467 PCA=24 [STATE RETRIEVAL] semester=6056 queries=225 eligible_bank=11,015 k=32 [STATE RETRIEVAL] semester=6057 queries=27,064 eligible_bank=11,240 k=32 [STATE RETRIEVAL] semester=6058 queries=27,400 eligible_bank=38,304 k=32 [STATE RETRIEVAL] semester=6059 queries=458 eligible_bank=65,704 k=32 [STATE RETRIEVAL] semester=6060 queries=42,415 eligible_bank=66,162 k=32 [STATE RETRIEVAL] semester=6061 queries=39,361 eligible_bank=108,577 k=32 [STATE RETRIEVAL] semester=6062 queries=906 eligible_bank=147,938 k=32 [STATE RETRIEVAL] semester=6063 queries=48,526 eligible_bank=148,844 k=32 [STATE RETRIEVAL] semester=6064 queries=42,562 eligible_bank=197,370 k=32 [STATE RETRIEVAL] semester=6065 queries=740 eligible_bank=239,932 k=32 [STATE RETRIEVAL] semester=6066 queries=45,800 eligible_bank=240,672 k=32 [STATE RETRIEVAL] semester=6067 queries=42,122 eligible_bank=286,472 k=32 [STATE RETRIEVAL] semester=6068 queries=985 eligible_bank=312,405 k=32 [STATE RETRIEVAL] semester=6069 queries=47,420 eligible_bank=313,390 k=32 [STATE RETRIEVAL] semester=6070 queries=41,376 eligible_bank=313,390 k=32 [STATE RETRIEVAL] semester=6071 queries=1,092 eligible_bank=313,390 k=32 [STATE RETRIEVAL] complete N=419,467 in 1.99 min [RETRIEVAL CACHE] 25,000/419,467 [RETRIEVAL CACHE] 50,000/419,467 [RETRIEVAL CACHE] 75,000/419,467 [RETRIEVAL CACHE] 100,000/419,467 [RETRIEVAL CACHE] 125,000/419,467 [RETRIEVAL CACHE] 150,000/419,467 [RETRIEVAL CACHE] 175,000/419,467 [RETRIEVAL CACHE] 200,000/419,467 [RETRIEVAL CACHE] 225,000/419,467 [RETRIEVAL CACHE] 250,000/419,467 [RETRIEVAL CACHE] 275,000/419,467 [RETRIEVAL CACHE] 300,000/419,467 [RETRIEVAL CACHE] 325,000/419,467 [RETRIEVAL CACHE] 350,000/419,467 [RETRIEVAL CACHE] 375,000/419,467 [RETRIEVAL CACHE] 400,000/419,467 [RETRIEVAL CACHE] complete N=419,467 bank=313,390 maxP=96 in 3.88 min FOLD 5 SELECTION RETRIEVAL SUPPORT -------------------------------------------------------------------------------- faculty rows prevalence any_candidate_zero_rate same_student_mean same_student_zero_rate same_student_candidate_fail_rate same_course_mean same_course_zero_rate same_course_candidate_fail_rate structural_mean structural_zero_rate structural_candidate_fail_rate state_mean state_zero_rate state_candidate_fail_rate candidate_mean cross_faculty_candidate_rate candidate_recency_mean khoa_cong_nghe_thong_tin 40261 0.034252 0.015499 8.556991 0.276893 0.015982 20.349544 0.151313 0.024926 2.507364 0.572067 0.027043 31.504036 0.015499 0.040088 61.833015 0.209434 2.810547 khoa_quan_tri_kinh_doanh_va_du_lich 59575 0.030449 0.031406 8.273722 0.250088 0.017557 20.298800 0.145430 0.028569 5.791020 0.268418 0.044371 30.995015 0.031406 0.036049 64.188938 0.182146 2.478516 khoa_quoc_te_hoc 19764 0.010575 0.027727 7.478749 0.284659 0.003951 18.869308 0.206487 0.007991 5.841378 0.291743 0.002217 31.112730 0.027727 0.022086 62.042097 0.386787 3.039062 khoa_tieng_anh 78407 0.016070 0.025240 9.297269 0.222608 0.003281 16.813499 0.295127 0.019735 4.368411 0.450024 0.037120 31.192317 0.025240 0.016446 60.542324 0.369673 2.441406 khoa_tieng_bo_dao_nha 7502 0.039589 0.019861 8.866836 0.206478 0.018115 19.738603 0.160624 0.020759 4.036124 0.372967 0.019882 31.364436 0.019861 0.048709 62.043322 0.501301 2.988281 khoa_tieng_duc 18332 0.019747 0.022311 9.422322 0.233362 0.007179 19.520838 0.185359 0.015347 1.404320 0.792003 0.007070 31.286057 0.022311 0.019343 60.333679 0.502952 2.595703 khoa_tieng_han_quoc 29929 0.006816 0.026362 9.137826 0.228140 0.002680 16.879882 0.293328 0.007995 3.131311 0.479368 0.055390 31.156403 0.026362 0.006621 59.335060 0.522699 2.636719 khoa_tieng_italia 18780 0.032481 0.022737 9.156337 0.196539 0.013178 17.926677 0.202130 0.025521 5.060596 0.270660 0.014994 31.272417 0.022737 0.046019 61.634452 0.440420 2.716797 khoa_tieng_nga 13418 0.049262 0.022954 8.289238 0.233567 0.024491 19.738635 0.169325 0.024463 5.559845 0.207632 0.042385 31.265464 0.022954 0.050501 62.953942 0.448009 2.824219 khoa_tieng_nhat 29332 0.009614 0.035286 8.966760 0.267762 0.003103 17.733806 0.258114 0.013740 4.707112 0.258932 0.074405 30.870858 0.035286 0.008215 60.717408 0.349579 2.572266 khoa_tieng_phap 25043 0.012858 0.044004 8.787166 0.236913 0.004422 18.322965 0.233598 0.010583 4.348201 0.313780 0.020047 30.591862 0.044004 0.019848 60.375275 0.357626 2.724609 khoa_tieng_tay_ban_nha 13391 0.027481 0.032634 9.019565 0.226495 0.013173 18.662311 0.214398 0.011620 7.311926 0.181390 0.008702 30.955717 0.032634 0.034531 64.368755 0.468891 2.710938 khoa_tieng_trung_quoc 57867 0.008831 0.020305 9.590285 0.206473 0.002512 18.155944 0.242608 0.007902 4.276945 0.318247 0.014663 31.350234 0.020305 0.007822 62.340954 0.294940 2.505859 khoa_viet_nam_hoc 7866 0.058098 0.020595 7.548945 0.291635 0.035500 17.367150 0.253115 0.056819 0.114925 0.978515 0.054204 31.340961 0.020595 0.063648 53.470252 0.078850 2.974609 ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_tabr] [SELECT TABR] epoch=01/10 loss=0.11133 BCE=0.08195 rank=0.29383 macroAP=0.1845 F2@20=0.2707 Brier=0.0353 best=01 [SELECT TABR] epoch=02/10 loss=0.09626 BCE=0.07220 rank=0.24064 macroAP=0.1697 F2@20=0.2834 Brier=0.0292 best=01 [SELECT TABR] epoch=03/10 loss=0.08674 BCE=0.06682 rank=0.19927 macroAP=0.1688 F2@20=0.2511 Brier=0.0333 best=01 [SELECT TABR] epoch=04/10 loss=0.07958 BCE=0.06333 rank=0.16251 macroAP=0.1866 F2@20=0.2812 Brier=0.0386 best=04 [SELECT TABR] epoch=05/10 loss=0.07508 BCE=0.06008 rank=0.15003 macroAP=0.1676 F2@20=0.2817 Brier=0.0403 best=04 [SELECT TABR] epoch=06/10 loss=0.07059 BCE=0.05724 rank=0.13357 macroAP=0.1745 F2@20=0.2885 Brier=0.0356 best=04 [SELECT TABR] epoch=07/10 loss=0.06365 BCE=0.05215 rank=0.11495 macroAP=0.1936 F2@20=0.2965 Brier=0.0289 best=07 [SELECT TABR] epoch=08/10 loss=0.06258 BCE=0.05163 rank=0.10958 macroAP=0.2061 F2@20=0.3006 Brier=0.0296 best=08 [SELECT TABR] epoch=09/10 loss=0.05943 BCE=0.04957 rank=0.09860 macroAP=0.1876 F2@20=0.2983 Brier=0.0333 best=08 [SELECT TABR] epoch=10/10 loss=0.05581 BCE=0.04724 rank=0.08574 macroAP=0.1927 F2@20=0.3014 Brier=0.0349 best=08 ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_sacr] [SELECT SACR] epoch=01/10 loss=0.10080 BCE=0.07510 rank=0.25703 macroAP=0.2609 F2@20=0.3193 Brier=0.0244 best=01 [SELECT SACR] epoch=02/10 loss=0.08507 BCE=0.06535 rank=0.19720 macroAP=0.2583 F2@20=0.3168 Brier=0.0253 best=01 [SELECT SACR] epoch=03/10 loss=0.07817 BCE=0.06222 rank=0.15954 macroAP=0.2422 F2@20=0.2957 Brier=0.0289 best=01 [SELECT SACR] epoch=04/10 loss=0.07378 BCE=0.05929 rank=0.14491 macroAP=0.2784 F2@20=0.3143 Brier=0.0244 best=04 [SELECT SACR] epoch=05/10 loss=0.06870 BCE=0.05627 rank=0.12426 macroAP=0.2515 F2@20=0.3051 Brier=0.0293 best=04 [SELECT SACR] epoch=06/10 loss=0.06537 BCE=0.05380 rank=0.11561 macroAP=0.2433 F2@20=0.3137 Brier=0.0301 best=04 [SELECT SACR] epoch=07/10 loss=0.06039 BCE=0.05012 rank=0.10274 macroAP=0.2415 F2@20=0.3060 Brier=0.0306 best=04 [COMMITTEE BLEND ABLATION] selected alpha=0.10 policyAP=0.4356 policyF2=0.3009 [RETRIEVAL CACHE] production history... [RETRIEVAL INDEX] building production-history: bank=419,467 query=419,467 PCA=24 [STATE RETRIEVAL] semester=6056 queries=225 eligible_bank=11,015 k=32 [STATE RETRIEVAL] semester=6057 queries=27,064 eligible_bank=11,240 k=32 [STATE RETRIEVAL] semester=6058 queries=27,400 eligible_bank=38,304 k=32 [STATE RETRIEVAL] semester=6059 queries=458 eligible_bank=65,704 k=32 [STATE RETRIEVAL] semester=6060 queries=42,415 eligible_bank=66,162 k=32 [STATE RETRIEVAL] semester=6061 queries=39,361 eligible_bank=108,577 k=32 [STATE RETRIEVAL] semester=6062 queries=906 eligible_bank=147,938 k=32 [STATE RETRIEVAL] semester=6063 queries=48,526 eligible_bank=148,844 k=32 [STATE RETRIEVAL] semester=6064 queries=42,562 eligible_bank=197,370 k=32 [STATE RETRIEVAL] semester=6065 queries=740 eligible_bank=239,932 k=32 [STATE RETRIEVAL] semester=6066 queries=45,800 eligible_bank=240,672 k=32 [STATE RETRIEVAL] semester=6067 queries=42,122 eligible_bank=286,472 k=32 [STATE RETRIEVAL] semester=6068 queries=985 eligible_bank=328,594 k=32 [STATE RETRIEVAL] semester=6069 queries=47,420 eligible_bank=329,579 k=32 [STATE RETRIEVAL] semester=6070 queries=41,376 eligible_bank=376,999 k=32 [STATE RETRIEVAL] semester=6071 queries=1,092 eligible_bank=418,375 k=32 [STATE RETRIEVAL] complete N=419,467 in 1.72 min [RETRIEVAL CACHE] 25,000/419,467 [RETRIEVAL CACHE] 50,000/419,467 [RETRIEVAL CACHE] 75,000/419,467 [RETRIEVAL CACHE] 100,000/419,467 [RETRIEVAL CACHE] 125,000/419,467 [RETRIEVAL CACHE] 150,000/419,467 [RETRIEVAL CACHE] 175,000/419,467 [RETRIEVAL CACHE] 200,000/419,467 [RETRIEVAL CACHE] 225,000/419,467 [RETRIEVAL CACHE] 250,000/419,467 [RETRIEVAL CACHE] 275,000/419,467 [RETRIEVAL CACHE] 300,000/419,467 [RETRIEVAL CACHE] 325,000/419,467 [RETRIEVAL CACHE] 350,000/419,467 [RETRIEVAL CACHE] 375,000/419,467 [RETRIEVAL CACHE] 400,000/419,467 [RETRIEVAL CACHE] complete N=419,467 bank=419,467 maxP=96 in 4.24 min [RETRIEVAL CACHE] production target... [RETRIEVAL INDEX] building production-target: bank=419,467 query=50,698 PCA=24 [STATE RETRIEVAL] semester=6072 queries=50,698 eligible_bank=419,467 k=32 [STATE RETRIEVAL] complete N=50,698 in 0.70 min [RETRIEVAL CACHE] 25,000/50,698 [RETRIEVAL CACHE] 50,000/50,698 [RETRIEVAL CACHE] complete N=50,698 bank=419,467 maxP=96 in 0.48 min FOLD 5 TARGET RETRIEVAL SUPPORT -------------------------------------------------------------------------------- faculty rows prevalence any_candidate_zero_rate same_student_mean same_student_zero_rate same_student_candidate_fail_rate same_course_mean same_course_zero_rate same_course_candidate_fail_rate structural_mean structural_zero_rate structural_candidate_fail_rate state_mean state_zero_rate state_candidate_fail_rate candidate_mean cross_faculty_candidate_rate candidate_recency_mean fold khoa_cong_nghe_thong_tin 6398 0.054861 0.0 9.540950 0.297906 0.028373 22.597062 0.058456 0.044025 2.593623 0.567834 0.040557 32.0 0.0 0.043265 66.199437 0.205771 3.203125 5 khoa_quan_tri_kinh_doanh_va_du_lich 7604 0.053524 0.0 8.941347 0.315755 0.027504 23.106654 0.021568 0.040546 7.871383 0.054840 0.050740 32.0 0.0 0.036453 71.372436 0.173656 2.773438 5 khoa_quoc_te_hoc 2674 0.021690 0.0 7.981301 0.379955 0.010683 22.100224 0.075916 0.018428 7.902393 0.090127 0.013819 32.0 0.0 0.028235 69.679132 0.367450 3.269531 5 khoa_tieng_anh 8345 0.015818 0.0 8.018214 0.159856 0.007981 18.500659 0.228520 0.013803 5.584542 0.432235 0.015128 32.0 0.0 0.022337 63.691911 0.479226 3.251953 5 khoa_tieng_bo_dao_nha 1138 0.070299 0.0 9.539543 0.244288 0.035188 22.299649 0.070299 0.041179 3.205624 0.419156 0.063322 32.0 0.0 0.065466 66.471880 0.462674 3.406250 5 khoa_tieng_duc 1975 0.029873 0.0 8.107342 0.347848 0.016363 21.302278 0.112405 0.029759 1.619241 0.751392 0.066604 32.0 0.0 0.030585 62.229873 0.529690 3.074219 5 khoa_tieng_han_quoc 3573 0.018752 0.0 7.951022 0.271481 0.005949 22.464316 0.063812 0.021666 6.267003 0.253009 0.025054 32.0 0.0 0.010880 68.244892 0.400030 2.923828 5 khoa_tieng_italia 2129 0.038985 0.0 9.178957 0.235322 0.014789 19.611085 0.177548 0.042369 6.109911 0.154533 0.056965 32.0 0.0 0.041172 65.998591 0.472675 3.144531 5 khoa_tieng_nga 2047 0.065462 0.0 9.940401 0.281876 0.024130 21.465559 0.100635 0.047383 4.682951 0.332682 0.025245 32.0 0.0 0.059951 66.972154 0.423052 3.099609 5 khoa_tieng_nhat 2593 0.026610 0.0 7.385654 0.288855 0.009660 19.472811 0.187813 0.019963 7.220208 0.207096 0.079051 32.0 0.0 0.017656 65.768222 0.465483 2.904297 5 khoa_tieng_phap 2983 0.019108 0.0 8.543413 0.290982 0.009535 21.786792 0.089842 0.023265 6.139457 0.200134 0.017691 32.0 0.0 0.023246 67.835401 0.362762 3.238281 5 khoa_tieng_tay_ban_nha 1606 0.052304 0.0 8.646326 0.315068 0.025853 20.227273 0.153798 0.030291 7.351806 0.229141 0.112645 32.0 0.0 0.031756 67.740971 0.506820 3.015625 5 khoa_tieng_trung_quoc 6995 0.022159 0.0 9.366976 0.184132 0.010165 17.595282 0.266762 0.030289 5.166548 0.273338 0.049862 32.0 0.0 0.017705 63.698642 0.310919 3.169922 5 khoa_viet_nam_hoc 638 0.095611 0.0 5.208464 0.542320 0.037918 20.278997 0.122257 0.101175 0.000000 1.000000 NaN 32.0 0.0 0.105701 56.584639 0.108529 4.519531 5 [CHRONOLOGY AUDIT] violations=0 / 470,165 | every retrieved label semester < query semester [REFIT MLP] epoch=01/2 loss=0.11790 BCE=0.08757 rank=0.30331 [REFIT MLP] epoch=02/2 loss=0.10722 BCE=0.08092 rank=0.26301 [VARIANT suite25_mlp] selected_epochs=2 target macroAP=0.2721 [REFIT TABR] epoch=01/8 loss=0.11570 BCE=0.08542 rank=0.30277 [REFIT TABR] epoch=08/8 loss=0.07555 BCE=0.06110 rank=0.14448 [VARIANT suite25_tabr] selected_epochs=8 target macroAP=0.2550 [REFIT SACR] epoch=01/4 loss=0.10503 BCE=0.07990 rank=0.25133 [REFIT SACR] epoch=04/4 loss=0.08047 BCE=0.06448 rank=0.15983 [VARIANT suite25_sacr] selected_epochs=4 target macroAP=0.3030 SUITE25 TARGET FOLD 5 — NEW + AVAILABLE REFERENCE RESULTS -------------------------------------------------------------------------------- fold faculty model rows failures prevalence ap auc brier ece10 mean_score calibration_gap precision_at_10 recall_at_10 f1_at_10 fbeta_at_10 precision_at_15 recall_at_15 f1_at_15 fbeta_at_15 precision_at_20 recall_at_20 f1_at_20 fbeta_at_20 precision_at_25 recall_at_25 f1_at_25 fbeta_at_25 5 khoa_cong_nghe_thong_tin committee 6398 351 0.054861 0.275062 0.829203 0.045719 0.008376 0.062938 0.008077 0.245312 0.447293 0.316852 0.384051 0.210417 0.575499 0.308162 0.427242 0.182812 0.666667 0.286941 0.435917 0.157500 0.717949 0.258329 0.419441 5 khoa_cong_nghe_thong_tin council 6398 351 0.054861 0.291789 0.834749 0.052825 0.074601 0.129462 0.074601 0.260937 0.475783 0.337033 0.408513 0.214583 0.586895 0.314264 0.435702 0.190625 0.695157 0.299203 0.454545 0.162500 0.740741 0.266530 0.432756 5 khoa_cong_nghe_thong_tin suite14 6398 351 0.054861 0.275062 0.829203 0.045719 0.008376 0.062938 0.008077 0.245312 0.447293 0.316852 0.384051 0.210417 0.575499 0.308162 0.427242 0.182812 0.666667 0.286941 0.435917 0.157500 0.717949 0.258329 0.419441 5 khoa_cong_nghe_thong_tin suite16 6398 351 0.054861 0.280247 0.830107 0.096360 0.150201 0.205062 0.150201 0.271875 0.495726 0.351160 0.425636 0.216667 0.592593 0.317315 0.439932 0.180469 0.658120 0.283262 0.430328 0.152500 0.695157 0.250128 0.406125 5 khoa_cong_nghe_thong_tin suite17 6398 351 0.054861 0.274191 0.832320 0.045803 0.011625 0.065625 0.010764 0.248438 0.452991 0.320888 0.388943 0.213542 0.584046 0.312738 0.433587 0.182812 0.666667 0.286941 0.435917 0.154375 0.703704 0.253203 0.411119 5 khoa_cong_nghe_thong_tin suite18 6398 351 0.054861 0.278269 0.834254 0.045618 0.011737 0.065491 0.010630 0.251563 0.458689 0.324924 0.393836 0.215625 0.589744 0.315789 0.437817 0.183594 0.669516 0.288167 0.437779 0.156250 0.712251 0.256279 0.416112 5 khoa_cong_nghe_thong_tin suite20 6398 351 0.054861 0.231233 0.812766 0.083022 0.116500 0.171361 0.116500 0.234375 0.427350 0.302725 0.366928 0.197917 0.541311 0.289855 0.401861 0.167187 0.609687 0.262416 0.398659 0.151875 0.692308 0.249103 0.404461 5 khoa_cong_nghe_thong_tin suite21 6398 351 0.054861 0.279536 0.832935 0.046561 0.019534 0.074244 0.019383 0.250000 0.455840 0.322906 0.391389 0.209375 0.572650 0.306636 0.425127 0.185938 0.678063 0.291845 0.443368 0.161875 0.737892 0.265505 0.431092 5 khoa_cong_nghe_thong_tin suite22 6398 351 0.054861 0.276968 0.832893 0.045512 0.007016 0.061754 0.006893 0.246875 0.450142 0.318870 0.386497 0.211458 0.578348 0.309687 0.429357 0.181250 0.660969 0.284488 0.432191 0.159375 0.726496 0.261404 0.424434 5 khoa_cong_nghe_thong_tin suite22_primary 6398 351 0.054861 0.249137 0.817907 0.046562 0.010990 0.065366 0.010505 0.232813 0.424501 0.300706 0.364481 0.197917 0.541311 0.289855 0.401861 0.177344 0.646724 0.278357 0.422876 0.156250 0.712251 0.256279 0.416112 5 khoa_cong_nghe_thong_tin suite22_relational 6398 351 0.054861 0.277377 0.830912 0.046067 0.022522 0.034875 -0.019986 0.262500 0.478632 0.339051 0.410959 0.212500 0.581197 0.311213 0.431472 0.183594 0.669516 0.288167 0.437779 0.161875 0.737892 0.265505 0.431092 5 khoa_cong_nghe_thong_tin suite23 6398 351 0.054861 0.283065 0.836904 0.045209 0.004664 0.055692 0.000831 0.260937 0.475783 0.337033 0.408513 0.215625 0.589744 0.315789 0.437817 0.183594 0.669516 0.288167 0.437779 0.158750 0.723647 0.260379 0.422770 5 khoa_cong_nghe_thong_tin suite23_graph 6398 351 0.054861 0.251980 0.829147 0.046156 0.013971 0.043481 -0.011380 0.243750 0.444444 0.314834 0.381605 0.208333 0.569801 0.305111 0.423012 0.181250 0.660969 0.284488 0.432191 0.157500 0.717949 0.258329 0.419441 5 khoa_cong_nghe_thong_tin suite24 6398 351 0.054861 0.287902 0.845912 0.046502 0.028276 0.029662 -0.025199 0.259375 0.472934 0.335015 0.406067 0.221875 0.606838 0.324943 0.450508 0.189844 0.692308 0.297977 0.452683 0.166875 0.760684 0.273706 0.444407 5 khoa_cong_nghe_thong_tin suite24_posthoc 6398 351 0.054861 0.268832 0.833084 0.046317 0.021724 0.033923 -0.020937 0.250000 0.455840 0.322906 0.391389 0.205208 0.561254 0.300534 0.416667 0.178906 0.652422 0.280809 0.426602 0.159375 0.726496 0.261404 0.424434 5 khoa_cong_nghe_thong_tin suite25_committee_blend 6398 351 0.054861 0.281965 0.835908 0.045248 0.005137 0.058284 0.003423 0.250000 0.455840 0.322906 0.391389 0.214583 0.586895 0.314264 0.435702 0.185156 0.675214 0.290619 0.441505 0.161875 0.737892 0.265505 0.431092 5 khoa_cong_nghe_thong_tin suite25_mlp 6398 351 0.054861 0.240135 0.829619 0.050671 0.040316 0.014545 -0.040316 0.253125 0.461538 0.326942 0.396282 0.220833 0.603989 0.323417 0.448393 0.185938 0.678063 0.291845 0.443368 0.158750 0.723647 0.260379 0.422770 5 khoa_cong_nghe_thong_tin suite25_sacr 6398 351 0.054861 0.274687 0.850882 0.046800 0.021033 0.034127 -0.020734 0.251563 0.458689 0.324924 0.393836 0.216667 0.592593 0.317315 0.439932 0.192969 0.703704 0.302882 0.460134 0.171875 0.783476 0.281907 0.457723 5 khoa_cong_nghe_thong_tin suite25_tabr 6398 351 0.054861 0.217805 0.819631 0.048785 0.030328 0.024632 -0.030229 0.245312 0.447293 0.316852 0.384051 0.202083 0.552707 0.295957 0.410321 0.171875 0.626781 0.269773 0.409836 0.154375 0.703704 0.253203 0.411119 5 khoa_cong_nghe_thong_tin v2 6398 351 0.054861 0.266546 0.829637 0.098030 0.124563 0.179424 0.124563 0.254688 0.464387 0.328961 0.398728 0.215625 0.589744 0.315789 0.437817 0.180469 0.658120 0.283262 0.430328 0.161875 0.737892 0.265505 0.431092 5 khoa_quan_tri_kinh_doanh_va_du_lich committee 7604 407 0.053524 0.372871 0.876945 0.040595 0.007197 0.050238 -0.003286 0.318421 0.594595 0.414739 0.506700 0.242770 0.680590 0.357881 0.500181 0.200526 0.749386 0.316390 0.484281 0.169911 0.793612 0.279896 0.457637 5 khoa_quan_tri_kinh_doanh_va_du_lich suite14 7604 407 0.053524 0.406201 0.888067 0.039547 0.012771 0.066296 0.012771 0.326316 0.609337 0.425021 0.519263 0.255039 0.714988 0.375969 0.525460 0.209073 0.781327 0.329876 0.504922 0.178327 0.832924 0.293761 0.480306 5 khoa_quan_tri_kinh_doanh_va_du_lich suite16 7604 407 0.053524 0.376968 0.883435 0.073638 0.118092 0.171616 0.118092 0.315789 0.589681 0.411311 0.502513 0.255916 0.717445 0.377261 0.527266 0.202498 0.756757 0.319502 0.489044 0.173067 0.808354 0.285095 0.466138 5 khoa_quan_tri_kinh_doanh_va_du_lich suite17 7604 407 0.053524 0.377594 0.879029 0.040626 0.008044 0.056042 0.002517 0.322368 0.601966 0.419880 0.512982 0.247152 0.692875 0.364341 0.509209 0.197239 0.737101 0.311203 0.476342 0.169911 0.793612 0.279896 0.457637 5 khoa_quan_tri_kinh_doanh_va_du_lich suite18 7604 407 0.053524 0.376814 0.879893 0.040659 0.008217 0.056023 0.002499 0.319737 0.597052 0.416452 0.508794 0.243646 0.683047 0.359173 0.501986 0.197896 0.739558 0.312241 0.477930 0.170963 0.798526 0.281629 0.460470 5 khoa_quan_tri_kinh_doanh_va_du_lich suite20 7604 407 0.053524 0.305657 0.867640 0.056297 0.056660 0.110184 0.056660 0.300000 0.560197 0.390746 0.477387 0.235758 0.660934 0.347545 0.485735 0.193294 0.722359 0.304979 0.466815 0.166754 0.778870 0.274697 0.449136 5 khoa_quan_tri_kinh_doanh_va_du_lich suite21 7604 407 0.053524 0.380964 0.881897 0.040184 0.010399 0.060684 0.007160 0.325000 0.606880 0.423308 0.517169 0.241893 0.678133 0.356589 0.498375 0.204471 0.764128 0.322614 0.493808 0.170963 0.798526 0.281629 0.460470 5 khoa_quan_tri_kinh_doanh_va_du_lich suite22 7604 407 0.053524 0.390041 0.884977 0.040271 0.007654 0.046892 -0.006632 0.322368 0.601966 0.419880 0.512982 0.246275 0.690418 0.363049 0.507403 0.204471 0.764128 0.322614 0.493808 0.171489 0.800983 0.282496 0.461887 5 khoa_quan_tri_kinh_doanh_va_du_lich suite22_primary 7604 407 0.053524 0.386975 0.890858 0.040630 0.011821 0.042094 -0.011430 0.311842 0.582310 0.406170 0.496231 0.248028 0.695332 0.365633 0.511015 0.213018 0.796069 0.336100 0.514449 0.177801 0.830467 0.292894 0.478889 5 khoa_quan_tri_kinh_doanh_va_du_lich suite22_relational 7604 407 0.053524 0.404675 0.881578 0.041873 0.027655 0.026184 -0.027341 0.325000 0.606880 0.423308 0.517169 0.255916 0.717445 0.377261 0.527266 0.203156 0.759214 0.320539 0.490632 0.172541 0.805897 0.284229 0.464721 5 khoa_quan_tri_kinh_doanh_va_du_lich suite23 7604 407 0.053524 0.396607 0.884712 0.041336 0.016804 0.036936 -0.016588 0.321053 0.599509 0.418166 0.510888 0.248028 0.695332 0.365633 0.511015 0.206443 0.771499 0.325726 0.498571 0.173067 0.808354 0.285095 0.466138 5 khoa_quan_tri_kinh_doanh_va_du_lich suite23_graph 7604 407 0.053524 0.349049 0.873660 0.045031 0.030397 0.023127 -0.030397 0.294737 0.550369 0.383890 0.469012 0.238387 0.668305 0.351421 0.491152 0.196581 0.734644 0.310166 0.474754 0.169911 0.793612 0.279896 0.457637 5 khoa_quan_tri_kinh_doanh_va_du_lich suite24 7604 407 0.053524 0.381783 0.884045 0.042771 0.029935 0.024077 -0.029447 0.306579 0.572482 0.399314 0.487856 0.242770 0.680590 0.357881 0.500181 0.204471 0.764128 0.322614 0.493808 0.175171 0.818182 0.288562 0.471805 5 khoa_quan_tri_kinh_doanh_va_du_lich suite24_posthoc 7604 407 0.053524 0.395747 0.884027 0.042322 0.023092 0.030591 -0.022934 0.313158 0.584767 0.407883 0.498325 0.248904 0.697789 0.366925 0.512821 0.202498 0.756757 0.319502 0.489044 0.172541 0.805897 0.284229 0.464721 5 khoa_quan_tri_kinh_doanh_va_du_lich suite25_committee_blend 7604 407 0.053524 0.383507 0.880526 0.040509 0.009661 0.047257 -0.006267 0.318421 0.594595 0.414739 0.506700 0.242770 0.680590 0.357881 0.500181 0.202498 0.756757 0.319502 0.489044 0.170437 0.796069 0.280763 0.459054 5 khoa_quan_tri_kinh_doanh_va_du_lich suite25_mlp 7604 407 0.053524 0.268425 0.863937 0.049335 0.042444 0.011080 -0.042444 0.264474 0.493857 0.344473 0.420854 0.224365 0.628993 0.330749 0.462261 0.191979 0.717445 0.302905 0.463639 0.164650 0.769042 0.271231 0.443468 5 khoa_quan_tri_kinh_doanh_va_du_lich suite25_sacr 7604 407 0.053524 0.400600 0.877540 0.043320 0.022525 0.030999 -0.022525 0.311842 0.582310 0.406170 0.496231 0.236635 0.663391 0.348837 0.487541 0.192636 0.719902 0.303942 0.465227 0.166754 0.778870 0.274697 0.449136 5 khoa_quan_tri_kinh_doanh_va_du_lich suite25_tabr 7604 407 0.053524 0.340035 0.873872 0.045791 0.030775 0.022749 -0.030775 0.305263 0.570025 0.397601 0.485762 0.243646 0.683047 0.359173 0.501986 0.201183 0.751843 0.317427 0.485869 0.170963 0.798526 0.281629 0.460470 5 khoa_quoc_te_hoc committee 2674 58 0.021690 0.163461 0.834645 0.019653 0.007283 0.028280 0.006590 0.104869 0.482759 0.172308 0.280561 0.074813 0.517241 0.130719 0.236967 0.069159 0.637931 0.124789 0.241199 0.067365 0.775862 0.123967 0.250000 5 khoa_quoc_te_hoc suite14 2674 58 0.021690 0.163461 0.834645 0.019653 0.007283 0.028280 0.006590 0.104869 0.482759 0.172308 0.280561 0.074813 0.517241 0.130719 0.236967 0.069159 0.637931 0.124789 0.241199 0.067365 0.775862 0.123967 0.250000 5 khoa_quoc_te_hoc suite16 2674 58 0.021690 0.164915 0.839469 0.048937 0.096085 0.117775 0.096085 0.116105 0.534483 0.190769 0.310621 0.089776 0.620690 0.156863 0.284360 0.069159 0.637931 0.124789 0.241199 0.059880 0.689655 0.110193 0.222222 5 khoa_quoc_te_hoc suite17 2674 58 0.021690 0.172231 0.839805 0.019748 0.008996 0.028626 0.006935 0.104869 0.482759 0.172308 0.280561 0.084788 0.586207 0.148148 0.268562 0.069159 0.637931 0.124789 0.241199 0.061377 0.706897 0.112948 0.227778 5 khoa_quoc_te_hoc suite18 2674 58 0.021690 0.171025 0.842059 0.019735 0.009032 0.028667 0.006976 0.101124 0.465517 0.166154 0.270541 0.082294 0.568966 0.143791 0.260664 0.067290 0.620690 0.121417 0.234681 0.065868 0.758621 0.121212 0.244444 5 khoa_quoc_te_hoc suite20 2674 58 0.021690 0.138389 0.835713 0.097286 0.150571 0.172261 0.150571 0.116105 0.534483 0.190769 0.310621 0.089776 0.620690 0.156863 0.284360 0.072897 0.672414 0.131535 0.254237 0.067365 0.775862 0.123967 0.250000 5 khoa_quoc_te_hoc suite21 2674 58 0.021690 0.182719 0.838593 0.020402 0.015710 0.037400 0.015710 0.101124 0.465517 0.166154 0.270541 0.084788 0.586207 0.148148 0.268562 0.074766 0.689655 0.134907 0.260756 0.062874 0.724138 0.115702 0.233333 5 khoa_quoc_te_hoc suite22 2674 58 0.021690 0.193638 0.853903 0.019218 0.006260 0.026821 0.005131 0.108614 0.500000 0.178462 0.290581 0.082294 0.568966 0.143791 0.260664 0.076636 0.706897 0.138280 0.267275 0.070359 0.810345 0.129477 0.261111 5 khoa_quoc_te_hoc suite22_primary 2674 58 0.021690 0.230851 0.864244 0.018972 0.008664 0.028609 0.006919 0.112360 0.517241 0.184615 0.300601 0.092269 0.637931 0.161220 0.292259 0.084112 0.775862 0.151771 0.293351 0.071856 0.827586 0.132231 0.266667 5 khoa_quoc_te_hoc suite22_relational 2674 58 0.021690 0.226230 0.835653 0.019285 0.012727 0.009723 -0.011967 0.097378 0.448276 0.160000 0.260521 0.082294 0.568966 0.143791 0.260664 0.071028 0.655172 0.128162 0.247718 0.067365 0.775862 0.123967 0.250000 5 khoa_quoc_te_hoc suite23 2674 58 0.021690 0.181769 0.850232 0.019318 0.002133 0.019692 -0.001999 0.112360 0.517241 0.184615 0.300601 0.084788 0.586207 0.148148 0.268562 0.071028 0.655172 0.128162 0.247718 0.067365 0.775862 0.123967 0.250000 5 khoa_quoc_te_hoc suite23_graph 2674 58 0.021690 0.188125 0.849474 0.020221 0.013351 0.008339 -0.013351 0.108614 0.500000 0.178462 0.290581 0.082294 0.568966 0.143791 0.260664 0.067290 0.620690 0.121417 0.234681 0.065868 0.758621 0.121212 0.244444 5 khoa_quoc_te_hoc suite24 2674 58 0.021690 0.179855 0.837334 0.019586 0.011150 0.011730 -0.009961 0.101124 0.465517 0.166154 0.270541 0.087282 0.603448 0.152505 0.276461 0.069159 0.637931 0.124789 0.241199 0.062874 0.724138 0.115702 0.233333 5 khoa_quoc_te_hoc suite24_posthoc 2674 58 0.021690 0.180594 0.842778 0.019548 0.006421 0.015269 -0.006421 0.089888 0.413793 0.147692 0.240481 0.082294 0.568966 0.143791 0.260664 0.071028 0.655172 0.128162 0.247718 0.062874 0.724138 0.115702 0.233333 5 khoa_quoc_te_hoc suite25_committee_blend 2674 58 0.021690 0.174358 0.843991 0.019365 0.005868 0.026675 0.004985 0.104869 0.482759 0.172308 0.280561 0.077307 0.534483 0.135076 0.244866 0.076636 0.706897 0.138280 0.267275 0.067365 0.775862 0.123967 0.250000 5 khoa_quoc_te_hoc suite25_mlp 2674 58 0.021690 0.207615 0.850766 0.020384 0.013835 0.007855 -0.013835 0.108614 0.500000 0.178462 0.290581 0.094763 0.655172 0.165577 0.300158 0.074766 0.689655 0.134907 0.260756 0.062874 0.724138 0.115702 0.233333 5 khoa_quoc_te_hoc suite25_sacr 2674 58 0.021690 0.205096 0.869925 0.019224 0.004256 0.022437 0.000747 0.127341 0.586207 0.209231 0.340681 0.094763 0.655172 0.165577 0.300158 0.080374 0.741379 0.145025 0.280313 0.071856 0.827586 0.132231 0.266667 5 khoa_quoc_te_hoc suite25_tabr 2674 58 0.021690 0.186253 0.838224 0.019927 0.006777 0.014913 -0.006777 0.097378 0.448276 0.160000 0.260521 0.079800 0.551724 0.139434 0.252765 0.067290 0.620690 0.121417 0.234681 0.065868 0.758621 0.121212 0.244444 5 khoa_tieng_anh committee 8345 132 0.015818 0.153075 0.832974 0.014608 0.010883 0.026028 0.010210 0.068345 0.431818 0.118012 0.209251 0.059105 0.560606 0.106936 0.207865 0.049730 0.628788 0.092171 0.188894 0.043145 0.681818 0.081154 0.172150 5 khoa_tieng_anh suite14 8345 132 0.015818 0.153075 0.832974 0.014608 0.010883 0.026028 0.010210 0.068345 0.431818 0.118012 0.209251 0.059105 0.560606 0.106936 0.207865 0.049730 0.628788 0.092171 0.188894 0.043145 0.681818 0.081154 0.172150 5 khoa_tieng_anh suite16 8345 132 0.015818 0.156690 0.838705 0.041010 0.096016 0.111834 0.096016 0.067146 0.424242 0.115942 0.205580 0.054313 0.515152 0.098266 0.191011 0.045536 0.575758 0.084398 0.172963 0.042186 0.666667 0.079351 0.168324 5 khoa_tieng_anh suite17 8345 132 0.015818 0.151762 0.834277 0.015159 0.015103 0.030260 0.014443 0.073141 0.462121 0.126294 0.223935 0.055911 0.530303 0.101156 0.196629 0.044338 0.560606 0.082177 0.168411 0.038830 0.613636 0.073039 0.154935 5 khoa_tieng_anh suite18 8345 132 0.015818 0.158154 0.845429 0.015100 0.015134 0.030275 0.014458 0.077938 0.492424 0.134576 0.238620 0.056709 0.537879 0.102601 0.199438 0.047334 0.598485 0.087729 0.179791 0.044104 0.696970 0.082958 0.175976 5 khoa_tieng_anh suite20 8345 132 0.015818 0.136418 0.857657 0.020990 0.021013 0.036831 0.021013 0.081535 0.515152 0.140787 0.249633 0.067093 0.636364 0.121387 0.235955 0.062313 0.787879 0.115491 0.236686 0.054171 0.856061 0.101894 0.216144 5 khoa_tieng_anh suite21 8345 132 0.015818 0.162112 0.846486 0.014787 0.011371 0.026789 0.010971 0.075540 0.477273 0.130435 0.231278 0.062300 0.590909 0.112717 0.219101 0.049730 0.628788 0.092171 0.188894 0.042665 0.674242 0.080252 0.170237 5 khoa_tieng_anh suite22 8345 132 0.015818 0.180069 0.866314 0.014385 0.008302 0.023377 0.007559 0.077938 0.492424 0.134576 0.238620 0.061502 0.583333 0.111272 0.216292 0.055123 0.696970 0.102165 0.209376 0.053212 0.840909 0.100090 0.212318 5 khoa_tieng_anh suite22_primary 8345 132 0.015818 0.173722 0.874245 0.014516 0.006292 0.021909 0.006091 0.086331 0.545455 0.149068 0.264317 0.071086 0.674242 0.128613 0.250000 0.061714 0.780303 0.114381 0.234411 0.053691 0.848485 0.100992 0.214231 5 khoa_tieng_anh suite22_relational 8345 132 0.015818 0.186836 0.849140 0.014295 0.004809 0.013520 -0.002298 0.087530 0.553030 0.151139 0.267988 0.066294 0.628788 0.119942 0.233146 0.055123 0.696970 0.102165 0.209376 0.047939 0.757576 0.090171 0.191278 5 khoa_tieng_anh suite23 8345 132 0.015818 0.169630 0.839033 0.014347 0.003938 0.018568 0.002750 0.074341 0.469697 0.128364 0.227606 0.058307 0.553030 0.105491 0.205056 0.050330 0.636364 0.093282 0.191170 0.045062 0.712121 0.084761 0.179801 5 khoa_tieng_anh suite23_graph 8345 132 0.015818 0.106655 0.811528 0.015069 0.007138 0.010774 -0.005044 0.076739 0.484848 0.132505 0.234949 0.057508 0.545455 0.104046 0.202247 0.047334 0.598485 0.087729 0.179791 0.041227 0.651515 0.077547 0.164499 5 khoa_tieng_anh suite24 8345 132 0.015818 0.179731 0.835677 0.014356 0.008959 0.007791 -0.008027 0.070743 0.446970 0.122153 0.216593 0.056709 0.537879 0.102601 0.199438 0.047334 0.598485 0.087729 0.179791 0.044104 0.696970 0.082958 0.175976 5 khoa_tieng_anh suite24_posthoc 8345 132 0.015818 0.170673 0.825164 0.014435 0.004149 0.011669 -0.004149 0.068345 0.431818 0.118012 0.209251 0.057508 0.545455 0.104046 0.202247 0.049730 0.628788 0.092171 0.188894 0.043145 0.681818 0.081154 0.172150 5 khoa_tieng_anh suite25_committee_blend 8345 132 0.015818 0.174308 0.842719 0.014378 0.007281 0.022495 0.006677 0.076739 0.484848 0.132505 0.234949 0.061502 0.583333 0.111272 0.216292 0.052127 0.659091 0.096613 0.197997 0.043145 0.681818 0.081154 0.172150 5 khoa_tieng_anh suite25_mlp 8345 132 0.015818 0.138031 0.851536 0.015259 0.013475 0.002343 -0.013475 0.074341 0.469697 0.128364 0.227606 0.067093 0.636364 0.121387 0.235955 0.058119 0.734848 0.107718 0.220756 0.048418 0.765152 0.091073 0.193191 5 khoa_tieng_anh suite25_sacr 8345 132 0.015818 0.163482 0.828167 0.014466 0.007335 0.009333 -0.006485 0.077938 0.492424 0.134576 0.238620 0.063099 0.598485 0.114162 0.221910 0.052127 0.659091 0.096613 0.197997 0.044583 0.704545 0.083859 0.177888 5 khoa_tieng_anh suite25_tabr 8345 132 0.015818 0.128028 0.825319 0.014926 0.008930 0.006888 -0.008930 0.077938 0.492424 0.134576 0.238620 0.056709 0.537879 0.102601 0.199438 0.047334 0.598485 0.087729 0.179791 0.042665 0.674242 0.080252 0.170237 5 khoa_tieng_bo_dao_nha committee 1138 80 0.070299 0.312913 0.859511 0.055648 0.021055 0.086369 0.016070 0.350877 0.500000 0.412371 0.460829 0.292398 0.625000 0.398406 0.509165 0.245614 0.700000 0.363636 0.510949 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite14 1138 80 0.070299 0.312913 0.859511 0.055648 0.021055 0.086369 0.016070 0.350877 0.500000 0.412371 0.460829 0.292398 0.625000 0.398406 0.509165 0.245614 0.700000 0.363636 0.510949 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite16 1138 80 0.070299 0.298032 0.859983 0.139784 0.204791 0.275089 0.204791 0.342105 0.487500 0.402062 0.449309 0.298246 0.637500 0.406375 0.519348 0.258772 0.737500 0.383117 0.538321 0.214789 0.762500 0.335165 0.504967 5 khoa_tieng_bo_dao_nha suite17 1138 80 0.070299 0.314971 0.870510 0.055328 0.020889 0.088255 0.017956 0.350877 0.500000 0.412371 0.460829 0.298246 0.637500 0.406375 0.519348 0.258772 0.737500 0.383117 0.538321 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite18 1138 80 0.070299 0.317035 0.871337 0.055267 0.021950 0.088628 0.018329 0.359649 0.512500 0.422680 0.472350 0.304094 0.650000 0.414343 0.529532 0.263158 0.750000 0.389610 0.547445 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite20 1138 80 0.070299 0.314786 0.864272 0.138032 0.165329 0.235628 0.165329 0.350877 0.500000 0.412371 0.460829 0.304094 0.650000 0.414343 0.529532 0.254386 0.725000 0.376623 0.529197 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite21 1138 80 0.070299 0.318277 0.861000 0.059254 0.038254 0.108553 0.038254 0.385965 0.550000 0.453608 0.506912 0.280702 0.600000 0.382470 0.488798 0.236842 0.675000 0.350649 0.492701 0.228873 0.812500 0.357143 0.538079 5 khoa_tieng_bo_dao_nha suite22 1138 80 0.070299 0.331490 0.871255 0.054561 0.021398 0.088414 0.018115 0.368421 0.525000 0.432990 0.483871 0.304094 0.650000 0.414343 0.529532 0.263158 0.750000 0.389610 0.547445 0.225352 0.800000 0.351648 0.529801 5 khoa_tieng_bo_dao_nha suite22_primary 1138 80 0.070299 0.363765 0.883589 0.056326 0.035329 0.105627 0.035329 0.359649 0.512500 0.422680 0.472350 0.292398 0.625000 0.398406 0.509165 0.267544 0.762500 0.396104 0.556569 0.225352 0.800000 0.351648 0.529801 5 khoa_tieng_bo_dao_nha suite22_relational 1138 80 0.070299 0.376075 0.879407 0.055545 0.040618 0.040062 -0.030237 0.385965 0.550000 0.453608 0.506912 0.321637 0.687500 0.438247 0.560081 0.263158 0.750000 0.389610 0.547445 0.225352 0.800000 0.351648 0.529801 5 khoa_tieng_bo_dao_nha suite23 1138 80 0.070299 0.328460 0.867876 0.054356 0.011894 0.073319 0.003020 0.368421 0.525000 0.432990 0.483871 0.309942 0.662500 0.422311 0.539715 0.258772 0.737500 0.383117 0.538321 0.211268 0.750000 0.329670 0.496689 5 khoa_tieng_bo_dao_nha suite23_graph 1138 80 0.070299 0.370697 0.866966 0.054968 0.024040 0.054909 -0.015390 0.315789 0.450000 0.371134 0.414747 0.274854 0.587500 0.374502 0.478615 0.232456 0.662500 0.344156 0.483577 0.211268 0.750000 0.329670 0.496689 5 khoa_tieng_bo_dao_nha suite24 1138 80 0.070299 0.317686 0.860952 0.057536 0.035416 0.044604 -0.025695 0.350877 0.500000 0.412371 0.460829 0.321637 0.687500 0.438247 0.560081 0.263158 0.750000 0.389610 0.547445 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite24_posthoc 1138 80 0.070299 0.432150 0.871727 0.053179 0.024241 0.046058 -0.024241 0.350877 0.500000 0.412371 0.460829 0.309942 0.662500 0.422311 0.539715 0.250000 0.712500 0.370130 0.520073 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite25_committee_blend 1138 80 0.070299 0.321711 0.864615 0.054621 0.017959 0.078626 0.008328 0.359649 0.512500 0.422680 0.472350 0.298246 0.637500 0.406375 0.519348 0.258772 0.737500 0.383117 0.538321 0.221831 0.787500 0.346154 0.521523 5 khoa_tieng_bo_dao_nha suite25_mlp 1138 80 0.070299 0.360553 0.886047 0.061327 0.053898 0.018280 -0.052019 0.368421 0.525000 0.432990 0.483871 0.315789 0.675000 0.430279 0.549898 0.258772 0.737500 0.383117 0.538321 0.225352 0.800000 0.351648 0.529801 5 khoa_tieng_bo_dao_nha suite25_sacr 1138 80 0.070299 0.354698 0.880636 0.055766 0.032093 0.040226 -0.030072 0.368421 0.525000 0.432990 0.483871 0.309942 0.662500 0.422311 0.539715 0.276316 0.787500 0.409091 0.574818 0.232394 0.825000 0.362637 0.546358 5 khoa_tieng_bo_dao_nha suite25_tabr 1138 80 0.070299 0.331611 0.870735 0.059044 0.042792 0.030613 -0.039685 0.359649 0.512500 0.422680 0.472350 0.339181 0.725000 0.462151 0.590631 0.258772 0.737500 0.383117 0.538321 0.228873 0.812500 0.357143 0.538079 5 khoa_tieng_duc committee 1975 59 0.029873 0.160231 0.868436 0.026970 0.012039 0.041836 0.011963 0.151515 0.508475 0.233463 0.345622 0.135135 0.677966 0.225352 0.375940 0.111392 0.745763 0.193833 0.348653 0.101215 0.847458 0.180832 0.342466 5 khoa_tieng_duc suite14 1975 59 0.029873 0.160231 0.868436 0.026970 0.012039 0.041836 0.011963 0.151515 0.508475 0.233463 0.345622 0.135135 0.677966 0.225352 0.375940 0.111392 0.745763 0.193833 0.348653 0.101215 0.847458 0.180832 0.342466 5 khoa_tieng_duc suite16 1975 59 0.029873 0.202287 0.882192 0.074061 0.147266 0.177139 0.147266 0.191919 0.644068 0.295720 0.437788 0.135135 0.677966 0.225352 0.375940 0.111392 0.745763 0.193833 0.348653 0.103239 0.864407 0.184448 0.349315 5 khoa_tieng_duc suite17 1975 59 0.029873 0.175483 0.873779 0.026741 0.015514 0.045387 0.015514 0.161616 0.542373 0.249027 0.368664 0.135135 0.677966 0.225352 0.375940 0.108861 0.728814 0.189427 0.340729 0.099190 0.830508 0.177215 0.335616 5 khoa_tieng_duc suite18 1975 59 0.029873 0.178440 0.878928 0.026656 0.015456 0.045330 0.015456 0.166667 0.559322 0.256809 0.380184 0.135135 0.677966 0.225352 0.375940 0.118987 0.796610 0.207048 0.372425 0.099190 0.830508 0.177215 0.335616 5 khoa_tieng_duc suite20 1975 59 0.029873 0.241251 0.835573 0.108066 0.151646 0.181519 0.151646 0.156566 0.525424 0.241245 0.357143 0.121622 0.610169 0.202817 0.338346 0.116456 0.779661 0.202643 0.364501 0.101215 0.847458 0.180832 0.342466 5 khoa_tieng_duc suite21 1975 59 0.029873 0.213181 0.878636 0.026657 0.019599 0.049473 0.019599 0.156566 0.525424 0.241245 0.357143 0.135135 0.677966 0.225352 0.375940 0.121519 0.813559 0.211454 0.380349 0.099190 0.830508 0.177215 0.335616 5 khoa_tieng_duc suite22 1975 59 0.029873 0.206841 0.868998 0.026348 0.008697 0.038300 0.008426 0.151515 0.508475 0.233463 0.345622 0.135135 0.677966 0.225352 0.375940 0.108861 0.728814 0.189427 0.340729 0.105263 0.881356 0.188065 0.356164 5 khoa_tieng_duc suite22_primary 1975 59 0.029873 0.266571 0.852986 0.027360 0.014497 0.040016 0.010143 0.151515 0.508475 0.233463 0.345622 0.111486 0.559322 0.185915 0.310150 0.101266 0.677966 0.176211 0.316957 0.099190 0.830508 0.177215 0.335616 5 khoa_tieng_duc suite22_relational 1975 59 0.029873 0.269250 0.861275 0.025463 0.010448 0.029017 -0.000857 0.196970 0.661017 0.303502 0.449309 0.141892 0.711864 0.236620 0.394737 0.113924 0.762712 0.198238 0.356577 0.097166 0.813559 0.173599 0.328767 5 khoa_tieng_duc suite23 1975 59 0.029873 0.185088 0.880480 0.026259 0.008335 0.035650 0.005777 0.171717 0.576271 0.264591 0.391705 0.138514 0.694915 0.230986 0.385338 0.121519 0.813559 0.211454 0.380349 0.099190 0.830508 0.177215 0.335616 5 khoa_tieng_duc suite23_graph 1975 59 0.029873 0.224356 0.869016 0.025721 0.006064 0.030923 0.001050 0.176768 0.593220 0.272374 0.403226 0.125000 0.627119 0.208451 0.347744 0.113924 0.762712 0.198238 0.356577 0.099190 0.830508 0.177215 0.335616 5 khoa_tieng_duc suite24 1975 59 0.029873 0.205457 0.878667 0.026932 0.015325 0.014548 -0.015325 0.171717 0.576271 0.264591 0.391705 0.152027 0.762712 0.253521 0.422932 0.121519 0.813559 0.211454 0.380349 0.103239 0.864407 0.184448 0.349315 5 khoa_tieng_duc suite24_posthoc 1975 59 0.029873 0.218618 0.883576 0.026418 0.010229 0.019700 -0.010173 0.181818 0.610169 0.280156 0.414747 0.141892 0.711864 0.236620 0.394737 0.124051 0.830508 0.215859 0.388273 0.101215 0.847458 0.180832 0.342466 5 khoa_tieng_duc suite25_committee_blend 1975 59 0.029873 0.173323 0.869975 0.026637 0.008608 0.038481 0.008608 0.146465 0.491525 0.225681 0.334101 0.131757 0.661017 0.219718 0.366541 0.111392 0.745763 0.193833 0.348653 0.103239 0.864407 0.184448 0.349315 5 khoa_tieng_duc suite25_mlp 1975 59 0.029873 0.242253 0.843871 0.027645 0.021642 0.008231 -0.021642 0.171717 0.576271 0.264591 0.391705 0.128378 0.644068 0.214085 0.357143 0.118987 0.796610 0.207048 0.372425 0.099190 0.830508 0.177215 0.335616 5 khoa_tieng_duc suite25_sacr 1975 59 0.029873 0.186982 0.818261 0.026704 0.006276 0.023905 -0.005968 0.126263 0.423729 0.194553 0.288018 0.121622 0.610169 0.202817 0.338346 0.108861 0.728814 0.189427 0.340729 0.093117 0.779661 0.166365 0.315068 5 khoa_tieng_duc suite25_tabr 1975 59 0.029873 0.202486 0.825223 0.026692 0.009655 0.020218 -0.009655 0.126263 0.423729 0.194553 0.288018 0.104730 0.525424 0.174648 0.291353 0.088608 0.593220 0.154185 0.277338 0.078947 0.661017 0.141049 0.267123 5 khoa_tieng_han_quoc committee 3573 67 0.018752 0.191086 0.891608 0.016747 0.003539 0.020391 0.001639 0.109244 0.582090 0.183962 0.312000 0.097015 0.776119 0.172471 0.323383 0.078322 0.835821 0.143223 0.284842 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite14 3573 67 0.018752 0.191086 0.891608 0.016747 0.003539 0.020391 0.001639 0.109244 0.582090 0.183962 0.312000 0.097015 0.776119 0.172471 0.323383 0.078322 0.835821 0.143223 0.284842 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite16 3573 67 0.018752 0.205513 0.905631 0.030966 0.058064 0.076816 0.058064 0.128852 0.686567 0.216981 0.368000 0.102612 0.820896 0.182421 0.342040 0.081119 0.865672 0.148338 0.295015 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite17 3573 67 0.018752 0.202184 0.905495 0.016616 0.004917 0.023617 0.004866 0.126050 0.671642 0.212264 0.360000 0.104478 0.835821 0.185738 0.348259 0.082517 0.880597 0.150895 0.300102 0.069429 0.925373 0.129167 0.267011 5 khoa_tieng_han_quoc suite18 3573 67 0.018752 0.197592 0.901208 0.016686 0.005527 0.023672 0.004920 0.126050 0.671642 0.212264 0.360000 0.100746 0.805970 0.179104 0.335821 0.082517 0.880597 0.150895 0.300102 0.068309 0.910448 0.127083 0.262705 5 khoa_tieng_han_quoc suite20 3573 67 0.018752 0.204068 0.897308 0.078270 0.129231 0.147983 0.129231 0.137255 0.731343 0.231132 0.392000 0.098881 0.791045 0.175788 0.329602 0.078322 0.835821 0.143223 0.284842 0.068309 0.910448 0.127083 0.262705 5 khoa_tieng_han_quoc suite21 3573 67 0.018752 0.182205 0.898986 0.016663 0.003400 0.019344 0.000592 0.131653 0.701493 0.221698 0.376000 0.102612 0.820896 0.182421 0.342040 0.079720 0.850746 0.145780 0.289929 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite22 3573 67 0.018752 0.221774 0.903730 0.016545 0.002388 0.019067 0.000315 0.123249 0.656716 0.207547 0.352000 0.102612 0.820896 0.182421 0.342040 0.082517 0.880597 0.150895 0.300102 0.068309 0.910448 0.127083 0.262705 5 khoa_tieng_han_quoc suite22_primary 3573 67 0.018752 0.207559 0.901401 0.016469 0.004942 0.019654 0.000902 0.126050 0.671642 0.212264 0.360000 0.091418 0.731343 0.162521 0.304726 0.081119 0.865672 0.148338 0.295015 0.066069 0.880597 0.122917 0.254091 5 khoa_tieng_han_quoc suite22_relational 3573 67 0.018752 0.235304 0.892828 0.016180 0.006914 0.021637 0.002885 0.117647 0.626866 0.198113 0.336000 0.097015 0.776119 0.172471 0.323383 0.076923 0.820896 0.140665 0.279756 0.064950 0.865672 0.120833 0.249785 5 khoa_tieng_han_quoc suite23 3573 67 0.018752 0.191086 0.891608 0.016747 0.003539 0.020391 0.001639 0.109244 0.582090 0.183962 0.312000 0.097015 0.776119 0.172471 0.323383 0.078322 0.835821 0.143223 0.284842 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite23_graph 3573 67 0.018752 0.197931 0.919285 0.017332 0.011660 0.007654 -0.011098 0.137255 0.731343 0.231132 0.392000 0.108209 0.865672 0.192371 0.360697 0.082517 0.880597 0.150895 0.300102 0.069429 0.925373 0.129167 0.267011 5 khoa_tieng_han_quoc suite24 3573 67 0.018752 0.205784 0.892568 0.017591 0.013764 0.004988 -0.013764 0.117647 0.626866 0.198113 0.336000 0.097015 0.776119 0.172471 0.323383 0.078322 0.835821 0.143223 0.284842 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite24_posthoc 3573 67 0.018752 0.170360 0.886468 0.017678 0.013457 0.005985 -0.012766 0.126050 0.671642 0.212264 0.360000 0.098881 0.791045 0.175788 0.329602 0.076923 0.820896 0.140665 0.279756 0.064950 0.865672 0.120833 0.249785 5 khoa_tieng_han_quoc suite25_committee_blend 3573 67 0.018752 0.204840 0.896487 0.016692 0.002532 0.019031 0.000279 0.106443 0.567164 0.179245 0.304000 0.100746 0.805970 0.179104 0.335821 0.078322 0.835821 0.143223 0.284842 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite25_mlp 3573 67 0.018752 0.162672 0.898066 0.018358 0.017058 0.001963 -0.016788 0.117647 0.626866 0.198113 0.336000 0.087687 0.701493 0.155887 0.292289 0.078322 0.835821 0.143223 0.284842 0.067189 0.895522 0.125000 0.258398 5 khoa_tieng_han_quoc suite25_sacr 3573 67 0.018752 0.227873 0.890271 0.016867 0.005106 0.013988 -0.004764 0.123249 0.656716 0.207547 0.352000 0.089552 0.716418 0.159204 0.298507 0.074126 0.791045 0.135550 0.269583 0.064950 0.865672 0.120833 0.249785 5 khoa_tieng_han_quoc suite25_tabr 3573 67 0.018752 0.200115 0.903920 0.017293 0.010745 0.008410 -0.010342 0.126050 0.671642 0.212264 0.360000 0.100746 0.805970 0.179104 0.335821 0.075524 0.805970 0.138107 0.274669 0.066069 0.880597 0.122917 0.254091 5 khoa_tieng_italia committee 2129 83 0.038985 0.215484 0.790605 0.034617 0.012862 0.050240 0.011255 0.159624 0.409639 0.229730 0.311927 0.137931 0.530120 0.218905 0.337942 0.124413 0.638554 0.208251 0.349604 0.112782 0.722892 0.195122 0.347222 5 khoa_tieng_italia suite14 2129 83 0.038985 0.215484 0.790605 0.034617 0.012862 0.050240 0.011255 0.159624 0.409639 0.229730 0.311927 0.137931 0.530120 0.218905 0.337942 0.124413 0.638554 0.208251 0.349604 0.112782 0.722892 0.195122 0.347222 5 khoa_tieng_italia suite16 2129 83 0.038985 0.227578 0.798249 0.080552 0.148323 0.187309 0.148323 0.173709 0.445783 0.250000 0.339450 0.150470 0.578313 0.238806 0.368664 0.119718 0.614458 0.200393 0.336412 0.112782 0.722892 0.195122 0.347222 5 khoa_tieng_italia suite17 2129 83 0.038985 0.216127 0.802265 0.034552 0.016212 0.053889 0.014903 0.178404 0.457831 0.256757 0.348624 0.144201 0.554217 0.228856 0.353303 0.124413 0.638554 0.208251 0.349604 0.116541 0.746988 0.201626 0.358796 5 khoa_tieng_italia suite18 2129 83 0.038985 0.226988 0.804279 0.034551 0.016347 0.054073 0.015088 0.178404 0.457831 0.256757 0.348624 0.144201 0.554217 0.228856 0.353303 0.126761 0.650602 0.212181 0.356201 0.114662 0.734940 0.198374 0.353009 5 khoa_tieng_italia suite20 2129 83 0.038985 0.173013 0.826352 0.076229 0.103848 0.142834 0.103848 0.164319 0.421687 0.236486 0.321101 0.141066 0.542169 0.223881 0.345622 0.122066 0.626506 0.204322 0.343008 0.109023 0.698795 0.188618 0.335648 5 khoa_tieng_italia suite21 2129 83 0.038985 0.166010 0.786410 0.036688 0.018033 0.057018 0.018033 0.150235 0.385542 0.216216 0.293578 0.134796 0.518072 0.213930 0.330261 0.115023 0.590361 0.192534 0.323219 0.110902 0.710843 0.191870 0.341435 5 khoa_tieng_italia suite22 2129 83 0.038985 0.212746 0.795178 0.034572 0.007637 0.043424 0.004438 0.164319 0.421687 0.236486 0.321101 0.131661 0.506024 0.208955 0.322581 0.119718 0.614458 0.200393 0.336412 0.116541 0.746988 0.201626 0.358796 5 khoa_tieng_italia suite22_primary 2129 83 0.038985 0.201378 0.774915 0.036533 0.026018 0.040197 0.001212 0.122066 0.313253 0.175676 0.238532 0.109718 0.421687 0.174129 0.268817 0.107981 0.554217 0.180747 0.303430 0.107143 0.686747 0.185366 0.329861 5 khoa_tieng_italia suite22_relational 2129 83 0.038985 0.130084 0.767743 0.037514 0.027980 0.019766 -0.019219 0.117371 0.301205 0.168919 0.229358 0.119122 0.457831 0.189055 0.291859 0.103286 0.530120 0.172888 0.290237 0.090226 0.578313 0.156098 0.277778 5 khoa_tieng_italia suite23 2129 83 0.038985 0.191886 0.786604 0.034656 0.005970 0.035116 -0.003870 0.159624 0.409639 0.229730 0.311927 0.134796 0.518072 0.213930 0.330261 0.126761 0.650602 0.212181 0.356201 0.103383 0.662651 0.178862 0.318287 5 khoa_tieng_italia suite23_graph 2129 83 0.038985 0.143377 0.765381 0.036109 0.020538 0.022626 -0.016359 0.136150 0.349398 0.195946 0.266055 0.119122 0.457831 0.189055 0.291859 0.110329 0.566265 0.184676 0.310026 0.095865 0.614458 0.165854 0.295139 5 khoa_tieng_italia suite24 2129 83 0.038985 0.232644 0.802480 0.034732 0.025309 0.017739 -0.021246 0.173709 0.445783 0.250000 0.339450 0.150470 0.578313 0.238806 0.368664 0.124413 0.638554 0.208251 0.349604 0.109023 0.698795 0.188618 0.335648 5 khoa_tieng_italia suite24_posthoc 2129 83 0.038985 0.189927 0.794159 0.034992 0.020941 0.022048 -0.016937 0.169014 0.433735 0.243243 0.330275 0.134796 0.518072 0.213930 0.330261 0.124413 0.638554 0.208251 0.349604 0.107143 0.686747 0.185366 0.329861 5 khoa_tieng_italia suite25_committee_blend 2129 83 0.038985 0.212678 0.797357 0.034550 0.008769 0.045852 0.006866 0.154930 0.397590 0.222973 0.302752 0.141066 0.542169 0.223881 0.345622 0.124413 0.638554 0.208251 0.349604 0.112782 0.722892 0.195122 0.347222 5 khoa_tieng_italia suite25_mlp 2129 83 0.038985 0.135593 0.787411 0.037182 0.030127 0.008859 -0.030127 0.154930 0.397590 0.222973 0.302752 0.122257 0.469880 0.194030 0.299539 0.100939 0.518072 0.168959 0.283641 0.090226 0.578313 0.156098 0.277778 5 khoa_tieng_italia suite25_sacr 2129 83 0.038985 0.122942 0.786492 0.037166 0.017972 0.031089 -0.007897 0.140845 0.361446 0.202703 0.275229 0.119122 0.457831 0.189055 0.291859 0.105634 0.542169 0.176817 0.296834 0.097744 0.626506 0.169106 0.300926 5 khoa_tieng_italia suite25_tabr 2129 83 0.038985 0.107465 0.771482 0.036959 0.022926 0.020010 -0.018976 0.131455 0.337349 0.189189 0.256881 0.103448 0.397590 0.164179 0.253456 0.115023 0.590361 0.192534 0.323219 0.101504 0.650602 0.175610 0.312500 5 khoa_tieng_nga committee 2047 134 0.065462 0.465978 0.926089 0.045760 0.030811 0.096214 0.030752 0.414634 0.634328 0.501475 0.573549 0.338762 0.776119 0.471655 0.616845 0.290954 0.888060 0.438306 0.629630 0.244141 0.932836 0.386997 0.596374 5 khoa_tieng_nga suite14 2047 134 0.065462 0.480738 0.934260 0.046716 0.043760 0.109222 0.043760 0.409756 0.626866 0.495575 0.566802 0.358306 0.820896 0.498866 0.652432 0.298289 0.910448 0.449355 0.645503 0.248047 0.947761 0.393189 0.605916 5 khoa_tieng_nga suite16 2047 134 0.065462 0.466422 0.921934 0.120902 0.203914 0.269376 0.203914 0.414634 0.634328 0.501475 0.573549 0.325733 0.746269 0.453515 0.593120 0.281174 0.858209 0.423573 0.608466 0.244141 0.932836 0.386997 0.596374 5 khoa_tieng_nga suite17 2047 134 0.065462 0.467819 0.923694 0.046159 0.038407 0.099953 0.034491 0.400000 0.611940 0.483776 0.553306 0.338762 0.776119 0.471655 0.616845 0.293399 0.895522 0.441989 0.634921 0.236328 0.902985 0.374613 0.577290 5 khoa_tieng_nga suite18 2047 134 0.065462 0.469949 0.925223 0.046024 0.037416 0.100476 0.035015 0.404878 0.619403 0.489676 0.560054 0.338762 0.776119 0.471655 0.616845 0.290954 0.888060 0.438306 0.629630 0.238281 0.910448 0.377709 0.582061 5 khoa_tieng_nga suite20 2047 134 0.065462 0.408238 0.913485 0.110982 0.160892 0.226354 0.160892 0.375610 0.574627 0.454277 0.519568 0.332248 0.761194 0.462585 0.604982 0.283619 0.865672 0.427256 0.613757 0.234375 0.895522 0.371517 0.572519 5 khoa_tieng_nga suite21 2047 134 0.065462 0.475666 0.925660 0.048546 0.050328 0.115790 0.050328 0.400000 0.611940 0.483776 0.553306 0.342020 0.783582 0.476190 0.622776 0.281174 0.858209 0.423573 0.608466 0.244141 0.932836 0.386997 0.596374 5 khoa_tieng_nga suite22 2047 134 0.065462 0.493713 0.928833 0.044078 0.022050 0.087121 0.021660 0.409756 0.626866 0.495575 0.566802 0.351792 0.805970 0.489796 0.640569 0.290954 0.888060 0.438306 0.629630 0.246094 0.940299 0.390093 0.601145 5 khoa_tieng_nga suite22_primary 2047 134 0.065462 0.515900 0.924944 0.043081 0.013637 0.076566 0.011104 0.424390 0.649254 0.513274 0.587045 0.351792 0.805970 0.489796 0.640569 0.283619 0.865672 0.427256 0.613757 0.238281 0.910448 0.377709 0.582061 5 khoa_tieng_nga suite22_relational 2047 134 0.065462 0.504120 0.905181 0.043788 0.019070 0.055368 -0.010094 0.424390 0.649254 0.513274 0.587045 0.332248 0.761194 0.462585 0.604982 0.264059 0.805970 0.397790 0.571429 0.218750 0.835821 0.346749 0.534351 5 khoa_tieng_nga suite23 2047 134 0.065462 0.478671 0.929376 0.044281 0.028356 0.085028 0.019566 0.404878 0.619403 0.489676 0.560054 0.351792 0.805970 0.489796 0.640569 0.295844 0.902985 0.445672 0.640212 0.242188 0.925373 0.383901 0.591603 5 khoa_tieng_nga suite23_graph 2047 134 0.065462 0.496562 0.914641 0.044549 0.019400 0.046736 -0.018725 0.400000 0.611940 0.483776 0.553306 0.332248 0.761194 0.462585 0.604982 0.268949 0.820896 0.405157 0.582011 0.230469 0.880597 0.365325 0.562977 5 khoa_tieng_nga suite24 2047 134 0.065462 0.478848 0.921687 0.044704 0.019556 0.058975 -0.006487 0.419512 0.641791 0.507375 0.580297 0.342020 0.783582 0.476190 0.622776 0.273839 0.835821 0.412523 0.592593 0.234375 0.895522 0.371517 0.572519 5 khoa_tieng_nga suite24_posthoc 2047 134 0.065462 0.522048 0.927710 0.042964 0.012894 0.054974 -0.010488 0.429268 0.656716 0.519174 0.593792 0.338762 0.776119 0.471655 0.616845 0.286064 0.873134 0.430939 0.619048 0.236328 0.902985 0.374613 0.577290 5 khoa_tieng_nga suite25_committee_blend 2047 134 0.065462 0.484367 0.929943 0.044159 0.027066 0.088961 0.023500 0.424390 0.649254 0.513274 0.587045 0.355049 0.813433 0.494331 0.646501 0.295844 0.902985 0.445672 0.640212 0.242188 0.925373 0.383901 0.591603 5 khoa_tieng_nga suite25_mlp 2047 134 0.065462 0.487656 0.928960 0.055411 0.049598 0.015864 -0.049598 0.400000 0.611940 0.483776 0.553306 0.351792 0.805970 0.489796 0.640569 0.298289 0.910448 0.449355 0.645503 0.246094 0.940299 0.390093 0.601145 5 khoa_tieng_nga suite25_sacr 2047 134 0.065462 0.572156 0.931188 0.042549 0.020361 0.047601 -0.017861 0.463415 0.708955 0.560472 0.641026 0.342020 0.783582 0.476190 0.622776 0.268949 0.820896 0.405157 0.582011 0.236328 0.902985 0.374613 0.577290 5 khoa_tieng_nga suite25_tabr 2047 134 0.065462 0.369573 0.911011 0.051283 0.033522 0.033562 -0.031899 0.404878 0.619403 0.489676 0.560054 0.325733 0.746269 0.453515 0.593120 0.276284 0.843284 0.416206 0.597884 0.234375 0.895522 0.371517 0.572519 5 khoa_tieng_nhat committee 2593 69 0.026610 0.226421 0.836164 0.023215 0.012741 0.036143 0.009533 0.119691 0.449275 0.189024 0.289720 0.113111 0.637681 0.192140 0.330827 0.102119 0.768116 0.180272 0.333333 0.081790 0.768116 0.147838 0.286797 5 khoa_tieng_nhat suite14 2593 69 0.026610 0.238167 0.836342 0.040956 0.067155 0.093765 0.067155 0.154440 0.579710 0.243902 0.373832 0.118252 0.666667 0.200873 0.345865 0.100193 0.753623 0.176871 0.327044 0.083333 0.782609 0.150628 0.292208 5 khoa_tieng_nhat suite16 2593 69 0.026610 0.252009 0.865488 0.054843 0.100309 0.126919 0.100309 0.154440 0.579710 0.243902 0.373832 0.125964 0.710145 0.213974 0.368421 0.104046 0.782609 0.183673 0.339623 0.089506 0.840580 0.161785 0.313853 5 khoa_tieng_nhat suite17 2593 69 0.026610 0.223935 0.849618 0.023779 0.015590 0.039713 0.013102 0.127413 0.478261 0.201220 0.308411 0.115681 0.652174 0.196507 0.338346 0.104046 0.782609 0.183673 0.339623 0.086420 0.811594 0.156206 0.303030 5 khoa_tieng_nhat suite18 2593 69 0.026610 0.227926 0.847424 0.023803 0.015403 0.039535 0.012925 0.131274 0.492754 0.207317 0.317757 0.115681 0.652174 0.196507 0.338346 0.102119 0.768116 0.180272 0.333333 0.086420 0.811594 0.156206 0.303030 5 khoa_tieng_nhat suite20 2593 69 0.026610 0.234734 0.878362 0.066173 0.088564 0.115174 0.088564 0.166023 0.623188 0.262195 0.401869 0.125964 0.710145 0.213974 0.368421 0.105973 0.797101 0.187075 0.345912 0.089506 0.840580 0.161785 0.313853 5 khoa_tieng_nhat suite21 2593 69 0.026610 0.233059 0.846787 0.023388 0.012051 0.037843 0.011233 0.119691 0.449275 0.189024 0.289720 0.118252 0.666667 0.200873 0.345865 0.102119 0.768116 0.180272 0.333333 0.087963 0.826087 0.158996 0.308442 5 khoa_tieng_nhat suite22 2593 69 0.026610 0.238576 0.855658 0.022787 0.005641 0.030890 0.004280 0.135135 0.507246 0.213415 0.327103 0.131105 0.739130 0.222707 0.383459 0.102119 0.768116 0.180272 0.333333 0.087963 0.826087 0.158996 0.308442 5 khoa_tieng_nhat suite22_primary 2593 69 0.026610 0.192955 0.878563 0.023744 0.006672 0.024840 -0.001771 0.162162 0.608696 0.256098 0.392523 0.138817 0.782609 0.235808 0.406015 0.107900 0.811594 0.190476 0.352201 0.089506 0.840580 0.161785 0.313853 5 khoa_tieng_nhat suite22_relational 2593 69 0.026610 0.264674 0.853046 0.022241 0.009107 0.021001 -0.005609 0.135135 0.507246 0.213415 0.327103 0.120823 0.681159 0.205240 0.353383 0.105973 0.797101 0.187075 0.345912 0.086420 0.811594 0.156206 0.303030 5 khoa_tieng_nhat suite23 2593 69 0.026610 0.252592 0.842911 0.022841 0.007520 0.019892 -0.006718 0.154440 0.579710 0.243902 0.373832 0.120823 0.681159 0.205240 0.353383 0.098266 0.739130 0.173469 0.320755 0.081790 0.768116 0.147838 0.286797 5 khoa_tieng_nhat suite23_graph 2593 69 0.026610 0.212255 0.809785 0.023961 0.013608 0.013002 -0.013608 0.146718 0.550725 0.231707 0.355140 0.113111 0.637681 0.192140 0.330827 0.094412 0.710145 0.166667 0.308176 0.081790 0.768116 0.147838 0.286797 5 khoa_tieng_nhat suite24 2593 69 0.026610 0.244959 0.838897 0.022838 0.014819 0.012836 -0.013774 0.131274 0.492754 0.207317 0.317757 0.118252 0.666667 0.200873 0.345865 0.102119 0.768116 0.180272 0.333333 0.081790 0.768116 0.147838 0.286797 5 khoa_tieng_nhat suite24_posthoc 2593 69 0.026610 0.255877 0.840488 0.023377 0.015075 0.011602 -0.015008 0.158301 0.594203 0.250000 0.383178 0.110540 0.623188 0.187773 0.323308 0.090559 0.681159 0.159864 0.295597 0.080247 0.753623 0.145049 0.281385 5 khoa_tieng_nhat suite25_committee_blend 2593 69 0.026610 0.234038 0.842038 0.022875 0.008476 0.033366 0.006756 0.127413 0.478261 0.201220 0.308411 0.115681 0.652174 0.196507 0.338346 0.102119 0.768116 0.180272 0.333333 0.084877 0.797101 0.153417 0.297619 5 khoa_tieng_nhat suite25_mlp 2593 69 0.026610 0.217604 0.810911 0.025265 0.022348 0.004262 -0.022348 0.115830 0.434783 0.182927 0.280374 0.107969 0.608696 0.183406 0.315789 0.092486 0.695652 0.163265 0.301887 0.077160 0.724638 0.139470 0.270563 5 khoa_tieng_nhat suite25_sacr 2593 69 0.026610 0.336203 0.861314 0.022888 0.006611 0.019999 -0.006611 0.166023 0.623188 0.262195 0.401869 0.128535 0.724638 0.218341 0.375940 0.102119 0.768116 0.180272 0.333333 0.084877 0.797101 0.153417 0.297619 5 khoa_tieng_nhat suite25_tabr 2593 69 0.026610 0.250065 0.862491 0.023984 0.016612 0.009998 -0.016612 0.169884 0.637681 0.268293 0.411215 0.133676 0.753623 0.227074 0.390977 0.107900 0.811594 0.190476 0.352201 0.086420 0.811594 0.156206 0.303030 5 khoa_tieng_phap committee 2983 57 0.019108 0.254867 0.867558 0.016187 0.009773 0.027354 0.008246 0.137584 0.719298 0.230986 0.389734 0.093960 0.736842 0.166667 0.311111 0.075377 0.789474 0.137615 0.272727 0.061662 0.807018 0.114570 0.236140 5 khoa_tieng_phap suite14 2983 57 0.019108 0.253675 0.861070 0.024482 0.035378 0.054486 0.035378 0.107383 0.561404 0.180282 0.304183 0.080537 0.631579 0.142857 0.266667 0.072027 0.754386 0.131498 0.260606 0.064343 0.842105 0.119552 0.246407 5 khoa_tieng_phap suite16 2983 57 0.019108 0.253456 0.856193 0.041610 0.086931 0.106039 0.086931 0.127517 0.666667 0.214085 0.361217 0.091723 0.719298 0.162698 0.303704 0.070352 0.736842 0.128440 0.254545 0.057641 0.754386 0.107098 0.220739 5 khoa_tieng_phap suite17 2983 57 0.019108 0.252468 0.870747 0.016323 0.012909 0.029779 0.010670 0.134228 0.701754 0.225352 0.380228 0.091723 0.719298 0.162698 0.303704 0.072027 0.754386 0.131498 0.260606 0.061662 0.807018 0.114570 0.236140 5 khoa_tieng_phap suite18 2983 57 0.019108 0.257220 0.866658 0.016303 0.012840 0.029731 0.010623 0.134228 0.701754 0.225352 0.380228 0.091723 0.719298 0.162698 0.303704 0.070352 0.736842 0.128440 0.254545 0.058981 0.771930 0.109589 0.225873 5 khoa_tieng_phap suite20 2983 57 0.019108 0.259962 0.872912 0.056957 0.092745 0.111853 0.092745 0.114094 0.596491 0.191549 0.323194 0.080537 0.631579 0.142857 0.266667 0.068677 0.719298 0.125382 0.248485 0.057641 0.754386 0.107098 0.220739 5 khoa_tieng_phap suite21 2983 57 0.019108 0.235027 0.874519 0.016880 0.012498 0.031324 0.012215 0.130872 0.684211 0.219718 0.370722 0.091723 0.719298 0.162698 0.303704 0.075377 0.789474 0.137615 0.272727 0.061662 0.807018 0.114570 0.236140 5 khoa_tieng_phap suite22 2983 57 0.019108 0.271606 0.876192 0.015960 0.009593 0.025958 0.006850 0.137584 0.719298 0.230986 0.389734 0.093960 0.736842 0.166667 0.311111 0.075377 0.789474 0.137615 0.272727 0.061662 0.807018 0.114570 0.236140 5 khoa_tieng_phap suite22_primary 2983 57 0.019108 0.272846 0.877793 0.016167 0.009196 0.027367 0.008259 0.130872 0.684211 0.219718 0.370722 0.087248 0.684211 0.154762 0.288889 0.073702 0.771930 0.134557 0.266667 0.058981 0.771930 0.109589 0.225873 5 khoa_tieng_phap suite22_relational 2983 57 0.019108 0.241195 0.867738 0.016363 0.008290 0.013060 -0.006048 0.114094 0.596491 0.191549 0.323194 0.085011 0.666667 0.150794 0.281481 0.068677 0.719298 0.125382 0.248485 0.058981 0.771930 0.109589 0.225873 5 khoa_tieng_phap suite23 2983 57 0.019108 0.249692 0.881390 0.016091 0.006920 0.022612 0.003504 0.134228 0.701754 0.225352 0.380228 0.096197 0.754386 0.170635 0.318519 0.073702 0.771930 0.134557 0.266667 0.058981 0.771930 0.109589 0.225873 5 khoa_tieng_phap suite23_graph 2983 57 0.019108 0.205914 0.879621 0.016799 0.003329 0.016047 -0.003061 0.130872 0.684211 0.219718 0.370722 0.091723 0.719298 0.162698 0.303704 0.072027 0.754386 0.131498 0.260606 0.061662 0.807018 0.114570 0.236140 5 khoa_tieng_phap suite24 2983 57 0.019108 0.227054 0.868013 0.016803 0.009903 0.010882 -0.008226 0.134228 0.701754 0.225352 0.380228 0.096197 0.754386 0.170635 0.318519 0.073702 0.771930 0.134557 0.266667 0.061662 0.807018 0.114570 0.236140 5 khoa_tieng_phap suite24_posthoc 2983 57 0.019108 0.268257 0.875772 0.016262 0.004532 0.014927 -0.004182 0.134228 0.701754 0.225352 0.380228 0.093960 0.736842 0.166667 0.311111 0.073702 0.771930 0.134557 0.266667 0.063003 0.824561 0.117061 0.241273 5 khoa_tieng_phap suite25_committee_blend 2983 57 0.019108 0.264842 0.874273 0.016047 0.009371 0.025471 0.006363 0.130872 0.684211 0.219718 0.370722 0.093960 0.736842 0.166667 0.311111 0.075377 0.789474 0.137615 0.272727 0.061662 0.807018 0.114570 0.236140 5 khoa_tieng_phap suite25_mlp 2983 57 0.019108 0.208041 0.865501 0.017751 0.014168 0.004940 -0.014168 0.117450 0.614035 0.197183 0.332700 0.087248 0.684211 0.154762 0.288889 0.070352 0.736842 0.128440 0.254545 0.057641 0.754386 0.107098 0.220739 5 khoa_tieng_phap suite25_sacr 2983 57 0.019108 0.251962 0.884808 0.016416 0.005941 0.018471 -0.000638 0.117450 0.614035 0.197183 0.332700 0.087248 0.684211 0.154762 0.288889 0.068677 0.719298 0.125382 0.248485 0.061662 0.807018 0.114570 0.236140 5 khoa_tieng_phap suite25_tabr 2983 57 0.019108 0.214784 0.866982 0.016896 0.008158 0.012003 -0.007106 0.117450 0.614035 0.197183 0.332700 0.087248 0.684211 0.154762 0.288889 0.070352 0.736842 0.128440 0.254545 0.057641 0.754386 0.107098 0.220739 ================================================================================================================================================================================ SUITE25 TARGET FOLD 6 ================================================================================================================================================================================ [DATA] history=470,165 fail=10,533 (2.24%) train=358,455 validation=111,710 target=43,359 fail=2,395 (5.52%) ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_mlp] [SELECT MLP] epoch=01/10 loss=0.12048 BCE=0.08870 rank=0.31784 macroAP=0.2552 F2@20=0.3517 Brier=0.0300 best=01 [SELECT MLP] epoch=02/10 loss=0.10283 BCE=0.07820 rank=0.24629 macroAP=0.2111 F2@20=0.3361 Brier=0.0308 best=01 [SELECT MLP] epoch=03/10 loss=0.09652 BCE=0.07444 rank=0.22087 macroAP=0.2085 F2@20=0.3411 Brier=0.0306 best=01 [SELECT MLP] epoch=04/10 loss=0.08586 BCE=0.06761 rank=0.18248 macroAP=0.2214 F2@20=0.3406 Brier=0.0326 best=01 [SELECT MLP] epoch=05/10 loss=0.08049 BCE=0.06408 rank=0.16402 macroAP=0.2016 F2@20=0.3253 Brier=0.0315 best=01 [RETRIEVAL CACHE] selection phase... [RETRIEVAL INDEX] building selection: bank=358,455 query=470,165 PCA=24 [STATE RETRIEVAL] semester=6056 queries=225 eligible_bank=11,015 k=32 [STATE RETRIEVAL] semester=6057 queries=27,064 eligible_bank=11,240 k=32 [STATE RETRIEVAL] semester=6058 queries=27,400 eligible_bank=38,304 k=32 [STATE RETRIEVAL] semester=6059 queries=458 eligible_bank=65,704 k=32 [STATE RETRIEVAL] semester=6060 queries=42,415 eligible_bank=66,162 k=32 [STATE RETRIEVAL] semester=6061 queries=39,361 eligible_bank=108,577 k=32 [STATE RETRIEVAL] semester=6062 queries=906 eligible_bank=147,938 k=32 [STATE RETRIEVAL] semester=6063 queries=48,526 eligible_bank=148,844 k=32 [STATE RETRIEVAL] semester=6064 queries=42,562 eligible_bank=197,370 k=32 [STATE RETRIEVAL] semester=6065 queries=740 eligible_bank=239,932 k=32 [STATE RETRIEVAL] semester=6066 queries=45,800 eligible_bank=240,672 k=32 [STATE RETRIEVAL] semester=6067 queries=42,122 eligible_bank=286,472 k=32 [STATE RETRIEVAL] semester=6068 queries=985 eligible_bank=328,594 k=32 [STATE RETRIEVAL] semester=6069 queries=47,420 eligible_bank=329,579 k=32 [STATE RETRIEVAL] semester=6070 queries=41,376 eligible_bank=358,455 k=32 [STATE RETRIEVAL] semester=6071 queries=1,092 eligible_bank=358,455 k=32 [STATE RETRIEVAL] semester=6072 queries=50,698 eligible_bank=358,455 k=32 [STATE RETRIEVAL] complete N=470,165 in 2.62 min [RETRIEVAL CACHE] 25,000/470,165 [RETRIEVAL CACHE] 50,000/470,165 [RETRIEVAL CACHE] 75,000/470,165 [RETRIEVAL CACHE] 100,000/470,165 [RETRIEVAL CACHE] 125,000/470,165 [RETRIEVAL CACHE] 150,000/470,165 [RETRIEVAL CACHE] 175,000/470,165 [RETRIEVAL CACHE] 200,000/470,165 [RETRIEVAL CACHE] 225,000/470,165 [RETRIEVAL CACHE] 250,000/470,165 [RETRIEVAL CACHE] 275,000/470,165 [RETRIEVAL CACHE] 300,000/470,165 [RETRIEVAL CACHE] 325,000/470,165 [RETRIEVAL CACHE] 350,000/470,165 [RETRIEVAL CACHE] 375,000/470,165 [RETRIEVAL CACHE] 400,000/470,165 [RETRIEVAL CACHE] 425,000/470,165 [RETRIEVAL CACHE] 450,000/470,165 [RETRIEVAL CACHE] complete N=470,165 bank=358,455 maxP=96 in 4.24 min FOLD 6 SELECTION RETRIEVAL SUPPORT -------------------------------------------------------------------------------- faculty rows prevalence any_candidate_zero_rate same_student_mean same_student_zero_rate same_student_candidate_fail_rate same_course_mean same_course_zero_rate same_course_candidate_fail_rate structural_mean structural_zero_rate structural_candidate_fail_rate state_mean state_zero_rate state_candidate_fail_rate candidate_mean cross_faculty_candidate_rate candidate_recency_mean khoa_cong_nghe_thong_tin 46659 0.037078 0.013374 8.821149 0.238068 0.016961 20.656186 0.138644 0.026818 2.519600 0.571487 0.027934 31.572044 0.013374 0.039530 62.362931 0.201209 2.830078 khoa_quan_tri_kinh_doanh_va_du_lich 67179 0.033061 0.027851 8.455589 0.213966 0.018457 20.641450 0.131187 0.027987 6.034892 0.244303 0.037539 31.108769 0.027851 0.035396 65.038420 0.187830 2.511719 khoa_quoc_te_hoc 22438 0.011899 0.024423 7.461940 0.335725 0.003966 18.951377 0.203672 0.008760 6.137713 0.267715 0.003079 31.218469 0.024423 0.023180 62.626838 0.396567 3.097656 khoa_tieng_anh 86752 0.016046 0.022812 9.220433 0.209298 0.003562 16.881605 0.292639 0.019312 4.519723 0.451356 0.032581 31.270011 0.022812 0.016938 60.766887 0.381823 2.527344 khoa_tieng_bo_dao_nha 8640 0.043634 0.017245 8.745833 0.254861 0.021518 19.882986 0.156829 0.024332 3.924884 0.379167 0.024741 31.448148 0.017245 0.050977 62.195833 0.505968 3.037109 khoa_tieng_duc 20307 0.020732 0.020141 9.390506 0.225243 0.008207 19.694785 0.178264 0.015605 1.426799 0.788152 0.008352 31.355493 0.020141 0.019156 60.419018 0.515381 2.644531 khoa_tieng_han_quoc 33502 0.008089 0.023551 9.002358 0.275834 0.003276 17.501970 0.263238 0.007286 3.294251 0.477613 0.048114 31.246373 0.023551 0.006764 60.176616 0.527911 2.718750 khoa_tieng_italia 20909 0.033144 0.020422 9.181166 0.232579 0.012721 18.022191 0.203836 0.026458 5.029413 0.277871 0.015101 31.346502 0.020422 0.043201 61.948300 0.451549 2.765625 khoa_tieng_nga 15465 0.051406 0.019916 8.622567 0.267960 0.023675 19.473004 0.181701 0.028388 5.424766 0.224248 0.044294 31.362690 0.019916 0.050606 63.094924 0.444887 2.880859 khoa_tieng_nhat 31925 0.010995 0.032420 8.784933 0.302897 0.003230 17.742584 0.256758 0.013813 4.850995 0.254753 0.067851 30.962569 0.032420 0.009137 60.938418 0.392217 2.609375 khoa_tieng_phap 28026 0.013523 0.039321 8.699172 0.282737 0.004807 18.607793 0.217512 0.011898 4.432027 0.301399 0.019451 30.741740 0.039321 0.020388 60.959466 0.373630 2.857422 khoa_tieng_tay_ban_nha 14997 0.030139 0.029139 8.917450 0.271454 0.014768 18.895446 0.205708 0.013816 7.215643 0.184570 0.012817 31.067547 0.029139 0.033064 64.684137 0.481199 2.781250 khoa_tieng_trung_quoc 64862 0.010268 0.018115 9.642549 0.188246 0.003150 18.055996 0.246878 0.009039 4.351207 0.316518 0.019304 31.420308 0.018115 0.008583 62.445392 0.284344 2.587891 khoa_viet_nam_hoc 8504 0.060913 0.019050 7.324200 0.330668 0.034406 17.079962 0.266228 0.056620 0.106303 0.980127 0.054204 31.390405 0.019050 0.065868 53.130409 0.068879 3.167969 ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_tabr] [SELECT TABR] epoch=01/10 loss=0.11390 BCE=0.08385 rank=0.30053 macroAP=0.2162 F2@20=0.3355 Brier=0.0316 best=01 [SELECT TABR] epoch=02/10 loss=0.09802 BCE=0.07456 rank=0.23462 macroAP=0.2060 F2@20=0.3223 Brier=0.0327 best=01 [SELECT TABR] epoch=03/10 loss=0.08846 BCE=0.06869 rank=0.19761 macroAP=0.2103 F2@20=0.3387 Brier=0.0310 best=01 [SELECT TABR] epoch=04/10 loss=0.08243 BCE=0.06557 rank=0.16863 macroAP=0.2057 F2@20=0.3177 Brier=0.0316 best=01 [SELECT TABR] epoch=05/10 loss=0.07760 BCE=0.06180 rank=0.15805 macroAP=0.2129 F2@20=0.3379 Brier=0.0330 best=01 ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_sacr] [SELECT SACR] epoch=01/10 loss=0.10115 BCE=0.07540 rank=0.25749 macroAP=0.2556 F2@20=0.3464 Brier=0.0303 best=01 [SELECT SACR] epoch=02/10 loss=0.08673 BCE=0.06756 rank=0.19165 macroAP=0.2557 F2@20=0.3413 Brier=0.0315 best=02 [SELECT SACR] epoch=03/10 loss=0.08173 BCE=0.06462 rank=0.17118 macroAP=0.2951 F2@20=0.3561 Brier=0.0276 best=03 [SELECT SACR] epoch=04/10 loss=0.07617 BCE=0.06076 rank=0.15407 macroAP=0.2801 F2@20=0.3558 Brier=0.0291 best=03 [SELECT SACR] epoch=05/10 loss=0.07299 BCE=0.05894 rank=0.14048 macroAP=0.2917 F2@20=0.3452 Brier=0.0282 best=03 [SELECT SACR] epoch=06/10 loss=0.06840 BCE=0.05605 rank=0.12341 macroAP=0.2827 F2@20=0.3518 Brier=0.0283 best=03 [COMMITTEE BLEND ABLATION] selected alpha=0.50 policyAP=0.2894 policyF2=0.3926 [RETRIEVAL CACHE] production history... [RETRIEVAL INDEX] building production-history: bank=470,165 query=470,165 PCA=24 [STATE RETRIEVAL] semester=6056 queries=225 eligible_bank=11,015 k=32 [STATE RETRIEVAL] semester=6057 queries=27,064 eligible_bank=11,240 k=32 [STATE RETRIEVAL] semester=6058 queries=27,400 eligible_bank=38,304 k=32 [STATE RETRIEVAL] semester=6059 queries=458 eligible_bank=65,704 k=32 [STATE RETRIEVAL] semester=6060 queries=42,415 eligible_bank=66,162 k=32 [STATE RETRIEVAL] semester=6061 queries=39,361 eligible_bank=108,577 k=32 [STATE RETRIEVAL] semester=6062 queries=906 eligible_bank=147,938 k=32 [STATE RETRIEVAL] semester=6063 queries=48,526 eligible_bank=148,844 k=32 [STATE RETRIEVAL] semester=6064 queries=42,562 eligible_bank=197,370 k=32 [STATE RETRIEVAL] semester=6065 queries=740 eligible_bank=239,932 k=32 [STATE RETRIEVAL] semester=6066 queries=45,800 eligible_bank=240,672 k=32 [STATE RETRIEVAL] semester=6067 queries=42,122 eligible_bank=286,472 k=32 [STATE RETRIEVAL] semester=6068 queries=985 eligible_bank=328,594 k=32 [STATE RETRIEVAL] semester=6069 queries=47,420 eligible_bank=329,579 k=32 [STATE RETRIEVAL] semester=6070 queries=41,376 eligible_bank=376,999 k=32 [STATE RETRIEVAL] semester=6071 queries=1,092 eligible_bank=418,375 k=32 [STATE RETRIEVAL] semester=6072 queries=50,698 eligible_bank=419,467 k=32 [STATE RETRIEVAL] complete N=470,165 in 2.07 min [RETRIEVAL CACHE] 25,000/470,165 [RETRIEVAL CACHE] 50,000/470,165 [RETRIEVAL CACHE] 75,000/470,165 [RETRIEVAL CACHE] 100,000/470,165 [RETRIEVAL CACHE] 125,000/470,165 [RETRIEVAL CACHE] 150,000/470,165 [RETRIEVAL CACHE] 175,000/470,165 [RETRIEVAL CACHE] 200,000/470,165 [RETRIEVAL CACHE] 225,000/470,165 [RETRIEVAL CACHE] 250,000/470,165 [RETRIEVAL CACHE] 275,000/470,165 [RETRIEVAL CACHE] 300,000/470,165 [RETRIEVAL CACHE] 325,000/470,165 [RETRIEVAL CACHE] 350,000/470,165 [RETRIEVAL CACHE] 375,000/470,165 [RETRIEVAL CACHE] 400,000/470,165 [RETRIEVAL CACHE] 425,000/470,165 [RETRIEVAL CACHE] 450,000/470,165 [RETRIEVAL CACHE] complete N=470,165 bank=470,165 maxP=96 in 4.58 min [RETRIEVAL CACHE] production target... [RETRIEVAL INDEX] building production-target: bank=470,165 query=43,359 PCA=24 [STATE RETRIEVAL] semester=6073 queries=43,359 eligible_bank=470,165 k=32 [STATE RETRIEVAL] complete N=43,359 in 0.36 min [RETRIEVAL CACHE] 25,000/43,359 [RETRIEVAL CACHE] complete N=43,359 bank=470,165 maxP=96 in 0.44 min FOLD 6 TARGET RETRIEVAL SUPPORT -------------------------------------------------------------------------------- faculty rows prevalence any_candidate_zero_rate same_student_mean same_student_zero_rate same_student_candidate_fail_rate same_course_mean same_course_zero_rate same_course_candidate_fail_rate structural_mean structural_zero_rate structural_candidate_fail_rate state_mean state_zero_rate state_candidate_fail_rate candidate_mean cross_faculty_candidate_rate candidate_recency_mean fold khoa_cong_nghe_thong_tin 5651 0.099628 0.0 11.912405 0.000000 0.042679 23.626438 0.014511 0.050692 2.576181 0.544859 0.062783 32.0 0.0 0.058120 67.390550 0.150849 2.537109 6 khoa_quan_tri_kinh_doanh_va_du_lich 7442 0.079683 0.0 11.360924 0.001612 0.038806 22.442220 0.048643 0.021022 7.381215 0.195109 0.028873 32.0 0.0 0.050033 71.107901 0.142538 2.429688 6 khoa_quoc_te_hoc 2466 0.024331 0.0 12.087186 0.000000 0.014258 21.704785 0.089619 0.011883 7.094891 0.154501 0.000000 32.0 0.0 0.034950 70.362530 0.378788 2.671875 6 khoa_tieng_anh 6204 0.019665 0.0 11.643939 0.021921 0.008417 21.176177 0.115732 0.012316 8.525145 0.169084 0.017905 32.0 0.0 0.019524 70.620890 0.358355 2.087891 6 khoa_tieng_bo_dao_nha 892 0.081839 0.0 12.426009 0.000000 0.044749 20.104260 0.152466 0.060224 2.369955 0.614350 0.044465 32.0 0.0 0.066319 63.069507 0.380710 2.898438 6 khoa_tieng_duc 1839 0.045677 0.0 11.833605 0.007613 0.022608 20.674823 0.137031 0.015649 1.668842 0.769984 0.024438 32.0 0.0 0.041412 63.349647 0.455185 2.306641 6 khoa_tieng_han_quoc 3277 0.037534 0.0 11.720476 0.001526 0.011456 18.377479 0.234056 0.006891 4.446750 0.171498 0.046390 32.0 0.0 0.014476 63.808056 0.429299 2.187500 6 khoa_tieng_italia 2026 0.046397 0.0 12.026654 0.004936 0.028852 19.546397 0.180652 0.018964 6.634748 0.241362 0.058399 32.0 0.0 0.061343 66.732478 0.365348 2.316406 6 khoa_tieng_nga 1842 0.111292 0.0 11.809446 0.002714 0.031720 18.547231 0.219870 0.056814 3.441911 0.429425 0.026814 32.0 0.0 0.072068 63.026602 0.450510 2.447266 6 khoa_tieng_nhat 2530 0.034783 0.0 11.713043 0.002767 0.011001 18.203953 0.240316 0.014917 7.678656 0.131621 0.066505 32.0 0.0 0.020208 67.036759 0.394415 2.402344 6 khoa_tieng_phap 2263 0.022095 0.0 11.497128 0.003535 0.011992 20.495802 0.144498 0.006942 5.645603 0.138754 0.006183 32.0 0.0 0.027245 65.849315 0.324372 2.427734 6 khoa_tieng_tay_ban_nha 1333 0.063766 0.0 11.247562 0.000000 0.032482 19.733683 0.174044 0.023874 7.169542 0.065266 0.049597 32.0 0.0 0.043019 67.324831 0.419382 2.271484 6 khoa_tieng_trung_quoc 4990 0.033467 0.0 12.146493 0.027255 0.010130 15.147896 0.368136 0.011602 3.829058 0.303006 0.016120 32.0 0.0 0.020190 60.792585 0.249272 2.281250 6 khoa_viet_nam_hoc 604 0.145695 0.0 6.557947 0.014901 0.055542 19.597682 0.135762 0.108811 0.000000 1.000000 NaN 32.0 0.0 0.136072 54.688742 0.045713 4.246094 6 [CHRONOLOGY AUDIT] violations=0 / 513,524 | every retrieved label semester < query semester [REFIT MLP] epoch=01/1 loss=0.12494 BCE=0.09344 rank=0.31497 [VARIANT suite25_mlp] selected_epochs=1 target macroAP=0.2746 [REFIT TABR] epoch=01/1 loss=0.12149 BCE=0.09189 rank=0.29603 [VARIANT suite25_tabr] selected_epochs=1 target macroAP=0.2956 [REFIT SACR] epoch=01/3 loss=0.10867 BCE=0.08282 rank=0.25841 [REFIT SACR] epoch=03/3 loss=0.09088 BCE=0.07275 rank=0.18136 [VARIANT suite25_sacr] selected_epochs=3 target macroAP=0.3576 SUITE25 TARGET FOLD 6 — NEW + AVAILABLE REFERENCE RESULTS -------------------------------------------------------------------------------- fold faculty model rows failures prevalence ap auc brier ece10 mean_score calibration_gap precision_at_10 recall_at_10 f1_at_10 fbeta_at_10 precision_at_15 recall_at_15 f1_at_15 fbeta_at_15 precision_at_20 recall_at_20 f1_at_20 fbeta_at_20 precision_at_25 recall_at_25 f1_at_25 fbeta_at_25 6 khoa_cong_nghe_thong_tin committee 5651 563 0.099628 0.372426 0.836092 0.075250 0.023372 0.080206 -0.019422 0.396460 0.397869 0.397163 0.397586 0.354953 0.534636 0.426648 0.485484 0.319469 0.641208 0.426462 0.533708 0.281670 0.706927 0.402834 0.542974 6 khoa_cong_nghe_thong_tin council 5651 563 0.099628 0.420301 0.845960 0.073227 0.025329 0.124958 0.025329 0.456637 0.458259 0.457447 0.457934 0.377358 0.568384 0.453579 0.516129 0.330088 0.662522 0.440638 0.551449 0.290163 0.728242 0.414980 0.559345 6 khoa_cong_nghe_thong_tin suite14 5651 563 0.099628 0.408607 0.840564 0.087683 0.071141 0.170769 0.071141 0.423009 0.424512 0.423759 0.424210 0.353774 0.532860 0.425230 0.483871 0.311504 0.625222 0.415830 0.520402 0.280255 0.703375 0.400810 0.540246 6 khoa_cong_nghe_thong_tin suite16 5651 563 0.099628 0.394136 0.844240 0.080863 0.056059 0.155688 0.056059 0.424779 0.426288 0.425532 0.425985 0.370283 0.557726 0.445074 0.506452 0.321239 0.644760 0.428825 0.536665 0.288040 0.722913 0.411943 0.555252 6 khoa_cong_nghe_thong_tin suite17 5651 563 0.099628 0.387149 0.843400 0.073935 0.017863 0.081924 -0.017704 0.408850 0.410302 0.409574 0.410011 0.367925 0.554174 0.442240 0.503226 0.315044 0.632327 0.420555 0.526316 0.288747 0.724689 0.412955 0.556617 6 khoa_cong_nghe_thong_tin suite18 5651 563 0.099628 0.385139 0.842567 0.074014 0.017669 0.082120 -0.017509 0.414159 0.415631 0.414894 0.415335 0.366745 0.552398 0.440822 0.501613 0.316814 0.635879 0.422918 0.529273 0.287332 0.721137 0.410931 0.553888 6 khoa_cong_nghe_thong_tin suite20 5651 563 0.099628 0.409966 0.837632 0.090171 0.094695 0.194323 0.094695 0.412389 0.413854 0.413121 0.413561 0.376179 0.566607 0.452162 0.514516 0.321239 0.644760 0.428825 0.536665 0.281670 0.706927 0.402834 0.542974 6 khoa_cong_nghe_thong_tin suite21 5651 563 0.099628 0.380537 0.839752 0.074606 0.022878 0.080525 -0.019103 0.398230 0.399645 0.398936 0.399361 0.365566 0.550622 0.439405 0.500000 0.320354 0.642984 0.427643 0.535186 0.288040 0.722913 0.411943 0.555252 6 khoa_cong_nghe_thong_tin suite22 5651 563 0.099628 0.408999 0.844096 0.074655 0.034956 0.064938 -0.034690 0.426549 0.428064 0.427305 0.427760 0.370283 0.557726 0.445074 0.506452 0.323009 0.648313 0.431187 0.539622 0.284501 0.714032 0.406883 0.548431 6 khoa_cong_nghe_thong_tin suite22_primary 5651 563 0.099628 0.387553 0.824326 0.077004 0.040389 0.059319 -0.040309 0.387611 0.388988 0.388298 0.388711 0.338443 0.509769 0.406804 0.462903 0.295575 0.593250 0.394566 0.493791 0.263270 0.660746 0.376518 0.507503 6 khoa_cong_nghe_thong_tin suite22_relational 5651 563 0.099628 0.402086 0.834900 0.078263 0.056033 0.043852 -0.055777 0.412389 0.413854 0.413121 0.413561 0.353774 0.532860 0.425230 0.483871 0.315044 0.632327 0.420555 0.526316 0.273885 0.687389 0.391700 0.527967 6 khoa_cong_nghe_thong_tin suite23 5651 563 0.099628 0.421851 0.846548 0.073929 0.032805 0.066824 -0.032805 0.431858 0.433393 0.432624 0.433085 0.372642 0.561279 0.447909 0.509677 0.327434 0.657194 0.437094 0.547014 0.285209 0.715808 0.407895 0.549795 6 khoa_cong_nghe_thong_tin suite23_graph 5651 563 0.099628 0.409848 0.830127 0.076080 0.037398 0.062231 -0.037398 0.398230 0.399645 0.398936 0.399361 0.352594 0.531083 0.423813 0.482258 0.312389 0.626998 0.417011 0.521881 0.275301 0.690941 0.393725 0.530696 6 khoa_cong_nghe_thong_tin suite24 5651 563 0.099628 0.391240 0.842047 0.078482 0.053459 0.047153 -0.052475 0.421239 0.422735 0.421986 0.422435 0.360849 0.543517 0.433735 0.493548 0.323894 0.650089 0.432369 0.541100 0.284501 0.714032 0.406883 0.548431 6 khoa_cong_nghe_thong_tin suite24_posthoc 5651 563 0.099628 0.415863 0.839693 0.073764 0.026935 0.072694 -0.026935 0.423009 0.424512 0.423759 0.424210 0.370283 0.557726 0.445074 0.506452 0.313274 0.628774 0.418193 0.523359 0.277424 0.696270 0.396761 0.534789 6 khoa_cong_nghe_thong_tin suite25_committee_blend 5651 563 0.099628 0.397260 0.841322 0.075330 0.037077 0.062921 -0.036707 0.435398 0.436945 0.436170 0.436635 0.359670 0.541741 0.432318 0.491935 0.315929 0.634103 0.421737 0.527794 0.281670 0.706927 0.402834 0.542974 6 khoa_cong_nghe_thong_tin suite25_mlp 5651 563 0.099628 0.232086 0.743977 0.090028 0.070452 0.029383 -0.070245 0.292035 0.293073 0.292553 0.292865 0.267689 0.403197 0.321758 0.366129 0.235398 0.472469 0.314235 0.393258 0.217268 0.545293 0.310729 0.418827 6 khoa_cong_nghe_thong_tin suite25_sacr 5651 563 0.099628 0.390861 0.825871 0.077681 0.046266 0.053363 -0.046266 0.423009 0.424512 0.423759 0.424210 0.343160 0.516874 0.412473 0.469355 0.292035 0.586146 0.389841 0.487877 0.266100 0.667851 0.380567 0.512960 6 khoa_cong_nghe_thong_tin suite25_tabr 5651 563 0.099628 0.271945 0.775377 0.088366 0.066770 0.032858 -0.066770 0.309735 0.310835 0.310284 0.310614 0.290094 0.436945 0.348689 0.396774 0.269027 0.539964 0.359126 0.449438 0.247700 0.621670 0.354251 0.477490 6 khoa_cong_nghe_thong_tin v2 5651 563 0.099628 0.389334 0.839027 0.135528 0.162595 0.262224 0.162595 0.419469 0.420959 0.420213 0.420660 0.357311 0.538188 0.429483 0.488710 0.318584 0.639432 0.425281 0.532229 0.287332 0.721137 0.410931 0.553888 6 khoa_quan_tri_kinh_doanh_va_du_lich committee 7442 593 0.079683 0.377681 0.858278 0.060618 0.019649 0.062955 -0.016728 0.376344 0.472175 0.418848 0.449294 0.323477 0.608769 0.422469 0.517489 0.278226 0.698145 0.397886 0.536269 0.238710 0.748735 0.362006 0.524575 6 khoa_quan_tri_kinh_doanh_va_du_lich suite14 7442 593 0.079683 0.373873 0.857022 0.062246 0.018562 0.098245 0.018562 0.364247 0.456998 0.405385 0.434852 0.317204 0.596965 0.414277 0.507454 0.274194 0.688027 0.392119 0.528497 0.239785 0.752108 0.363636 0.526938 6 khoa_quan_tri_kinh_doanh_va_du_lich suite16 7442 593 0.079683 0.384463 0.868429 0.066177 0.050005 0.129688 0.050005 0.380376 0.477234 0.423336 0.454108 0.334229 0.629005 0.436513 0.534690 0.290323 0.728499 0.415185 0.559585 0.247849 0.777403 0.375866 0.544660 6 khoa_quan_tri_kinh_doanh_va_du_lich suite17 7442 593 0.079683 0.393085 0.867847 0.058972 0.011181 0.068502 -0.011181 0.391129 0.490725 0.435303 0.466945 0.337814 0.635750 0.441194 0.540424 0.288306 0.723440 0.412302 0.555699 0.245161 0.768971 0.371790 0.538752 6 khoa_quan_tri_kinh_doanh_va_du_lich suite18 7442 593 0.079683 0.391809 0.868214 0.059038 0.011383 0.068300 -0.011383 0.388441 0.487352 0.432311 0.463736 0.336022 0.632378 0.438853 0.537557 0.288306 0.723440 0.412302 0.555699 0.246237 0.772344 0.373420 0.541115 6 khoa_quan_tri_kinh_doanh_va_du_lich suite20 7442 593 0.079683 0.369619 0.867786 0.062940 0.031531 0.111214 0.031531 0.388441 0.487352 0.432311 0.463736 0.353943 0.666105 0.462259 0.566227 0.295699 0.741990 0.422874 0.569948 0.253226 0.794266 0.384020 0.556474 6 khoa_quan_tri_kinh_doanh_va_du_lich suite21 7442 593 0.079683 0.382240 0.860933 0.060422 0.020289 0.062166 -0.017517 0.381720 0.478921 0.424832 0.455712 0.323477 0.608769 0.422469 0.517489 0.279570 0.701518 0.399808 0.538860 0.240860 0.755481 0.365267 0.529301 6 khoa_quan_tri_kinh_doanh_va_du_lich suite22 7442 593 0.079683 0.425635 0.869400 0.061069 0.036555 0.043231 -0.036451 0.409946 0.514334 0.456245 0.489409 0.338710 0.637437 0.442364 0.541858 0.287634 0.721754 0.411341 0.554404 0.250000 0.784148 0.379128 0.549386 6 khoa_quan_tri_kinh_doanh_va_du_lich suite22_primary 7442 593 0.079683 0.424153 0.846648 0.062828 0.045119 0.034564 -0.045119 0.387097 0.485666 0.430815 0.462131 0.318996 0.600337 0.416618 0.510321 0.264785 0.664418 0.378664 0.510363 0.225806 0.708263 0.342438 0.496219 6 khoa_quan_tri_kinh_doanh_va_du_lich suite22_relational 7442 593 0.079683 0.444914 0.869305 0.061582 0.044942 0.034797 -0.044886 0.415323 0.521079 0.462229 0.495828 0.348566 0.655987 0.455237 0.557626 0.288306 0.723440 0.412302 0.555699 0.251075 0.787521 0.380758 0.551749 6 khoa_quan_tri_kinh_doanh_va_du_lich suite23 7442 593 0.079683 0.412969 0.871645 0.059060 0.020688 0.058995 -0.020688 0.393817 0.494098 0.438295 0.470154 0.344982 0.649241 0.450556 0.551892 0.289651 0.726813 0.414224 0.558290 0.250000 0.784148 0.379128 0.549386 6 khoa_quan_tri_kinh_doanh_va_du_lich suite23_graph 7442 593 0.079683 0.416356 0.864695 0.058572 0.018885 0.060797 -0.018885 0.391129 0.490725 0.435303 0.466945 0.314516 0.591906 0.410767 0.503154 0.278226 0.698145 0.397886 0.536269 0.252688 0.792580 0.383204 0.555293 6 khoa_quan_tri_kinh_doanh_va_du_lich suite24 7442 593 0.079683 0.399002 0.865254 0.062538 0.040606 0.039255 -0.040428 0.384409 0.482293 0.427823 0.458922 0.333333 0.627319 0.435342 0.533257 0.279570 0.701518 0.399808 0.538860 0.242473 0.760540 0.367713 0.532845 6 khoa_quan_tri_kinh_doanh_va_du_lich suite24_posthoc 7442 593 0.079683 0.437881 0.872856 0.057935 0.015035 0.064870 -0.014813 0.408602 0.512648 0.454749 0.487805 0.340502 0.640809 0.444705 0.544725 0.287634 0.721754 0.411341 0.554404 0.251613 0.789207 0.381574 0.552930 6 khoa_quan_tri_kinh_doanh_va_du_lich suite25_committee_blend 7442 593 0.079683 0.416348 0.866357 0.059690 0.029305 0.050378 -0.029305 0.404570 0.507589 0.450262 0.482991 0.330645 0.622260 0.431831 0.528956 0.277554 0.696459 0.396925 0.534974 0.241935 0.758853 0.366898 0.531664 6 khoa_quan_tri_kinh_doanh_va_du_lich suite25_mlp 7442 593 0.079683 0.283390 0.819551 0.070893 0.054846 0.024837 -0.054846 0.291667 0.365936 0.324607 0.348203 0.267025 0.502530 0.348742 0.427179 0.239919 0.602024 0.343104 0.462435 0.214516 0.672850 0.325316 0.471408 6 khoa_quan_tri_kinh_doanh_va_du_lich suite25_sacr 7442 593 0.079683 0.413825 0.855781 0.060304 0.034621 0.045062 -0.034621 0.401882 0.504216 0.447270 0.479782 0.313620 0.590219 0.409596 0.501720 0.268817 0.674536 0.384431 0.518135 0.234946 0.736931 0.356298 0.516304 6 khoa_quan_tri_kinh_doanh_va_du_lich suite25_tabr 7442 593 0.079683 0.289306 0.811779 0.072040 0.059955 0.019728 -0.059955 0.301075 0.377740 0.335079 0.359435 0.260753 0.490725 0.340550 0.417144 0.233871 0.586847 0.334455 0.450777 0.208065 0.652614 0.315532 0.457231 6 khoa_quoc_te_hoc committee 2466 60 0.024331 0.277844 0.823937 0.021457 0.010890 0.033573 0.009242 0.113360 0.466667 0.182410 0.287474 0.091892 0.566667 0.158140 0.278689 0.081136 0.666667 0.144665 0.272851 0.074675 0.766667 0.136095 0.268692 6 khoa_quoc_te_hoc suite14 2466 60 0.024331 0.255004 0.837105 0.036916 0.073214 0.097391 0.073060 0.125506 0.516667 0.201954 0.318275 0.097297 0.600000 0.167442 0.295082 0.077079 0.633333 0.137432 0.259209 0.073052 0.750000 0.133136 0.262850 6 khoa_quoc_te_hoc suite16 2466 60 0.024331 0.296696 0.839852 0.031355 0.049272 0.072816 0.048485 0.125506 0.516667 0.201954 0.318275 0.105405 0.650000 0.181395 0.319672 0.085193 0.700000 0.151899 0.286494 0.073052 0.750000 0.133136 0.262850 6 khoa_quoc_te_hoc suite17 2466 60 0.024331 0.283949 0.842172 0.022469 0.016384 0.037948 0.013617 0.129555 0.533333 0.208469 0.328542 0.097297 0.600000 0.167442 0.295082 0.087221 0.716667 0.155515 0.293315 0.073052 0.750000 0.133136 0.262850 6 khoa_quoc_te_hoc suite18 2466 60 0.024331 0.291278 0.843551 0.022357 0.015319 0.037575 0.013244 0.129555 0.533333 0.208469 0.328542 0.100000 0.616667 0.172093 0.303279 0.087221 0.716667 0.155515 0.293315 0.074675 0.766667 0.136095 0.268692 6 khoa_quoc_te_hoc suite20 2466 60 0.024331 0.118150 0.809217 0.057422 0.080081 0.104412 0.080081 0.113360 0.466667 0.182410 0.287474 0.094595 0.583333 0.162791 0.286885 0.073022 0.600000 0.130199 0.245566 0.066558 0.683333 0.121302 0.239486 6 khoa_quoc_te_hoc suite21 2466 60 0.024331 0.275382 0.825966 0.021208 0.009555 0.032238 0.007907 0.117409 0.483333 0.188925 0.297741 0.097297 0.600000 0.167442 0.295082 0.081136 0.666667 0.144665 0.272851 0.073052 0.750000 0.133136 0.262850 6 khoa_quoc_te_hoc suite22 2466 60 0.024331 0.244673 0.821834 0.021389 0.007749 0.017157 -0.007174 0.129555 0.533333 0.208469 0.328542 0.089189 0.550000 0.153488 0.270492 0.081136 0.666667 0.144665 0.272851 0.069805 0.716667 0.127219 0.251168 6 khoa_quoc_te_hoc suite22_primary 2466 60 0.024331 0.145340 0.786028 0.022720 0.014429 0.011163 -0.013167 0.101215 0.416667 0.162866 0.256674 0.078378 0.483333 0.134884 0.237705 0.066937 0.550000 0.119349 0.225102 0.060065 0.616667 0.109467 0.216121 6 khoa_quoc_te_hoc suite22_relational 2466 60 0.024331 0.171401 0.825859 0.022325 0.012860 0.012147 -0.012184 0.109312 0.450000 0.175896 0.277207 0.094595 0.583333 0.162791 0.286885 0.081136 0.666667 0.144665 0.272851 0.073052 0.750000 0.133136 0.262850 6 khoa_quoc_te_hoc suite23 2466 60 0.024331 0.283862 0.831657 0.021033 0.010461 0.032609 0.008278 0.133603 0.550000 0.214984 0.338809 0.094595 0.583333 0.162791 0.286885 0.083164 0.683333 0.148282 0.279673 0.073052 0.750000 0.133136 0.262850 6 khoa_quoc_te_hoc suite23_graph 2466 60 0.024331 0.172933 0.821211 0.022354 0.017402 0.040165 0.015834 0.109312 0.450000 0.175896 0.277207 0.091892 0.566667 0.158140 0.278689 0.077079 0.633333 0.137432 0.259209 0.073052 0.750000 0.133136 0.262850 6 khoa_quoc_te_hoc suite24 2466 60 0.024331 0.265786 0.824591 0.020771 0.008066 0.019591 -0.004739 0.117409 0.483333 0.188925 0.297741 0.091892 0.566667 0.158140 0.278689 0.077079 0.633333 0.137432 0.259209 0.069805 0.716667 0.127219 0.251168 6 khoa_quoc_te_hoc suite24_posthoc 2466 60 0.024331 0.261474 0.835197 0.021130 0.010843 0.032154 0.007823 0.129555 0.533333 0.208469 0.328542 0.097297 0.600000 0.167442 0.295082 0.081136 0.666667 0.144665 0.272851 0.071429 0.733333 0.130178 0.257009 6 khoa_quoc_te_hoc suite25_committee_blend 2466 60 0.024331 0.258673 0.828540 0.020990 0.002202 0.024319 -0.000012 0.125506 0.516667 0.201954 0.318275 0.100000 0.616667 0.172093 0.303279 0.083164 0.683333 0.148282 0.279673 0.069805 0.716667 0.127219 0.251168 6 khoa_quoc_te_hoc suite25_mlp 2466 60 0.024331 0.112899 0.792730 0.023083 0.012208 0.012839 -0.011492 0.085020 0.350000 0.136808 0.215606 0.083784 0.516667 0.144186 0.254098 0.075051 0.616667 0.133816 0.252387 0.071429 0.733333 0.130178 0.257009 6 khoa_quoc_te_hoc suite25_sacr 2466 60 0.024331 0.156044 0.808700 0.021976 0.006123 0.021830 -0.002501 0.101215 0.416667 0.162866 0.256674 0.083784 0.516667 0.144186 0.254098 0.079108 0.650000 0.141049 0.266030 0.071429 0.733333 0.130178 0.257009 6 khoa_quoc_te_hoc suite25_tabr 2466 60 0.024331 0.110846 0.763878 0.022783 0.010066 0.018564 -0.005766 0.068826 0.283333 0.110749 0.174538 0.070270 0.433333 0.120930 0.213115 0.066937 0.550000 0.119349 0.225102 0.061688 0.633333 0.112426 0.221963 6 khoa_tieng_anh committee 6204 122 0.019665 0.288202 0.825577 0.017505 0.011554 0.031088 0.011423 0.101613 0.516393 0.169811 0.284296 0.074114 0.565574 0.131054 0.243129 0.062047 0.631148 0.112986 0.222672 0.053514 0.680328 0.099223 0.203531 6 khoa_tieng_anh suite14 6204 122 0.019665 0.276804 0.829832 0.025224 0.045142 0.064645 0.044980 0.106452 0.540984 0.177898 0.297834 0.081633 0.622951 0.144349 0.267794 0.067687 0.688525 0.123258 0.242915 0.056093 0.713115 0.104005 0.213340 6 khoa_tieng_anh suite16 6204 122 0.019665 0.286351 0.820979 0.028001 0.050506 0.070171 0.050506 0.098387 0.500000 0.164420 0.275271 0.076262 0.581967 0.134853 0.250176 0.061241 0.622951 0.111519 0.219780 0.054159 0.688525 0.100418 0.205983 6 khoa_tieng_anh suite17 6204 122 0.019665 0.298938 0.826866 0.017430 0.013762 0.032612 0.012948 0.101613 0.516393 0.169811 0.284296 0.077336 0.590164 0.136752 0.253700 0.062047 0.631148 0.112986 0.222672 0.054159 0.688525 0.100418 0.205983 6 khoa_tieng_anh suite18 6204 122 0.019665 0.302783 0.833912 0.017518 0.013998 0.033113 0.013448 0.101613 0.516393 0.169811 0.284296 0.077336 0.590164 0.136752 0.253700 0.061241 0.622951 0.111519 0.219780 0.055448 0.704918 0.102809 0.210888 6 khoa_tieng_anh suite20 6204 122 0.019665 0.250822 0.811606 0.030760 0.048560 0.068225 0.048560 0.106452 0.540984 0.177898 0.297834 0.084855 0.647541 0.150047 0.278365 0.067687 0.688525 0.123258 0.242915 0.057382 0.729508 0.106396 0.218244 6 khoa_tieng_anh suite21 6204 122 0.019665 0.290274 0.830087 0.017464 0.011239 0.030773 0.011108 0.103226 0.524590 0.172507 0.288809 0.076262 0.581967 0.134853 0.250176 0.062853 0.639344 0.114453 0.225564 0.054159 0.688525 0.100418 0.205983 6 khoa_tieng_anh suite22 6204 122 0.019665 0.279098 0.833959 0.016454 0.005096 0.016873 -0.002791 0.119355 0.606557 0.199461 0.333935 0.090226 0.688525 0.159544 0.295983 0.070105 0.713115 0.127660 0.251591 0.058027 0.737705 0.107591 0.220696 6 khoa_tieng_anh suite22_primary 6204 122 0.019665 0.213729 0.813002 0.017188 0.009268 0.011748 -0.007917 0.109677 0.557377 0.183288 0.306859 0.082707 0.631148 0.146249 0.271318 0.069299 0.704918 0.126192 0.248699 0.059317 0.754098 0.109982 0.225601 6 khoa_tieng_anh suite22_relational 6204 122 0.019665 0.253209 0.847568 0.016821 0.007983 0.011752 -0.007913 0.124194 0.631148 0.207547 0.347473 0.092374 0.704918 0.163343 0.303030 0.074134 0.754098 0.134996 0.266050 0.061896 0.786885 0.114764 0.235410 6 khoa_tieng_anh suite23 6204 122 0.019665 0.298306 0.828175 0.016412 0.007820 0.027011 0.007346 0.106452 0.540984 0.177898 0.297834 0.075188 0.573770 0.132953 0.246653 0.062853 0.639344 0.114453 0.225564 0.055448 0.704918 0.102809 0.210888 6 khoa_tieng_anh suite23_graph 6204 122 0.019665 0.196078 0.800501 0.018400 0.011039 0.030450 0.010785 0.096774 0.491803 0.161725 0.270758 0.080559 0.614754 0.142450 0.264271 0.066076 0.672131 0.120323 0.237131 0.056093 0.713115 0.104005 0.213340 6 khoa_tieng_anh suite24 6204 122 0.019665 0.317064 0.841773 0.016101 0.007986 0.017056 -0.002609 0.108065 0.549180 0.180593 0.302347 0.080559 0.614754 0.142450 0.264271 0.066076 0.672131 0.120323 0.237131 0.057382 0.729508 0.106396 0.218244 6 khoa_tieng_anh suite24_posthoc 6204 122 0.019665 0.295528 0.838993 0.016175 0.005939 0.024048 0.004383 0.119355 0.606557 0.199461 0.333935 0.085929 0.655738 0.151947 0.281889 0.066882 0.680328 0.121790 0.240023 0.058027 0.737705 0.107591 0.220696 6 khoa_tieng_anh suite25_committee_blend 6204 122 0.019665 0.285336 0.830617 0.016308 0.002238 0.020543 0.000879 0.104839 0.532787 0.175202 0.293321 0.082707 0.631148 0.146249 0.271318 0.068493 0.696721 0.124725 0.245807 0.059961 0.762295 0.111178 0.228053 6 khoa_tieng_anh suite25_mlp 6204 122 0.019665 0.131812 0.821002 0.018638 0.015168 0.005063 -0.014602 0.109677 0.557377 0.183288 0.306859 0.085929 0.655738 0.151947 0.281889 0.066882 0.680328 0.121790 0.240023 0.056738 0.721311 0.105200 0.215792 6 khoa_tieng_anh suite25_sacr 6204 122 0.019665 0.232239 0.809357 0.016888 0.006036 0.016752 -0.002913 0.103226 0.524590 0.172507 0.288809 0.079484 0.606557 0.140551 0.260747 0.067687 0.688525 0.123258 0.242915 0.056738 0.721311 0.105200 0.215792 6 khoa_tieng_anh suite25_tabr 6204 122 0.019665 0.157361 0.791044 0.018360 0.013574 0.006463 -0.013202 0.111290 0.565574 0.185984 0.311372 0.087003 0.663934 0.153846 0.285412 0.066882 0.680328 0.121790 0.240023 0.056738 0.721311 0.105200 0.215792 6 khoa_tieng_bo_dao_nha committee 892 73 0.081839 0.521049 0.880593 0.055004 0.028120 0.092157 0.010318 0.460674 0.561644 0.506173 0.538058 0.373134 0.684932 0.483092 0.586854 0.286517 0.698630 0.406375 0.542553 0.255605 0.780822 0.385135 0.553398 6 khoa_tieng_bo_dao_nha suite14 892 73 0.081839 0.493579 0.869721 0.082433 0.095324 0.167894 0.086056 0.460674 0.561644 0.506173 0.538058 0.350746 0.643836 0.454106 0.551643 0.297753 0.726027 0.422311 0.563830 0.255605 0.780822 0.385135 0.553398 6 khoa_tieng_bo_dao_nha suite16 892 73 0.081839 0.497832 0.884456 0.074888 0.076494 0.158333 0.076494 0.471910 0.575342 0.518519 0.551181 0.373134 0.684932 0.483092 0.586854 0.286517 0.698630 0.406375 0.542553 0.260090 0.794521 0.391892 0.563107 6 khoa_tieng_bo_dao_nha suite17 892 73 0.081839 0.529848 0.887735 0.055702 0.032786 0.093571 0.011733 0.460674 0.561644 0.506173 0.538058 0.365672 0.671233 0.473430 0.575117 0.303371 0.739726 0.430279 0.574468 0.255605 0.780822 0.385135 0.553398 6 khoa_tieng_bo_dao_nha suite18 892 73 0.081839 0.525607 0.887952 0.055966 0.037284 0.094295 0.012457 0.460674 0.561644 0.506173 0.538058 0.380597 0.698630 0.492754 0.598592 0.297753 0.726027 0.422311 0.563830 0.260090 0.794521 0.391892 0.563107 6 khoa_tieng_bo_dao_nha suite20 892 73 0.081839 0.390834 0.850570 0.138099 0.156388 0.238227 0.156388 0.393258 0.479452 0.432099 0.459318 0.328358 0.602740 0.425121 0.516432 0.269663 0.657534 0.382470 0.510638 0.233184 0.712329 0.351351 0.504854 6 khoa_tieng_bo_dao_nha suite21 892 73 0.081839 0.520012 0.879154 0.055579 0.027073 0.094707 0.012868 0.449438 0.547945 0.493827 0.524934 0.373134 0.684932 0.483092 0.586854 0.292135 0.712329 0.414343 0.553191 0.255605 0.780822 0.385135 0.553398 6 khoa_tieng_bo_dao_nha suite22 892 73 0.081839 0.508680 0.882533 0.055436 0.025070 0.060680 -0.021158 0.460674 0.561644 0.506173 0.538058 0.365672 0.671233 0.473430 0.575117 0.303371 0.739726 0.430279 0.574468 0.251121 0.767123 0.378378 0.543689 6 khoa_tieng_bo_dao_nha suite22_primary 892 73 0.081839 0.439787 0.867128 0.060997 0.038318 0.047614 -0.034225 0.393258 0.479452 0.432099 0.459318 0.328358 0.602740 0.425121 0.516432 0.286517 0.698630 0.406375 0.542553 0.237668 0.726027 0.358108 0.514563 6 khoa_tieng_bo_dao_nha suite22_relational 892 73 0.081839 0.439529 0.867296 0.060903 0.041846 0.042559 -0.039280 0.404494 0.493151 0.444444 0.472441 0.335821 0.616438 0.434783 0.528169 0.280899 0.684932 0.398406 0.531915 0.246637 0.753425 0.371622 0.533981 6 khoa_tieng_bo_dao_nha suite23 892 73 0.081839 0.521049 0.880593 0.055004 0.028120 0.092157 0.010318 0.460674 0.561644 0.506173 0.538058 0.373134 0.684932 0.483092 0.586854 0.286517 0.698630 0.406375 0.542553 0.255605 0.780822 0.385135 0.553398 6 khoa_tieng_bo_dao_nha suite23_graph 892 73 0.081839 0.477979 0.870908 0.056064 0.019767 0.075786 -0.006052 0.460674 0.561644 0.506173 0.538058 0.365672 0.671233 0.473430 0.575117 0.292135 0.712329 0.414343 0.553191 0.251121 0.767123 0.378378 0.543689 6 khoa_tieng_bo_dao_nha suite24 892 73 0.081839 0.526707 0.882433 0.053781 0.027010 0.060095 -0.021744 0.460674 0.561644 0.506173 0.538058 0.365672 0.671233 0.473430 0.575117 0.292135 0.712329 0.414343 0.553191 0.260090 0.794521 0.391892 0.563107 6 khoa_tieng_bo_dao_nha suite24_posthoc 892 73 0.081839 0.530877 0.885627 0.053730 0.018076 0.078274 -0.003564 0.516854 0.630137 0.567901 0.603675 0.358209 0.657534 0.463768 0.563380 0.308989 0.753425 0.438247 0.585106 0.255605 0.780822 0.385135 0.553398 6 khoa_tieng_bo_dao_nha suite25_committee_blend 892 73 0.081839 0.502027 0.884574 0.054359 0.019243 0.075501 -0.006338 0.471910 0.575342 0.518519 0.551181 0.350746 0.643836 0.454106 0.551643 0.297753 0.726027 0.422311 0.563830 0.255605 0.780822 0.385135 0.553398 6 khoa_tieng_bo_dao_nha suite25_mlp 892 73 0.081839 0.348172 0.841655 0.068877 0.048696 0.033143 -0.048696 0.303371 0.369863 0.333333 0.354331 0.283582 0.520548 0.367150 0.446009 0.252809 0.616438 0.358566 0.478723 0.219731 0.671233 0.331081 0.475728 6 khoa_tieng_bo_dao_nha suite25_sacr 892 73 0.081839 0.434285 0.876528 0.057810 0.020775 0.066161 -0.015678 0.438202 0.534247 0.481481 0.511811 0.335821 0.616438 0.434783 0.528169 0.297753 0.726027 0.422311 0.563830 0.251121 0.767123 0.378378 0.543689 6 khoa_tieng_bo_dao_nha suite25_tabr 892 73 0.081839 0.462063 0.873166 0.063464 0.038476 0.043363 -0.038476 0.370787 0.452055 0.407407 0.433071 0.343284 0.630137 0.444444 0.539906 0.280899 0.684932 0.398406 0.531915 0.260090 0.794521 0.391892 0.563107 6 khoa_tieng_duc committee 1839 84 0.045677 0.455834 0.922968 0.033443 0.012518 0.054016 0.008339 0.304348 0.666667 0.417910 0.538462 0.250000 0.821429 0.383333 0.563725 0.198370 0.869048 0.323009 0.518466 0.163043 0.892857 0.275735 0.471106 6 khoa_tieng_duc suite14 1839 84 0.045677 0.476797 0.933221 0.047978 0.073828 0.119505 0.073828 0.342391 0.750000 0.470149 0.605769 0.253623 0.833333 0.388889 0.571895 0.203804 0.892857 0.331858 0.532670 0.173913 0.952381 0.294118 0.502513 6 khoa_tieng_duc suite16 1839 84 0.045677 0.457941 0.929335 0.043164 0.046418 0.091659 0.045982 0.304348 0.666667 0.417910 0.538462 0.250000 0.821429 0.383333 0.563725 0.201087 0.880952 0.327434 0.525568 0.165217 0.904762 0.279412 0.477387 6 khoa_tieng_duc suite17 1839 84 0.045677 0.458582 0.930047 0.032535 0.011489 0.053582 0.007905 0.309783 0.678571 0.425373 0.548077 0.253623 0.833333 0.388889 0.571895 0.198370 0.869048 0.323009 0.518466 0.173913 0.952381 0.294118 0.502513 6 khoa_tieng_duc suite18 1839 84 0.045677 0.461428 0.930210 0.032505 0.012198 0.053574 0.007897 0.309783 0.678571 0.425373 0.548077 0.246377 0.809524 0.377778 0.555556 0.198370 0.869048 0.323009 0.518466 0.171739 0.940476 0.290441 0.496231 6 khoa_tieng_duc suite20 1839 84 0.045677 0.382837 0.927551 0.092818 0.145838 0.191515 0.145838 0.315217 0.690476 0.432836 0.557692 0.253623 0.833333 0.388889 0.571895 0.206522 0.904762 0.336283 0.539773 0.171739 0.940476 0.290441 0.496231 6 khoa_tieng_duc suite21 1839 84 0.045677 0.462564 0.927944 0.032905 0.010799 0.053971 0.008294 0.320652 0.702381 0.440299 0.567308 0.253623 0.833333 0.388889 0.571895 0.201087 0.880952 0.327434 0.525568 0.169565 0.928571 0.286765 0.489950 6 khoa_tieng_duc suite22 1839 84 0.045677 0.468225 0.928181 0.032510 0.013191 0.033541 -0.012136 0.309783 0.678571 0.425373 0.548077 0.260870 0.857143 0.400000 0.588235 0.201087 0.880952 0.327434 0.525568 0.165217 0.904762 0.279412 0.477387 6 khoa_tieng_duc suite22_primary 1839 84 0.045677 0.375872 0.885256 0.036107 0.019153 0.026709 -0.018968 0.288043 0.630952 0.395522 0.509615 0.221014 0.726190 0.338889 0.498366 0.176630 0.773810 0.287611 0.461648 0.145652 0.797619 0.246324 0.420854 6 khoa_tieng_duc suite22_relational 1839 84 0.045677 0.412426 0.911616 0.034934 0.020195 0.026025 -0.019652 0.315217 0.690476 0.432836 0.557692 0.235507 0.773810 0.361111 0.531046 0.187500 0.821429 0.305310 0.490057 0.158696 0.869048 0.268382 0.458543 6 khoa_tieng_duc suite23 1839 84 0.045677 0.415562 0.928666 0.032854 0.007216 0.046039 0.000362 0.320652 0.702381 0.440299 0.567308 0.242754 0.797619 0.372222 0.547386 0.209239 0.916667 0.340708 0.546875 0.169565 0.928571 0.286765 0.489950 6 khoa_tieng_duc suite23_graph 1839 84 0.045677 0.345671 0.906444 0.035023 0.011274 0.048424 0.002747 0.304348 0.666667 0.417910 0.538462 0.231884 0.761905 0.355556 0.522876 0.187500 0.821429 0.305310 0.490057 0.158696 0.869048 0.268382 0.458543 6 khoa_tieng_duc suite24 1839 84 0.045677 0.447166 0.926974 0.032954 0.016564 0.034693 -0.010984 0.320652 0.702381 0.440299 0.567308 0.250000 0.821429 0.383333 0.563725 0.201087 0.880952 0.327434 0.525568 0.163043 0.892857 0.275735 0.471106 6 khoa_tieng_duc suite24_posthoc 1839 84 0.045677 0.439524 0.935189 0.032052 0.007489 0.047765 0.002088 0.315217 0.690476 0.432836 0.557692 0.253623 0.833333 0.388889 0.571895 0.203804 0.892857 0.331858 0.532670 0.171739 0.940476 0.290441 0.496231 6 khoa_tieng_duc suite25_committee_blend 1839 84 0.045677 0.479100 0.932163 0.031446 0.009732 0.043279 -0.002398 0.336957 0.738095 0.462687 0.596154 0.242754 0.797619 0.372222 0.547386 0.209239 0.916667 0.340708 0.546875 0.169565 0.928571 0.286765 0.489950 6 khoa_tieng_duc suite25_mlp 1839 84 0.045677 0.329587 0.913651 0.039575 0.029407 0.016270 -0.029407 0.288043 0.630952 0.395522 0.509615 0.221014 0.726190 0.338889 0.498366 0.184783 0.809524 0.300885 0.482955 0.163043 0.892857 0.275735 0.471106 6 khoa_tieng_duc suite25_sacr 1839 84 0.045677 0.466575 0.918264 0.032620 0.010947 0.039673 -0.006004 0.326087 0.714286 0.447761 0.576923 0.239130 0.785714 0.366667 0.539216 0.192935 0.845238 0.314159 0.504261 0.156522 0.857143 0.264706 0.452261 6 khoa_tieng_duc suite25_tabr 1839 84 0.045677 0.375437 0.919309 0.038403 0.028452 0.017224 -0.028452 0.298913 0.654762 0.410448 0.528846 0.239130 0.785714 0.366667 0.539216 0.195652 0.857143 0.318584 0.511364 0.167391 0.916667 0.283088 0.483668 6 khoa_tieng_han_quoc committee 3277 123 0.037534 0.253130 0.858679 0.032348 0.019293 0.027792 -0.009742 0.216463 0.577236 0.314856 0.432927 0.178862 0.715447 0.286179 0.447154 0.143511 0.764228 0.241645 0.409765 0.123321 0.821138 0.214437 0.385202 6 khoa_tieng_han_quoc suite14 3277 123 0.037534 0.274150 0.856393 0.039031 0.042920 0.080454 0.042920 0.234756 0.626016 0.341463 0.469512 0.174797 0.699187 0.279675 0.436992 0.143511 0.764228 0.241645 0.409765 0.122100 0.813008 0.212314 0.381388 6 khoa_tieng_han_quoc suite16 3277 123 0.037534 0.265785 0.865988 0.034751 0.019382 0.047157 0.009623 0.225610 0.601626 0.328160 0.451220 0.184959 0.739837 0.295935 0.462398 0.145038 0.772358 0.244216 0.414124 0.123321 0.821138 0.214437 0.385202 6 khoa_tieng_han_quoc suite17 3277 123 0.037534 0.270115 0.866704 0.031640 0.015351 0.031442 -0.006093 0.225610 0.601626 0.328160 0.451220 0.180894 0.723577 0.289431 0.452236 0.145038 0.772358 0.244216 0.414124 0.123321 0.821138 0.214437 0.385202 6 khoa_tieng_han_quoc suite18 3277 123 0.037534 0.268417 0.866591 0.031673 0.014826 0.031415 -0.006120 0.225610 0.601626 0.328160 0.451220 0.180894 0.723577 0.289431 0.452236 0.143511 0.764228 0.241645 0.409765 0.122100 0.813008 0.212314 0.381388 6 khoa_tieng_han_quoc suite20 3277 123 0.037534 0.246169 0.831274 0.080598 0.107509 0.145043 0.107509 0.182927 0.487805 0.266075 0.365854 0.158537 0.634146 0.253659 0.396341 0.132824 0.707317 0.223650 0.379250 0.114774 0.764228 0.199575 0.358505 6 khoa_tieng_han_quoc suite21 3277 123 0.037534 0.263040 0.860634 0.032002 0.017686 0.027312 -0.010223 0.225610 0.601626 0.328160 0.451220 0.176829 0.707317 0.282927 0.442073 0.140458 0.747967 0.236504 0.401046 0.120879 0.804878 0.210191 0.377574 6 khoa_tieng_han_quoc suite22 3277 123 0.037534 0.296354 0.865751 0.031882 0.019988 0.017733 -0.019802 0.246951 0.658537 0.359202 0.493902 0.176829 0.707317 0.282927 0.442073 0.141985 0.756098 0.239075 0.405405 0.122100 0.813008 0.212314 0.381388 6 khoa_tieng_han_quoc suite22_primary 3277 123 0.037534 0.265299 0.837893 0.032662 0.021212 0.016409 -0.021126 0.189024 0.504065 0.274945 0.378049 0.148374 0.593496 0.237398 0.370935 0.131298 0.699187 0.221080 0.374891 0.112332 0.747967 0.195329 0.350877 6 khoa_tieng_han_quoc suite22_relational 3277 123 0.037534 0.309439 0.853800 0.032025 0.024841 0.013136 -0.024398 0.192073 0.512195 0.279379 0.384146 0.158537 0.634146 0.253659 0.396341 0.137405 0.731707 0.231362 0.392328 0.117216 0.780488 0.203822 0.366133 6 khoa_tieng_han_quoc suite23 3277 123 0.037534 0.264688 0.858256 0.031939 0.017511 0.023890 -0.013644 0.225610 0.601626 0.328160 0.451220 0.176829 0.707317 0.282927 0.442073 0.141985 0.756098 0.239075 0.405405 0.118437 0.788618 0.205945 0.369947 6 khoa_tieng_han_quoc suite23_graph 3277 123 0.037534 0.231526 0.765368 0.032204 0.010878 0.029355 -0.008179 0.185976 0.495935 0.270510 0.371951 0.148374 0.593496 0.237398 0.370935 0.120611 0.642276 0.203085 0.344377 0.100122 0.666667 0.174098 0.312738 6 khoa_tieng_han_quoc suite24 3277 123 0.037534 0.269686 0.857236 0.032516 0.022671 0.015764 -0.021770 0.225610 0.601626 0.328160 0.451220 0.178862 0.715447 0.286179 0.447154 0.141985 0.756098 0.239075 0.405405 0.123321 0.821138 0.214437 0.385202 6 khoa_tieng_han_quoc suite24_posthoc 3277 123 0.037534 0.283787 0.857961 0.032064 0.018721 0.019174 -0.018360 0.240854 0.642276 0.350333 0.481707 0.178862 0.715447 0.286179 0.447154 0.143511 0.764228 0.241645 0.409765 0.120879 0.804878 0.210191 0.377574 6 khoa_tieng_han_quoc suite25_committee_blend 3277 123 0.037534 0.296680 0.866622 0.031852 0.020829 0.018117 -0.019418 0.246951 0.658537 0.359202 0.493902 0.174797 0.699187 0.279675 0.436992 0.146565 0.780488 0.246787 0.418483 0.124542 0.829268 0.216561 0.389016 6 khoa_tieng_han_quoc suite25_mlp 3277 123 0.037534 0.291097 0.836537 0.035575 0.033692 0.003843 -0.033692 0.204268 0.544715 0.297118 0.408537 0.166667 0.666667 0.266667 0.416667 0.128244 0.682927 0.215938 0.366173 0.108669 0.723577 0.188960 0.339436 6 khoa_tieng_han_quoc suite25_sacr 3277 123 0.037534 0.294954 0.841355 0.032298 0.022547 0.014988 -0.022547 0.216463 0.577236 0.314856 0.432927 0.164634 0.658537 0.263415 0.411585 0.138931 0.739837 0.233933 0.396687 0.120879 0.804878 0.210191 0.377574 6 khoa_tieng_han_quoc suite25_tabr 3277 123 0.037534 0.265079 0.813575 0.034871 0.031036 0.006499 -0.031036 0.207317 0.552846 0.301552 0.414634 0.152439 0.609756 0.243902 0.381098 0.126718 0.674797 0.213368 0.361813 0.107448 0.715447 0.186837 0.335622 6 khoa_tieng_italia committee 2026 94 0.046397 0.228617 0.798709 0.046662 0.035086 0.075035 0.028638 0.216749 0.468085 0.296296 0.379965 0.177632 0.574468 0.271357 0.397059 0.148148 0.638298 0.240481 0.384123 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite14 2026 94 0.046397 0.238430 0.821990 0.068429 0.102672 0.149069 0.102672 0.221675 0.478723 0.303030 0.388601 0.194079 0.627660 0.296482 0.433824 0.153086 0.659574 0.248497 0.396927 0.128458 0.691489 0.216667 0.368481 6 khoa_tieng_italia suite16 2026 94 0.046397 0.225944 0.805846 0.070245 0.086087 0.132484 0.086087 0.211823 0.457447 0.289562 0.371330 0.180921 0.585106 0.276382 0.404412 0.150617 0.648936 0.244489 0.390525 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite17 2026 94 0.046397 0.235013 0.812861 0.044427 0.030763 0.075055 0.028658 0.211823 0.457447 0.289562 0.371330 0.180921 0.585106 0.276382 0.404412 0.155556 0.670213 0.252505 0.403329 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite18 2026 94 0.046397 0.234196 0.811726 0.044466 0.030032 0.074810 0.028413 0.216749 0.468085 0.296296 0.379965 0.180921 0.585106 0.276382 0.404412 0.155556 0.670213 0.252505 0.403329 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite20 2026 94 0.046397 0.177238 0.782600 0.123951 0.169325 0.215722 0.169325 0.187192 0.404255 0.255892 0.328152 0.154605 0.500000 0.236181 0.345588 0.135802 0.585106 0.220441 0.352113 0.128458 0.691489 0.216667 0.368481 6 khoa_tieng_italia suite21 2026 94 0.046397 0.230835 0.798046 0.046574 0.031035 0.076576 0.030179 0.216749 0.468085 0.296296 0.379965 0.180921 0.585106 0.276382 0.404412 0.148148 0.638298 0.240481 0.384123 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite22 2026 94 0.046397 0.240713 0.800961 0.039320 0.007999 0.041756 -0.004641 0.261084 0.563830 0.356902 0.457686 0.197368 0.638298 0.301508 0.441176 0.150617 0.648936 0.244489 0.390525 0.124506 0.670213 0.210000 0.357143 6 khoa_tieng_italia suite22_primary 2026 94 0.046397 0.181675 0.759438 0.041586 0.018467 0.030567 -0.015830 0.182266 0.393617 0.249158 0.319516 0.144737 0.468085 0.221106 0.323529 0.130864 0.563830 0.212425 0.339309 0.110672 0.595745 0.186667 0.317460 6 khoa_tieng_italia suite22_relational 2026 94 0.046397 0.193010 0.784817 0.041173 0.018699 0.029816 -0.016580 0.201970 0.436170 0.276094 0.354059 0.167763 0.542553 0.256281 0.375000 0.133333 0.574468 0.216433 0.345711 0.116601 0.627660 0.196667 0.334467 6 khoa_tieng_italia suite23 2026 94 0.046397 0.237671 0.810862 0.041185 0.019933 0.065402 0.019005 0.231527 0.500000 0.316498 0.405872 0.190789 0.617021 0.291457 0.426471 0.155556 0.670213 0.252505 0.403329 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite23_graph 2026 94 0.046397 0.203012 0.801253 0.041844 0.026080 0.069300 0.022904 0.231527 0.500000 0.316498 0.405872 0.194079 0.627660 0.296482 0.433824 0.150617 0.648936 0.244489 0.390525 0.124506 0.670213 0.210000 0.357143 6 khoa_tieng_italia suite24 2026 94 0.046397 0.237398 0.799315 0.041303 0.028269 0.047322 0.000925 0.216749 0.468085 0.296296 0.379965 0.171053 0.553191 0.261307 0.382353 0.148148 0.638298 0.240481 0.384123 0.126482 0.680851 0.213333 0.362812 6 khoa_tieng_italia suite24_posthoc 2026 94 0.046397 0.263079 0.808836 0.039799 0.015964 0.062093 0.015696 0.236453 0.510638 0.323232 0.414508 0.190789 0.617021 0.291457 0.426471 0.160494 0.691489 0.260521 0.416133 0.132411 0.712766 0.223333 0.379819 6 khoa_tieng_italia suite25_committee_blend 2026 94 0.046397 0.242134 0.810105 0.040997 0.017883 0.059588 0.013191 0.211823 0.457447 0.289562 0.371330 0.177632 0.574468 0.271357 0.397059 0.150617 0.648936 0.244489 0.390525 0.122530 0.659574 0.206667 0.351474 6 khoa_tieng_italia suite25_mlp 2026 94 0.046397 0.147236 0.764336 0.042531 0.019678 0.026719 -0.019678 0.172414 0.372340 0.235690 0.302245 0.144737 0.468085 0.221106 0.323529 0.133333 0.574468 0.216433 0.345711 0.114625 0.617021 0.193333 0.328798 6 khoa_tieng_italia suite25_sacr 2026 94 0.046397 0.229770 0.798965 0.040866 0.018673 0.055028 0.008631 0.216749 0.468085 0.296296 0.379965 0.164474 0.531915 0.251256 0.367647 0.138272 0.595745 0.224449 0.358515 0.118577 0.638298 0.200000 0.340136 6 khoa_tieng_italia suite25_tabr 2026 94 0.046397 0.157868 0.769919 0.042220 0.020702 0.028149 -0.018248 0.177340 0.382979 0.242424 0.310881 0.171053 0.553191 0.261307 0.382353 0.135802 0.585106 0.220441 0.352113 0.116601 0.627660 0.196667 0.334467 6 khoa_tieng_nga committee 1842 205 0.111292 0.480149 0.778807 0.077699 0.048070 0.090493 -0.020799 0.516304 0.463415 0.488432 0.473108 0.384058 0.517073 0.440748 0.483577 0.317935 0.570732 0.408377 0.492424 0.286957 0.643902 0.396992 0.515625 6 khoa_tieng_nga suite14 1842 205 0.111292 0.486138 0.793958 0.086941 0.068322 0.144715 0.033423 0.516304 0.463415 0.488432 0.473108 0.394928 0.531707 0.453222 0.497263 0.326087 0.585366 0.418848 0.505051 0.282609 0.634146 0.390977 0.507812 6 khoa_tieng_nga suite16 1842 205 0.111292 0.487353 0.792416 0.089870 0.070423 0.147086 0.035794 0.516304 0.463415 0.488432 0.473108 0.391304 0.526829 0.449064 0.492701 0.320652 0.575610 0.411867 0.496633 0.282609 0.634146 0.390977 0.507812 6 khoa_tieng_nga suite17 1842 205 0.111292 0.486381 0.790879 0.078432 0.050721 0.092391 -0.018901 0.510870 0.458537 0.483290 0.468127 0.380435 0.512195 0.436590 0.479015 0.323370 0.580488 0.415358 0.500842 0.282609 0.634146 0.390977 0.507812 6 khoa_tieng_nga suite18 1842 205 0.111292 0.487798 0.793209 0.078398 0.047560 0.092038 -0.019254 0.516304 0.463415 0.488432 0.473108 0.384058 0.517073 0.440748 0.483577 0.323370 0.580488 0.415358 0.500842 0.286957 0.643902 0.396992 0.515625 6 khoa_tieng_nga suite20 1842 205 0.111292 0.451087 0.799270 0.114993 0.108329 0.193461 0.082169 0.478261 0.429268 0.452442 0.438247 0.413043 0.556098 0.474012 0.520073 0.326087 0.585366 0.418848 0.505051 0.282609 0.634146 0.390977 0.507812 6 khoa_tieng_nga suite21 1842 205 0.111292 0.481212 0.779945 0.077513 0.047882 0.090598 -0.020694 0.516304 0.463415 0.488432 0.473108 0.384058 0.517073 0.440748 0.483577 0.317935 0.570732 0.408377 0.492424 0.289130 0.648780 0.400000 0.519531 6 khoa_tieng_nga suite22 1842 205 0.111292 0.489454 0.798981 0.076042 0.042447 0.068845 -0.042447 0.532609 0.478049 0.503856 0.488048 0.405797 0.546341 0.465696 0.510949 0.336957 0.604878 0.432810 0.521886 0.286957 0.643902 0.396992 0.515625 6 khoa_tieng_nga suite22_primary 1842 205 0.111292 0.475614 0.808797 0.079289 0.055364 0.056382 -0.054910 0.527174 0.473171 0.498715 0.483068 0.423913 0.570732 0.486486 0.533759 0.345109 0.619512 0.443281 0.534512 0.286957 0.643902 0.396992 0.515625 6 khoa_tieng_nga suite22_relational 1842 205 0.111292 0.480096 0.810209 0.078788 0.059714 0.052654 -0.058638 0.516304 0.463415 0.488432 0.473108 0.423913 0.570732 0.486486 0.533759 0.355978 0.639024 0.457243 0.551347 0.297826 0.668293 0.412030 0.535156 6 khoa_tieng_nga suite23 1842 205 0.111292 0.485135 0.795938 0.075788 0.039220 0.092508 -0.018784 0.521739 0.468293 0.493573 0.478088 0.394928 0.531707 0.453222 0.497263 0.320652 0.575610 0.411867 0.496633 0.289130 0.648780 0.400000 0.519531 6 khoa_tieng_nga suite23_graph 1842 205 0.111292 0.451878 0.799687 0.077377 0.020852 0.106160 -0.005132 0.516304 0.463415 0.488432 0.473108 0.402174 0.541463 0.461538 0.506387 0.334239 0.600000 0.429319 0.517677 0.291304 0.653659 0.403008 0.523437 6 khoa_tieng_nga suite24 1842 205 0.111292 0.479672 0.787234 0.078151 0.055890 0.061388 -0.049904 0.521739 0.468293 0.493573 0.478088 0.384058 0.517073 0.440748 0.483577 0.323370 0.580488 0.415358 0.500842 0.284783 0.639024 0.393985 0.511719 6 khoa_tieng_nga suite24_posthoc 1842 205 0.111292 0.497457 0.800122 0.076452 0.036565 0.080653 -0.030639 0.532609 0.478049 0.503856 0.488048 0.398551 0.536585 0.457380 0.501825 0.331522 0.595122 0.425829 0.513468 0.284783 0.639024 0.393985 0.511719 6 khoa_tieng_nga suite25_committee_blend 1842 205 0.111292 0.507001 0.803999 0.076644 0.051201 0.065807 -0.045486 0.521739 0.468293 0.493573 0.478088 0.394928 0.531707 0.453222 0.497263 0.328804 0.590244 0.422339 0.509259 0.286957 0.643902 0.396992 0.515625 6 khoa_tieng_nga suite25_mlp 1842 205 0.111292 0.401382 0.817483 0.094022 0.081856 0.029436 -0.081856 0.440217 0.395122 0.416452 0.403386 0.402174 0.541463 0.461538 0.506387 0.339674 0.609756 0.436300 0.526094 0.286957 0.643902 0.396992 0.515625 6 khoa_tieng_nga suite25_sacr 1842 205 0.111292 0.500049 0.816693 0.082222 0.061012 0.050280 -0.061012 0.516304 0.463415 0.488432 0.473108 0.376812 0.507317 0.432432 0.474453 0.336957 0.604878 0.432810 0.521886 0.302174 0.678049 0.418045 0.542969 6 khoa_tieng_nga suite25_tabr 1842 205 0.111292 0.417902 0.807551 0.091534 0.075537 0.035755 -0.075537 0.472826 0.424390 0.447301 0.433267 0.380435 0.512195 0.436590 0.479015 0.328804 0.590244 0.422339 0.509259 0.289130 0.648780 0.400000 0.519531 6 khoa_tieng_nhat committee 2530 88 0.034783 0.176291 0.832526 0.032834 0.017889 0.036026 0.001244 0.181818 0.522727 0.269795 0.380165 0.139474 0.602273 0.226496 0.362022 0.112648 0.647727 0.191919 0.332168 0.102848 0.738636 0.180556 0.330285 6 khoa_tieng_nhat suite14 2530 88 0.034783 0.182082 0.860623 0.041501 0.047063 0.081845 0.047063 0.169960 0.488636 0.252199 0.355372 0.142105 0.613636 0.230769 0.368852 0.126482 0.727273 0.215488 0.372960 0.112342 0.806818 0.197222 0.360772 6 khoa_tieng_nhat suite16 2530 88 0.034783 0.184468 0.845835 0.040317 0.031902 0.063492 0.028709 0.177866 0.511364 0.263930 0.371901 0.139474 0.602273 0.226496 0.362022 0.118577 0.681818 0.202020 0.349650 0.104430 0.750000 0.183333 0.335366 6 khoa_tieng_nhat suite17 2530 88 0.034783 0.178249 0.841288 0.032799 0.021380 0.039862 0.005079 0.177866 0.511364 0.263930 0.371901 0.136842 0.590909 0.222222 0.355191 0.116601 0.670455 0.198653 0.343823 0.102848 0.738636 0.180556 0.330285 6 khoa_tieng_nhat suite18 2530 88 0.034783 0.176339 0.840293 0.032823 0.021340 0.039760 0.004978 0.173913 0.500000 0.258065 0.363636 0.136842 0.590909 0.222222 0.355191 0.116601 0.670455 0.198653 0.343823 0.102848 0.738636 0.180556 0.330285 6 khoa_tieng_nhat suite20 2530 88 0.034783 0.183912 0.855479 0.124188 0.172470 0.207252 0.172470 0.154150 0.443182 0.228739 0.322314 0.147368 0.636364 0.239316 0.382514 0.126482 0.727273 0.215488 0.372960 0.107595 0.772727 0.188889 0.345528 6 khoa_tieng_nhat suite21 2530 88 0.034783 0.184748 0.843548 0.032340 0.016800 0.036729 0.001946 0.177866 0.511364 0.263930 0.371901 0.136842 0.590909 0.222222 0.355191 0.114625 0.659091 0.195286 0.337995 0.106013 0.761364 0.186111 0.340447 6 khoa_tieng_nhat suite22 2530 88 0.034783 0.185277 0.851351 0.031522 0.018438 0.020794 -0.013989 0.177866 0.511364 0.263930 0.371901 0.136842 0.590909 0.222222 0.355191 0.116601 0.670455 0.198653 0.343823 0.106013 0.761364 0.186111 0.340447 6 khoa_tieng_nhat suite22_primary 2530 88 0.034783 0.146207 0.825795 0.032618 0.022773 0.016055 -0.018728 0.146245 0.420455 0.217009 0.305785 0.134211 0.579545 0.217949 0.348361 0.108696 0.625000 0.185185 0.320513 0.098101 0.704545 0.172222 0.315041 6 khoa_tieng_nhat suite22_relational 2530 88 0.034783 0.158008 0.844464 0.032258 0.022391 0.014654 -0.020129 0.154150 0.443182 0.228739 0.322314 0.134211 0.579545 0.217949 0.348361 0.114625 0.659091 0.195286 0.337995 0.104430 0.750000 0.183333 0.335366 6 khoa_tieng_nhat suite23 2530 88 0.034783 0.186089 0.847940 0.031253 0.008696 0.033193 -0.001589 0.181818 0.522727 0.269795 0.380165 0.139474 0.602273 0.226496 0.362022 0.120553 0.693182 0.205387 0.355478 0.102848 0.738636 0.180556 0.330285 6 khoa_tieng_nhat suite23_graph 2530 88 0.034783 0.155195 0.799703 0.032373 0.008740 0.043522 0.008740 0.150198 0.431818 0.222874 0.314050 0.131579 0.568182 0.213675 0.341530 0.112648 0.647727 0.191919 0.332168 0.098101 0.704545 0.172222 0.315041 6 khoa_tieng_nhat suite24 2530 88 0.034783 0.183309 0.836628 0.031901 0.019305 0.023918 -0.010865 0.177866 0.511364 0.263930 0.371901 0.134211 0.579545 0.217949 0.348361 0.116601 0.670455 0.198653 0.343823 0.101266 0.727273 0.177778 0.325203 6 khoa_tieng_nhat suite24_posthoc 2530 88 0.034783 0.196275 0.855679 0.030785 0.011703 0.028138 -0.006644 0.177866 0.511364 0.263930 0.371901 0.144737 0.625000 0.235043 0.375683 0.124506 0.715909 0.212121 0.367133 0.107595 0.772727 0.188889 0.345528 6 khoa_tieng_nhat suite25_committee_blend 2530 88 0.034783 0.207701 0.860291 0.031174 0.015239 0.028462 -0.006321 0.181818 0.522727 0.269795 0.380165 0.147368 0.636364 0.239316 0.382514 0.118577 0.681818 0.202020 0.349650 0.109177 0.784091 0.191667 0.350610 6 khoa_tieng_nhat suite25_mlp 2530 88 0.034783 0.137225 0.853678 0.033695 0.029401 0.005729 -0.029054 0.158103 0.454545 0.234604 0.330579 0.131579 0.568182 0.213675 0.341530 0.118577 0.681818 0.202020 0.349650 0.113924 0.818182 0.200000 0.365854 6 khoa_tieng_nhat suite25_sacr 2530 88 0.034783 0.201824 0.854432 0.031247 0.012925 0.027847 -0.006936 0.169960 0.488636 0.252199 0.355372 0.144737 0.625000 0.235043 0.375683 0.122530 0.704545 0.208754 0.361305 0.107595 0.772727 0.188889 0.345528 6 khoa_tieng_nhat suite25_tabr 2530 88 0.034783 0.167404 0.847093 0.032831 0.025534 0.009248 -0.025534 0.146245 0.420455 0.217009 0.305785 0.139474 0.602273 0.226496 0.362022 0.118577 0.681818 0.202020 0.349650 0.107595 0.772727 0.188889 0.345528 6 khoa_tieng_phap committee 2263 50 0.022095 0.279097 0.914609 0.019935 0.012963 0.035058 0.012963 0.172566 0.780000 0.282609 0.457746 0.123894 0.840000 0.215938 0.389610 0.094923 0.860000 0.170974 0.329250 0.075972 0.860000 0.139610 0.280679 6 khoa_tieng_phap suite14 2263 50 0.022095 0.299858 0.929033 0.028801 0.058162 0.080256 0.058162 0.172566 0.780000 0.282609 0.457746 0.126844 0.860000 0.221080 0.398887 0.094923 0.860000 0.170974 0.329250 0.079505 0.900000 0.146104 0.293734 6 khoa_tieng_phap suite16 2263 50 0.022095 0.294438 0.918192 0.026894 0.035586 0.057680 0.035586 0.176991 0.800000 0.289855 0.469484 0.120944 0.820000 0.210797 0.380334 0.094923 0.860000 0.170974 0.329250 0.075972 0.860000 0.139610 0.280679 6 khoa_tieng_phap suite17 2263 50 0.022095 0.283181 0.926688 0.019178 0.013462 0.035556 0.013462 0.176991 0.800000 0.289855 0.469484 0.120944 0.820000 0.210797 0.380334 0.094923 0.860000 0.170974 0.329250 0.075972 0.860000 0.139610 0.280679 6 khoa_tieng_phap suite18 2263 50 0.022095 0.285073 0.925667 0.019097 0.013626 0.035364 0.013269 0.176991 0.800000 0.289855 0.469484 0.126844 0.860000 0.221080 0.398887 0.094923 0.860000 0.170974 0.329250 0.075972 0.860000 0.139610 0.280679 6 khoa_tieng_phap suite20 2263 50 0.022095 0.308921 0.891252 0.059192 0.093304 0.115398 0.093304 0.137168 0.620000 0.224638 0.363850 0.106195 0.720000 0.185090 0.333952 0.090508 0.820000 0.163022 0.313936 0.074205 0.840000 0.136364 0.274151 6 khoa_tieng_phap suite21 2263 50 0.022095 0.280339 0.917144 0.019849 0.013043 0.035137 0.013043 0.168142 0.760000 0.275362 0.446009 0.123894 0.840000 0.215938 0.389610 0.097130 0.880000 0.174950 0.336907 0.077739 0.880000 0.142857 0.287206 6 khoa_tieng_phap suite22 2263 50 0.022095 0.316603 0.919132 0.017552 0.005014 0.021501 -0.000594 0.172566 0.780000 0.282609 0.457746 0.117994 0.800000 0.205656 0.371058 0.092715 0.840000 0.166998 0.321593 0.081272 0.920000 0.149351 0.300261 6 khoa_tieng_phap suite22_primary 2263 50 0.022095 0.306049 0.892101 0.018156 0.006923 0.016323 -0.005772 0.154867 0.700000 0.253623 0.410798 0.109145 0.740000 0.190231 0.343228 0.086093 0.780000 0.155070 0.298622 0.072438 0.820000 0.133117 0.267624 6 khoa_tieng_phap suite22_relational 2263 50 0.022095 0.274639 0.904763 0.019002 0.011284 0.013523 -0.008571 0.141593 0.640000 0.231884 0.375587 0.106195 0.720000 0.185090 0.333952 0.088300 0.800000 0.159046 0.306279 0.077739 0.880000 0.142857 0.287206 6 khoa_tieng_phap suite23 2263 50 0.022095 0.322248 0.912897 0.017476 0.004390 0.022696 0.000602 0.168142 0.760000 0.275362 0.446009 0.115044 0.780000 0.200514 0.361781 0.088300 0.800000 0.159046 0.306279 0.077739 0.880000 0.142857 0.287206 6 khoa_tieng_phap suite23_graph 2263 50 0.022095 0.293273 0.893213 0.018310 0.009032 0.020323 -0.001771 0.150442 0.680000 0.246377 0.399061 0.106195 0.720000 0.185090 0.333952 0.086093 0.780000 0.155070 0.298622 0.070671 0.800000 0.129870 0.261097 6 khoa_tieng_phap suite24 2263 50 0.022095 0.262960 0.911667 0.018737 0.009391 0.024071 0.001976 0.172566 0.780000 0.282609 0.457746 0.117994 0.800000 0.205656 0.371058 0.094923 0.860000 0.170974 0.329250 0.077739 0.880000 0.142857 0.287206 6 khoa_tieng_phap suite24_posthoc 2263 50 0.022095 0.300391 0.913050 0.018035 0.013447 0.032829 0.010734 0.168142 0.760000 0.275362 0.446009 0.120944 0.820000 0.210797 0.380334 0.090508 0.820000 0.163022 0.313936 0.074205 0.840000 0.136364 0.274151 6 khoa_tieng_phap suite25_committee_blend 2263 50 0.022095 0.347156 0.923732 0.017186 0.006245 0.026671 0.004577 0.172566 0.780000 0.282609 0.457746 0.117994 0.800000 0.205656 0.371058 0.090508 0.820000 0.163022 0.313936 0.074205 0.840000 0.136364 0.274151 6 khoa_tieng_phap suite25_mlp 2263 50 0.022095 0.299503 0.882765 0.018922 0.009006 0.013089 -0.009006 0.141593 0.640000 0.231884 0.375587 0.100295 0.680000 0.174807 0.315399 0.083885 0.760000 0.151093 0.290965 0.068905 0.780000 0.126623 0.254569 6 khoa_tieng_phap suite25_sacr 2263 50 0.022095 0.350838 0.912354 0.016954 0.004899 0.023356 0.001261 0.150442 0.680000 0.246377 0.399061 0.109145 0.740000 0.190231 0.343228 0.092715 0.840000 0.166998 0.321593 0.074205 0.840000 0.136364 0.274151 6 khoa_tieng_phap suite25_tabr 2263 50 0.022095 0.266795 0.877849 0.019066 0.006498 0.015596 -0.006498 0.128319 0.580000 0.210145 0.340376 0.100295 0.680000 0.174807 0.315399 0.079470 0.720000 0.143141 0.275651 0.065371 0.740000 0.120130 0.241514 ================================================================================================================================================================================ SUITE25 TARGET FOLD 7 ================================================================================================================================================================================ [DATA] history=514,858 fail=13,041 (2.53%) train=405,366 validation=109,492 target=53,645 fail=4,179 (7.79%) ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_mlp] [SELECT MLP] epoch=01/10 loss=0.11898 BCE=0.08815 rank=0.30828 macroAP=0.2582 F2@20=0.3887 Brier=0.0375 best=01 [SELECT MLP] epoch=02/10 loss=0.10541 BCE=0.07946 rank=0.25955 macroAP=0.2657 F2@20=0.3862 Brier=0.0378 best=02 [SELECT MLP] epoch=03/10 loss=0.09748 BCE=0.07541 rank=0.22075 macroAP=0.2542 F2@20=0.3762 Brier=0.0378 best=02 [SELECT MLP] epoch=04/10 loss=0.09213 BCE=0.07165 rank=0.20480 macroAP=0.2487 F2@20=0.3808 Brier=0.0390 best=02 [SELECT MLP] epoch=05/10 loss=0.08750 BCE=0.06889 rank=0.18616 macroAP=0.2516 F2@20=0.3914 Brier=0.0388 best=02 [RETRIEVAL CACHE] selection phase... [RETRIEVAL INDEX] building selection: bank=405,366 query=514,858 PCA=24 [STATE RETRIEVAL] semester=6056 queries=225 eligible_bank=11,015 k=32 [STATE RETRIEVAL] semester=6057 queries=27,064 eligible_bank=11,240 k=32 [STATE RETRIEVAL] semester=6058 queries=27,400 eligible_bank=38,304 k=32 [STATE RETRIEVAL] semester=6059 queries=458 eligible_bank=65,704 k=32 [STATE RETRIEVAL] semester=6060 queries=42,415 eligible_bank=66,162 k=32 [STATE RETRIEVAL] semester=6061 queries=39,361 eligible_bank=108,577 k=32 [STATE RETRIEVAL] semester=6062 queries=906 eligible_bank=147,938 k=32 [STATE RETRIEVAL] semester=6063 queries=48,526 eligible_bank=148,844 k=32 [STATE RETRIEVAL] semester=6064 queries=42,562 eligible_bank=197,370 k=32 [STATE RETRIEVAL] semester=6065 queries=740 eligible_bank=239,932 k=32 [STATE RETRIEVAL] semester=6066 queries=45,800 eligible_bank=240,672 k=32 [STATE RETRIEVAL] semester=6067 queries=42,122 eligible_bank=286,472 k=32 [STATE RETRIEVAL] semester=6068 queries=985 eligible_bank=328,594 k=32 [STATE RETRIEVAL] semester=6069 queries=47,420 eligible_bank=329,579 k=32 [STATE RETRIEVAL] semester=6070 queries=41,376 eligible_bank=376,999 k=32 [STATE RETRIEVAL] semester=6071 queries=1,092 eligible_bank=404,275 k=32 [STATE RETRIEVAL] semester=6072 queries=50,698 eligible_bank=405,366 k=32 [STATE RETRIEVAL] semester=6073 queries=43,359 eligible_bank=405,366 k=32 [STATE RETRIEVAL] semester=6074 queries=1,334 eligible_bank=405,366 k=32 [STATE RETRIEVAL] complete N=514,858 in 2.54 min [RETRIEVAL CACHE] 25,000/514,858 [RETRIEVAL CACHE] 50,000/514,858 [RETRIEVAL CACHE] 75,000/514,858 [RETRIEVAL CACHE] 100,000/514,858 [RETRIEVAL CACHE] 125,000/514,858 [RETRIEVAL CACHE] 150,000/514,858 [RETRIEVAL CACHE] 175,000/514,858 [RETRIEVAL CACHE] 200,000/514,858 [RETRIEVAL CACHE] 225,000/514,858 [RETRIEVAL CACHE] 250,000/514,858 [RETRIEVAL CACHE] 275,000/514,858 [RETRIEVAL CACHE] 300,000/514,858 [RETRIEVAL CACHE] 325,000/514,858 [RETRIEVAL CACHE] 350,000/514,858 [RETRIEVAL CACHE] 375,000/514,858 [RETRIEVAL CACHE] 400,000/514,858 [RETRIEVAL CACHE] 425,000/514,858 [RETRIEVAL CACHE] 450,000/514,858 [RETRIEVAL CACHE] 475,000/514,858 [RETRIEVAL CACHE] 500,000/514,858 [RETRIEVAL CACHE] complete N=514,858 bank=405,366 maxP=96 in 5.41 min FOLD 7 SELECTION RETRIEVAL SUPPORT -------------------------------------------------------------------------------- faculty rows prevalence any_candidate_zero_rate same_student_mean same_student_zero_rate same_student_candidate_fail_rate same_course_mean same_course_zero_rate same_course_candidate_fail_rate structural_mean structural_zero_rate structural_candidate_fail_rate state_mean state_zero_rate state_candidate_fail_rate candidate_mean cross_faculty_candidate_rate candidate_recency_mean khoa_cong_nghe_thong_tin 52684 0.044074 0.011844 9.009604 0.252316 0.019985 20.999886 0.124288 0.030665 2.542119 0.565732 0.031196 31.620985 0.011844 0.040653 63.012376 0.190958 2.886719 khoa_quan_tri_kinh_doanh_va_du_lich 75430 0.038406 0.024804 8.664457 0.230465 0.020645 20.845897 0.121450 0.028845 6.241429 0.236126 0.046301 31.206257 0.024804 0.036062 65.828172 0.180201 2.544922 khoa_quoc_te_hoc 24904 0.013130 0.022004 7.985946 0.268551 0.004395 19.375883 0.185834 0.008853 6.256987 0.256505 0.005391 31.295856 0.022004 0.023639 63.641182 0.373771 3.091797 khoa_tieng_anh 92960 0.016297 0.021289 9.232960 0.203539 0.004043 17.172569 0.280658 0.018399 4.751571 0.436209 0.030498 31.318761 0.021289 0.017811 61.373602 0.390566 2.566406 khoa_tieng_bo_dao_nha 9532 0.047209 0.015632 9.398762 0.194713 0.022101 19.893517 0.157470 0.026115 3.764897 0.404742 0.034469 31.499790 0.015632 0.052625 62.632396 0.490950 3.037109 khoa_tieng_duc 22146 0.022803 0.018468 9.442066 0.231735 0.009259 19.774000 0.174930 0.017455 1.435429 0.789398 0.014596 31.409013 0.018468 0.019907 60.624357 0.493547 2.693359 khoa_tieng_han_quoc 36779 0.010713 0.021452 9.180021 0.212295 0.003797 17.638870 0.260611 0.009500 3.489682 0.441529 0.045774 31.313521 0.021452 0.006815 60.610185 0.501785 2.742188 khoa_tieng_italia 22935 0.034314 0.018618 9.442163 0.182952 0.013313 18.063091 0.209985 0.027636 5.088119 0.283410 0.016170 31.404229 0.018618 0.044516 62.198648 0.438552 2.787109 khoa_tieng_nga 17307 0.057780 0.017796 9.062114 0.215693 0.023527 19.197203 0.192697 0.029571 5.228000 0.248454 0.047214 31.430519 0.017796 0.053417 62.994453 0.432295 2.851562 khoa_tieng_nhat 34455 0.012741 0.030039 8.982093 0.243303 0.003328 17.782325 0.255522 0.015125 5.083703 0.250065 0.072899 31.038746 0.030039 0.008812 61.375330 0.388881 2.642578 khoa_tieng_phap 30327 0.014146 0.036337 9.317704 0.222739 0.005690 18.908497 0.209417 0.012047 4.655357 0.284631 0.016971 30.837208 0.036337 0.019847 61.958255 0.312176 2.724609 khoa_tieng_tay_ban_nha 16330 0.032884 0.026761 9.211023 0.223454 0.016966 18.940110 0.203797 0.016512 7.387569 0.175873 0.029899 31.143662 0.026761 0.032483 65.145560 0.463444 2.775391 khoa_tieng_trung_quoc 69961 0.011907 0.016795 9.677806 0.190277 0.003831 17.874987 0.254427 0.010715 4.306585 0.318106 0.022075 31.462558 0.016795 0.009679 62.317248 0.278308 2.619141 khoa_viet_nam_hoc 9108 0.066535 0.017787 7.411946 0.301493 0.034277 17.015810 0.268665 0.060311 0.099253 0.981445 0.033186 31.430830 0.017787 0.068781 53.043259 0.059242 3.232422 ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_tabr] [SELECT TABR] epoch=01/10 loss=0.11636 BCE=0.08652 rank=0.29843 macroAP=0.2570 F2@20=0.3897 Brier=0.0389 best=01 [SELECT TABR] epoch=02/10 loss=0.09996 BCE=0.07579 rank=0.24169 macroAP=0.2559 F2@20=0.3902 Brier=0.0388 best=01 [SELECT TABR] epoch=03/10 loss=0.09522 BCE=0.07374 rank=0.21478 macroAP=0.2544 F2@20=0.3866 Brier=0.0388 best=01 [SELECT TABR] epoch=04/10 loss=0.08954 BCE=0.07005 rank=0.19493 macroAP=0.2655 F2@20=0.3868 Brier=0.0385 best=04 [SELECT TABR] epoch=05/10 loss=0.08434 BCE=0.06670 rank=0.17645 macroAP=0.2472 F2@20=0.3796 Brier=0.0393 best=04 [SELECT TABR] epoch=06/10 loss=0.07905 BCE=0.06334 rank=0.15704 macroAP=0.2516 F2@20=0.3801 Brier=0.0387 best=04 [SELECT TABR] epoch=07/10 loss=0.07610 BCE=0.06201 rank=0.14092 macroAP=0.2533 F2@20=0.3773 Brier=0.0390 best=04 ---------------------------------------------------------------------------------------------------------------------------------------- [VARIANT suite25_sacr] [SELECT SACR] epoch=01/10 loss=0.10417 BCE=0.07909 rank=0.25082 macroAP=0.2671 F2@20=0.3847 Brier=0.0379 best=01 [SELECT SACR] epoch=02/10 loss=0.09164 BCE=0.07129 rank=0.20348 macroAP=0.2692 F2@20=0.3718 Brier=0.0384 best=02 [SELECT SACR] epoch=03/10 loss=0.08285 BCE=0.06561 rank=0.17235 macroAP=0.2679 F2@20=0.3899 Brier=0.0382 best=02 [SELECT SACR] epoch=04/10 loss=0.07817 BCE=0.06261 rank=0.15559 macroAP=0.2757 F2@20=0.3782 Brier=0.0379 best=04 [SELECT SACR] epoch=05/10 loss=0.07626 BCE=0.06153 rank=0.14732 macroAP=0.2630 F2@20=0.3786 Brier=0.0402 best=04 [SELECT SACR] epoch=06/10 loss=0.07118 BCE=0.05858 rank=0.12598 macroAP=0.2709 F2@20=0.3809 Brier=0.0373 best=04 [SELECT SACR] epoch=07/10 loss=0.07067 BCE=0.05781 rank=0.12857 macroAP=0.2816 F2@20=0.3903 Brier=0.0382 best=07 [SELECT SACR] epoch=08/10 loss=0.06673 BCE=0.05467 rank=0.12060 macroAP=0.2883 F2@20=0.4005 Brier=0.0374 best=08 [SELECT SACR] epoch=09/10 loss=0.06254 BCE=0.05198 rank=0.10555 macroAP=0.2749 F2@20=0.3843 Brier=0.0387 best=08 [SELECT SACR] epoch=10/10 loss=0.06007 BCE=0.05059 rank=0.09477 macroAP=0.2852 F2@20=0.3891 Brier=0.0381 best=08 [COMMITTEE BLEND ABLATION] selected alpha=0.25 policyAP=0.4353 policyF2=0.4538 [RETRIEVAL CACHE] production history... [RETRIEVAL INDEX] building production-history: bank=514,858 query=514,858 PCA=24 [STATE RETRIEVAL] semester=6056 queries=225 eligible_bank=11,015 k=32 [STATE RETRIEVAL] semester=6057 queries=27,064 eligible_bank=11,240 k=32 [STATE RETRIEVAL] semester=6058 queries=27,400 eligible_bank=38,304 k=32 [STATE RETRIEVAL] semester=6059 queries=458 eligible_bank=65,704 k=32 [STATE RETRIEVAL] semester=6060 queries=42,415 eligible_bank=66,162 k=32 [STATE RETRIEVAL] semester=6061 queries=39,361 eligible_bank=108,577 k=32 [STATE RETRIEVAL] semester=6062 queries=906 eligible_bank=147,938 k=32 [STATE RETRIEVAL] semester=6063 queries=48,526 eligible_bank=148,844 k=32 [STATE RETRIEVAL] semester=6064 queries=42,562 eligible_bank=197,370 k=32 [STATE RETRIEVAL] semester=6065 queries=740 eligible_bank=239,932 k=32 [STATE RETRIEVAL] semester=6066 queries=45,800 eligible_bank=240,672 k=32 [STATE RETRIEVAL] semester=6067 queries=42,122 eligible_bank=286,472 k=32 [STATE RETRIEVAL] semester=6068 queries=985 eligible_bank=328,594 k=32 [STATE RETRIEVAL] semester=6069 queries=47,420 eligible_bank=329,579 k=32 [STATE RETRIEVAL] semester=6070 queries=41,376 eligible_bank=376,999 k=32 [STATE RETRIEVAL] semester=6071 queries=1,092 eligible_bank=418,375 k=32 [STATE RETRIEVAL] semester=6072 queries=50,698 eligible_bank=419,467 k=32 [STATE RETRIEVAL] semester=6073 queries=43,359 eligible_bank=470,165 k=32 [STATE RETRIEVAL] semester=6074 queries=1,334 eligible_bank=513,524 k=32 [STATE RETRIEVAL] complete N=514,858 in 2.38 min [RETRIEVAL CACHE] 25,000/514,858 [RETRIEVAL CACHE] 50,000/514,858 [RETRIEVAL CACHE] 75,000/514,858 [RETRIEVAL CACHE] 100,000/514,858 [RETRIEVAL CACHE] 125,000/514,858 [RETRIEVAL CACHE] 150,000/514,858 [RETRIEVAL CACHE] 175,000/514,858 [RETRIEVAL CACHE] 200,000/514,858 [RETRIEVAL CACHE] 225,000/514,858 [RETRIEVAL CACHE] 250,000/514,858 [RETRIEVAL CACHE] 275,000/514,858 [RETRIEVAL CACHE] 300,000/514,858 [RETRIEVAL CACHE] 325,000/514,858 [RETRIEVAL CACHE] 350,000/514,858 [RETRIEVAL CACHE] 375,000/514,858 [RETRIEVAL CACHE] 400,000/514,858 [RETRIEVAL CACHE] 425,000/514,858 [RETRIEVAL CACHE] 450,000/514,858 [RETRIEVAL CACHE] 475,000/514,858 [RETRIEVAL CACHE] 500,000/514,858 [RETRIEVAL CACHE] complete N=514,858 bank=514,858 maxP=96 in 4.82 min [RETRIEVAL CACHE] production target... [RETRIEVAL INDEX] building production-target: bank=514,858 query=53,645 PCA=24 [STATE RETRIEVAL] semester=6075 queries=53,645 eligible_bank=514,858 k=32 [STATE RETRIEVAL] complete N=53,645 in 0.59 min [RETRIEVAL CACHE] 25,000/53,645 [RETRIEVAL CACHE] 50,000/53,645 [RETRIEVAL CACHE] complete N=53,645 bank=514,858 maxP=96 in 0.54 min FOLD 7 TARGET RETRIEVAL SUPPORT -------------------------------------------------------------------------------- faculty rows prevalence any_candidate_zero_rate same_student_mean same_student_zero_rate same_student_candidate_fail_rate same_course_mean same_course_zero_rate same_course_candidate_fail_rate structural_mean structural_zero_rate structural_candidate_fail_rate state_mean state_zero_rate state_candidate_fail_rate candidate_mean cross_faculty_candidate_rate candidate_recency_mean fold khoa_cong_nghe_thong_tin 6926 0.151314 0.0 9.408750 0.309703 0.080166 21.324718 0.111320 0.049744 2.627202 0.616806 0.038250 32.0 0.0 0.053079 64.928241 0.225601 3.212891 7 khoa_quan_tri_kinh_doanh_va_du_lich 8989 0.124930 0.0 8.783847 0.345200 0.067618 22.297252 0.058738 0.076979 8.120481 0.061408 0.055620 32.0 0.0 0.056121 70.718990 0.177981 2.896484 7 khoa_quoc_te_hoc 2755 0.046461 0.0 9.490744 0.290018 0.023138 21.122323 0.109256 0.009039 8.067514 0.061706 0.000000 32.0 0.0 0.021007 70.286751 0.361341 3.207031 7 khoa_tieng_anh 8369 0.029872 0.0 8.383797 0.238141 0.016347 20.883499 0.128331 0.021502 7.154379 0.225953 0.014697 32.0 0.0 0.023375 68.063568 0.501120 3.123047 7 khoa_tieng_bo_dao_nha 1209 0.118280 0.0 7.394541 0.302730 0.083557 19.127378 0.200165 0.067330 3.427626 0.377171 0.034990 32.0 0.0 0.087133 61.373036 0.574164 3.496094 7 khoa_tieng_duc 2284 0.048599 0.0 8.858581 0.287215 0.039144 22.592382 0.058231 0.017771 2.282837 0.667250 0.010740 32.0 0.0 0.035615 65.189142 0.533400 3.291016 7 khoa_tieng_han_quoc 3434 0.036401 0.0 8.949039 0.239080 0.025414 17.905649 0.253931 0.015531 6.576587 0.172394 0.067393 32.0 0.0 0.022805 64.900116 0.480699 3.269531 7 khoa_tieng_italia 2453 0.103547 0.0 9.256013 0.216062 0.048183 21.426824 0.105993 0.041286 6.217285 0.194863 0.033572 32.0 0.0 0.048703 67.927028 0.464552 3.183594 7 khoa_tieng_nga 1924 0.080042 0.0 8.768191 0.350312 0.077297 17.463098 0.257277 0.039644 2.989605 0.527547 0.058936 32.0 0.0 0.078482 60.490125 0.546609 3.347656 7 khoa_tieng_nhat 2795 0.051878 0.0 7.180322 0.252594 0.029598 17.002147 0.267621 0.033248 5.099821 0.318784 0.044900 32.0 0.0 0.034369 61.008587 0.547294 3.132812 7 khoa_tieng_phap 2915 0.040823 0.0 8.944425 0.281304 0.015878 20.422298 0.148199 0.017352 6.051458 0.137564 0.006916 32.0 0.0 0.024753 66.776329 0.350490 3.246094 7 khoa_tieng_tay_ban_nha 1957 0.097087 0.0 8.836484 0.307614 0.049962 19.744507 0.175268 0.043996 6.703628 0.215125 0.055568 32.0 0.0 0.058316 66.620848 0.492410 3.314453 7 khoa_tieng_trung_quoc 6657 0.032597 0.0 9.474238 0.199639 0.021674 16.850533 0.297281 0.023196 4.225026 0.298483 0.008995 32.0 0.0 0.023974 62.241700 0.315347 3.673828 7 khoa_viet_nam_hoc 978 0.175869 0.0 4.715746 0.322086 0.140720 19.358896 0.184049 0.094280 0.498978 0.937628 0.000000 32.0 0.0 0.162832 55.106339 0.109567 3.869141 7 [CHRONOLOGY AUDIT] violations=0 / 568,503 | every retrieved label semester < query semester [REFIT MLP] epoch=01/2 loss=0.13122 BCE=0.09994 rank=0.31281 [REFIT MLP] epoch=02/2 loss=0.12269 BCE=0.09491 rank=0.27785 [VARIANT suite25_mlp] selected_epochs=2 target macroAP=0.3173 [REFIT TABR] epoch=01/4 loss=0.12967 BCE=0.09914 rank=0.30537 [REFIT TABR] epoch=04/4 loss=0.10634 BCE=0.08396 rank=0.22386 [VARIANT suite25_tabr] selected_epochs=4 target macroAP=0.3221 [REFIT SACR] epoch=01/8 loss=0.11861 BCE=0.09276 rank=0.25845 [REFIT SACR] epoch=08/8 loss=0.08910 BCE=0.07345 rank=0.15650 [VARIANT suite25_sacr] selected_epochs=8 target macroAP=0.3249 SUITE25 TARGET FOLD 7 — NEW + AVAILABLE REFERENCE RESULTS -------------------------------------------------------------------------------- fold faculty model rows failures prevalence ap auc brier ece10 mean_score calibration_gap precision_at_10 recall_at_10 f1_at_10 fbeta_at_10 precision_at_15 recall_at_15 f1_at_15 fbeta_at_15 precision_at_20 recall_at_20 f1_at_20 fbeta_at_20 precision_at_25 recall_at_25 f1_at_25 fbeta_at_25 7 khoa_cong_nghe_thong_tin committee 6926 1048 0.151314 0.452730 0.808606 0.109826 0.056870 0.094664 -0.056650 0.544012 0.359733 0.433084 0.385875 0.478345 0.474237 0.476282 0.475053 0.421661 0.557252 0.480066 0.523579 0.381640 0.630725 0.475540 0.557900 7 khoa_cong_nghe_thong_tin council 6926 1048 0.151314 0.469554 0.820091 0.101543 0.005449 0.153609 0.002295 0.559885 0.370229 0.445721 0.397134 0.485082 0.480916 0.482990 0.481743 0.432491 0.571565 0.492396 0.537027 0.392610 0.648855 0.489209 0.573937 7 khoa_cong_nghe_thong_tin suite14 6926 1048 0.151314 0.436697 0.812011 0.105365 0.020490 0.154799 0.003486 0.496392 0.328244 0.395175 0.352098 0.461983 0.458015 0.459990 0.458803 0.412274 0.544847 0.469379 0.511924 0.382217 0.631679 0.476259 0.558744 7 khoa_cong_nghe_thong_tin suite16 6926 1048 0.151314 0.452808 0.804297 0.120705 0.095881 0.247195 0.095881 0.544012 0.359733 0.433084 0.385875 0.470645 0.466603 0.468615 0.467406 0.413718 0.546756 0.471023 0.513717 0.376443 0.622137 0.469065 0.550304 7 khoa_cong_nghe_thong_tin suite17 6926 1048 0.151314 0.448033 0.807381 0.112562 0.058201 0.093112 -0.058201 0.542569 0.358779 0.431936 0.384852 0.464870 0.460878 0.462865 0.461671 0.413718 0.546756 0.471023 0.513717 0.378176 0.625000 0.471223 0.552836 7 khoa_cong_nghe_thong_tin suite18 6926 1048 0.151314 0.443675 0.804949 0.112984 0.058825 0.092489 -0.058825 0.536797 0.354962 0.427341 0.380757 0.461983 0.458015 0.459990 0.458803 0.414440 0.547710 0.471845 0.514614 0.377021 0.623092 0.469784 0.551148 7 khoa_cong_nghe_thong_tin suite20 6926 1048 0.151314 0.404212 0.786572 0.121162 0.076374 0.197817 0.046503 0.473304 0.312977 0.376795 0.335722 0.434071 0.430344 0.432199 0.431084 0.387726 0.512405 0.441430 0.481442 0.354503 0.585878 0.441727 0.518231 7 khoa_cong_nghe_thong_tin suite21 6926 1048 0.151314 0.457833 0.805531 0.106416 0.038136 0.113409 -0.037905 0.552670 0.365458 0.439977 0.392016 0.487007 0.482824 0.484907 0.483655 0.425993 0.562977 0.484998 0.528958 0.383372 0.633588 0.477698 0.560432 7 khoa_cong_nghe_thong_tin suite22 6926 1048 0.151314 0.439532 0.806151 0.114838 0.074726 0.077158 -0.074156 0.515152 0.340649 0.410109 0.365404 0.470645 0.466603 0.468615 0.467406 0.425271 0.562023 0.484176 0.528062 0.375289 0.620229 0.467626 0.548616 7 khoa_cong_nghe_thong_tin suite22_primary 6926 1048 0.151314 0.403829 0.790014 0.120189 0.086038 0.065748 -0.085566 0.484848 0.320611 0.385985 0.343910 0.430221 0.426527 0.428366 0.427261 0.394946 0.521947 0.449651 0.490407 0.357968 0.591603 0.446043 0.523295 7 khoa_cong_nghe_thong_tin suite22_relational 6926 1048 0.151314 0.389028 0.784876 0.115053 0.068011 0.083351 -0.067963 0.467532 0.309160 0.372200 0.331627 0.429259 0.425573 0.427408 0.426305 0.382671 0.505725 0.435676 0.475166 0.352194 0.582061 0.438849 0.514855 7 khoa_cong_nghe_thong_tin suite23 6926 1048 0.151314 0.450967 0.809468 0.110841 0.060848 0.090903 -0.060411 0.541126 0.357824 0.430787 0.383828 0.473532 0.469466 0.471490 0.470273 0.420217 0.555344 0.478422 0.521786 0.384527 0.635496 0.479137 0.562120 7 khoa_cong_nghe_thong_tin suite23_graph 6926 1048 0.151314 0.371177 0.783022 0.121453 0.083852 0.067461 -0.083852 0.451659 0.298664 0.359563 0.320368 0.410972 0.407443 0.409200 0.408144 0.376173 0.497137 0.428278 0.467097 0.353349 0.583969 0.440288 0.516543 7 khoa_cong_nghe_thong_tin suite24 6926 1048 0.151314 0.454289 0.811096 0.108921 0.058334 0.093440 -0.057874 0.531025 0.351145 0.422746 0.376663 0.476420 0.472328 0.474365 0.473141 0.433935 0.573473 0.494040 0.538820 0.398383 0.658397 0.496403 0.582377 7 khoa_cong_nghe_thong_tin suite24_posthoc 6926 1048 0.151314 0.444902 0.806917 0.111991 0.065402 0.086382 -0.064932 0.531025 0.351145 0.422746 0.376663 0.465833 0.461832 0.463824 0.462627 0.420939 0.556298 0.479244 0.522682 0.386259 0.638359 0.481295 0.564652 7 khoa_cong_nghe_thong_tin suite25_committee_blend 6926 1048 0.151314 0.444327 0.812178 0.111242 0.061157 0.090663 -0.060651 0.532468 0.352099 0.423894 0.377687 0.468720 0.464695 0.466699 0.465494 0.425271 0.562023 0.484176 0.528062 0.388568 0.642176 0.484173 0.568028 7 khoa_cong_nghe_thong_tin suite25_mlp 6926 1048 0.151314 0.367320 0.777212 0.116428 0.056030 0.095609 -0.055704 0.421356 0.278626 0.335439 0.298874 0.392685 0.389313 0.390992 0.389983 0.370397 0.489504 0.421702 0.459925 0.349885 0.578244 0.435971 0.511479 7 khoa_cong_nghe_thong_tin suite25_sacr 6926 1048 0.151314 0.365854 0.793112 0.117378 0.066733 0.087270 -0.064043 0.404040 0.267176 0.321654 0.286592 0.394610 0.391221 0.392908 0.391894 0.373285 0.493321 0.424990 0.463511 0.359122 0.593511 0.447482 0.524983 7 khoa_cong_nghe_thong_tin suite25_tabr 6926 1048 0.151314 0.380644 0.781289 0.114225 0.053259 0.098055 -0.053259 0.441558 0.291985 0.351522 0.313204 0.403272 0.399809 0.401533 0.400497 0.369675 0.488550 0.420880 0.459028 0.346420 0.572519 0.431655 0.506415 7 khoa_cong_nghe_thong_tin v2 6926 1048 0.151314 0.455974 0.814170 0.150170 0.161980 0.313294 0.161980 0.555556 0.367366 0.442275 0.394063 0.479307 0.475191 0.477240 0.476008 0.421661 0.557252 0.480066 0.523579 0.377021 0.623092 0.469784 0.551148 7 khoa_quan_tri_kinh_doanh_va_du_lich committee 8989 1123 0.124930 0.420734 0.820544 0.092455 0.033308 0.091658 -0.033272 0.471635 0.377560 0.419387 0.393248 0.411721 0.494212 0.449211 0.475171 0.364294 0.583259 0.448477 0.520668 0.330218 0.660730 0.440356 0.550527 7 khoa_quan_tri_kinh_doanh_va_du_lich suite14 8989 1123 0.124930 0.429632 0.818054 0.093552 0.040122 0.129972 0.005042 0.466073 0.373108 0.414441 0.388611 0.409496 0.491541 0.446783 0.472603 0.365406 0.585040 0.449846 0.522258 0.327548 0.655387 0.436795 0.546075 7 khoa_quan_tri_kinh_doanh_va_du_lich suite16 8989 1123 0.124930 0.423531 0.822133 0.113955 0.124970 0.249900 0.124970 0.467186 0.373998 0.415430 0.389538 0.413947 0.496883 0.451639 0.477740 0.366518 0.586821 0.451215 0.523847 0.330663 0.661621 0.440950 0.551269 7 khoa_quan_tri_kinh_doanh_va_du_lich suite17 8989 1123 0.124930 0.422662 0.823105 0.094389 0.034920 0.090156 -0.034775 0.466073 0.373108 0.414441 0.388611 0.413947 0.496883 0.451639 0.477740 0.359288 0.575245 0.442314 0.513514 0.331108 0.662511 0.441543 0.552011 7 khoa_quan_tri_kinh_doanh_va_du_lich suite18 8989 1123 0.124930 0.424661 0.823354 0.094548 0.036699 0.089488 -0.035442 0.468298 0.374889 0.416419 0.390466 0.411721 0.494212 0.449211 0.475171 0.367075 0.587711 0.451900 0.524642 0.335113 0.670525 0.446884 0.558688 7 khoa_quan_tri_kinh_doanh_va_du_lich suite20 8989 1123 0.124930 0.371126 0.793751 0.104106 0.070994 0.172929 0.047998 0.429366 0.343722 0.381800 0.358004 0.378338 0.454141 0.412788 0.436644 0.338710 0.542297 0.416980 0.484102 0.308411 0.617097 0.411276 0.514171 7 khoa_quan_tri_kinh_doanh_va_du_lich suite21 8989 1123 0.124930 0.409326 0.815795 0.091391 0.021255 0.103718 -0.021212 0.460512 0.368655 0.409496 0.383973 0.389466 0.467498 0.424929 0.449486 0.349277 0.559216 0.429990 0.499205 0.320427 0.641140 0.427300 0.534204 7 khoa_quan_tri_kinh_doanh_va_du_lich suite22 8989 1123 0.124930 0.433960 0.822919 0.094610 0.053944 0.070987 -0.053944 0.480534 0.384684 0.427300 0.400668 0.422107 0.506679 0.460542 0.487158 0.368743 0.590383 0.453954 0.527027 0.331998 0.664292 0.442730 0.553495 7 khoa_quan_tri_kinh_doanh_va_du_lich suite22_primary 8989 1123 0.124930 0.422869 0.812281 0.097525 0.065772 0.059159 -0.065772 0.463849 0.371327 0.412463 0.386756 0.402077 0.482636 0.438689 0.464041 0.356507 0.570793 0.438891 0.509539 0.322652 0.645592 0.430267 0.537914 7 khoa_quan_tri_kinh_doanh_va_du_lich suite22_relational 8989 1123 0.124930 0.412924 0.813269 0.094293 0.053348 0.071582 -0.053348 0.461624 0.369546 0.410485 0.384901 0.390208 0.468388 0.425739 0.450342 0.350389 0.560997 0.431359 0.500795 0.314197 0.628673 0.418991 0.523817 7 khoa_quan_tri_kinh_doanh_va_du_lich suite23 8989 1123 0.124930 0.426798 0.824792 0.093274 0.039646 0.085285 -0.039646 0.472747 0.378451 0.420376 0.394175 0.414688 0.497774 0.452448 0.478596 0.368187 0.589492 0.453269 0.526232 0.336004 0.672306 0.448071 0.560172 7 khoa_quan_tri_kinh_doanh_va_du_lich suite23_graph 8989 1123 0.124930 0.385787 0.799617 0.099242 0.056315 0.068615 -0.056315 0.426029 0.341051 0.378833 0.355222 0.378338 0.454141 0.412788 0.436644 0.334260 0.535174 0.411503 0.477742 0.306631 0.613535 0.408902 0.511203 7 khoa_quan_tri_kinh_doanh_va_du_lich suite24 8989 1123 0.124930 0.425242 0.818026 0.091648 0.034024 0.090906 -0.034024 0.464961 0.372217 0.413452 0.387683 0.408754 0.490650 0.445973 0.471747 0.362069 0.579697 0.445738 0.517488 0.324878 0.650045 0.433234 0.541623 7 khoa_quan_tri_kinh_doanh_va_du_lich suite24_posthoc 8989 1123 0.124930 0.431383 0.824485 0.092793 0.040998 0.083933 -0.040998 0.477197 0.382012 0.424332 0.397885 0.418398 0.502226 0.456495 0.482877 0.373749 0.598397 0.460116 0.534181 0.331998 0.664292 0.442730 0.553495 7 khoa_quan_tri_kinh_doanh_va_du_lich suite25_committee_blend 8989 1123 0.124930 0.423465 0.824561 0.093068 0.040211 0.084719 -0.040211 0.487208 0.390027 0.433234 0.406233 0.415430 0.498664 0.453258 0.479452 0.367075 0.587711 0.451900 0.524642 0.330218 0.660730 0.440356 0.550527 7 khoa_quan_tri_kinh_doanh_va_du_lich suite25_mlp 8989 1123 0.124930 0.369260 0.808958 0.095043 0.028931 0.096999 -0.027931 0.421580 0.337489 0.374876 0.351512 0.379080 0.455031 0.413598 0.437500 0.351502 0.562778 0.432729 0.502385 0.318647 0.637578 0.424926 0.531236 7 khoa_quan_tri_kinh_doanh_va_du_lich suite25_sacr 8989 1123 0.124930 0.380019 0.806154 0.096740 0.050919 0.074011 -0.050919 0.436040 0.349065 0.387735 0.363569 0.372404 0.447017 0.406313 0.429795 0.340934 0.545859 0.419719 0.487281 0.311972 0.624221 0.416024 0.520107 7 khoa_quan_tri_kinh_doanh_va_du_lich suite25_tabr 8989 1123 0.124930 0.377360 0.803664 0.093659 0.028960 0.097003 -0.027927 0.429366 0.343722 0.381800 0.358004 0.379080 0.455031 0.413598 0.437500 0.341491 0.546750 0.420404 0.488076 0.305741 0.611754 0.407715 0.509720 7 khoa_quoc_te_hoc committee 2755 128 0.046461 0.244577 0.835587 0.041189 0.021055 0.025431 -0.021030 0.210145 0.453125 0.287129 0.368020 0.164649 0.531250 0.251386 0.367568 0.148820 0.640625 0.241532 0.385701 0.134978 0.726562 0.227662 0.387177 7 khoa_quoc_te_hoc suite14 2755 128 0.046461 0.276772 0.829166 0.045613 0.044744 0.090821 0.044360 0.224638 0.484375 0.306931 0.393401 0.184019 0.593750 0.280961 0.410811 0.150635 0.648438 0.244477 0.390405 0.132075 0.710938 0.222766 0.378851 7 khoa_quoc_te_hoc suite16 2755 128 0.046461 0.256292 0.833805 0.043374 0.045038 0.091499 0.045038 0.217391 0.468750 0.297030 0.380711 0.179177 0.578125 0.273567 0.400000 0.150635 0.648438 0.244477 0.390405 0.130624 0.703125 0.220318 0.374688 7 khoa_quoc_te_hoc suite17 2755 128 0.046461 0.251211 0.837389 0.040991 0.019601 0.026860 -0.019601 0.217391 0.468750 0.297030 0.380711 0.179177 0.578125 0.273567 0.400000 0.154265 0.664062 0.250368 0.399812 0.132075 0.710938 0.222766 0.378851 7 khoa_quoc_te_hoc suite18 2755 128 0.046461 0.254594 0.840514 0.041037 0.019923 0.026538 -0.019923 0.210145 0.453125 0.287129 0.368020 0.181598 0.585938 0.277264 0.405405 0.154265 0.664062 0.250368 0.399812 0.132075 0.710938 0.222766 0.378851 7 khoa_quoc_te_hoc suite20 2755 128 0.046461 0.293661 0.841731 0.085762 0.127868 0.174329 0.127868 0.239130 0.515625 0.326733 0.418782 0.193705 0.625000 0.295749 0.432432 0.154265 0.664062 0.250368 0.399812 0.132075 0.710938 0.222766 0.378851 7 khoa_quoc_te_hoc suite21 2755 128 0.046461 0.247735 0.826608 0.040636 0.017365 0.029096 -0.017365 0.213768 0.460938 0.292079 0.374365 0.176755 0.570312 0.269871 0.394595 0.143376 0.617188 0.232695 0.371590 0.124819 0.671875 0.210526 0.358035 7 khoa_quoc_te_hoc suite22 2755 128 0.046461 0.301344 0.847750 0.041061 0.025882 0.020870 -0.025591 0.250000 0.539062 0.341584 0.437817 0.184019 0.593750 0.280961 0.410811 0.159710 0.687500 0.259205 0.413923 0.134978 0.726562 0.227662 0.387177 7 khoa_quoc_te_hoc suite22_primary 2755 128 0.046461 0.290258 0.832074 0.040758 0.027133 0.020199 -0.026262 0.221014 0.476562 0.301980 0.387056 0.184019 0.593750 0.280961 0.410811 0.156080 0.671875 0.253314 0.404516 0.134978 0.726562 0.227662 0.387177 7 khoa_quoc_te_hoc suite22_relational 2755 128 0.046461 0.280852 0.833811 0.039668 0.026369 0.022448 -0.024013 0.231884 0.500000 0.316832 0.406091 0.188862 0.609375 0.288355 0.421622 0.163339 0.703125 0.265096 0.423330 0.136430 0.734375 0.230110 0.391341 7 khoa_quoc_te_hoc suite23 2755 128 0.046461 0.266959 0.852764 0.041020 0.021231 0.025230 -0.021231 0.224638 0.484375 0.306931 0.393401 0.181598 0.585938 0.277264 0.405405 0.157895 0.679688 0.256259 0.409219 0.143687 0.773438 0.242350 0.412157 7 khoa_quoc_te_hoc suite23_graph 2755 128 0.046461 0.298520 0.866212 0.040090 0.018223 0.029681 -0.016780 0.253623 0.546875 0.346535 0.444162 0.210654 0.679688 0.321627 0.470270 0.170599 0.734375 0.276878 0.442145 0.143687 0.773438 0.242350 0.412157 7 khoa_quoc_te_hoc suite24 2755 128 0.046461 0.254584 0.838474 0.040761 0.021451 0.025010 -0.021451 0.210145 0.453125 0.287129 0.368020 0.176755 0.570312 0.269871 0.394595 0.150635 0.648438 0.244477 0.390405 0.134978 0.726562 0.227662 0.387177 7 khoa_quoc_te_hoc suite24_posthoc 2755 128 0.046461 0.271060 0.845430 0.040736 0.020484 0.026302 -0.020159 0.221014 0.476562 0.301980 0.387056 0.184019 0.593750 0.280961 0.410811 0.152450 0.656250 0.247423 0.395108 0.134978 0.726562 0.227662 0.387177 7 khoa_quoc_te_hoc suite25_committee_blend 2755 128 0.046461 0.287172 0.848490 0.040602 0.020980 0.025781 -0.020680 0.228261 0.492188 0.311881 0.399746 0.188862 0.609375 0.288355 0.421622 0.157895 0.679688 0.256259 0.409219 0.133527 0.718750 0.225214 0.383014 7 khoa_quoc_te_hoc suite25_mlp 2755 128 0.046461 0.290252 0.827396 0.039209 0.018784 0.046187 -0.000274 0.242754 0.523438 0.331683 0.425127 0.188862 0.609375 0.288355 0.421622 0.148820 0.640625 0.241532 0.385701 0.124819 0.671875 0.210526 0.358035 7 khoa_quoc_te_hoc suite25_sacr 2755 128 0.046461 0.298129 0.822183 0.038781 0.015505 0.033452 -0.013009 0.239130 0.515625 0.326733 0.418782 0.179177 0.578125 0.273567 0.400000 0.145191 0.625000 0.235641 0.376294 0.130624 0.703125 0.220318 0.374688 7 khoa_quoc_te_hoc suite25_tabr 2755 128 0.046461 0.240542 0.808274 0.040046 0.013960 0.034325 -0.012136 0.221014 0.476562 0.301980 0.387056 0.171913 0.554688 0.262477 0.383784 0.136116 0.585938 0.220913 0.352775 0.123367 0.664062 0.208078 0.353872 7 khoa_tieng_anh committee 8369 250 0.029872 0.220891 0.838668 0.025903 0.010536 0.037179 0.007307 0.150538 0.504000 0.231831 0.342950 0.119522 0.600000 0.199336 0.332594 0.100956 0.676000 0.175676 0.316006 0.086520 0.724000 0.154569 0.292691 7 khoa_tieng_anh suite14 8369 250 0.029872 0.224717 0.849914 0.030271 0.026780 0.056653 0.026780 0.163680 0.548000 0.252070 0.372891 0.125100 0.628000 0.208638 0.348115 0.103943 0.696000 0.180873 0.325355 0.090822 0.760000 0.162254 0.307245 7 khoa_tieng_anh suite16 8369 250 0.029872 0.222178 0.851778 0.040644 0.071691 0.101563 0.071691 0.154122 0.516000 0.237351 0.351116 0.125896 0.632000 0.209967 0.350333 0.106930 0.716000 0.186071 0.334705 0.091778 0.768000 0.163962 0.310479 7 khoa_tieng_anh suite17 8369 250 0.029872 0.226466 0.851076 0.026203 0.012469 0.037402 0.007530 0.158901 0.532000 0.244710 0.362003 0.121116 0.608000 0.201993 0.337029 0.103345 0.692000 0.179834 0.323485 0.093212 0.780000 0.166524 0.315330 7 khoa_tieng_anh suite18 8369 250 0.029872 0.229178 0.851633 0.026111 0.013404 0.037649 0.007777 0.157706 0.528000 0.242870 0.359281 0.123506 0.620000 0.205980 0.343681 0.103345 0.692000 0.179834 0.323485 0.093212 0.780000 0.166524 0.315330 7 khoa_tieng_anh suite20 8369 250 0.029872 0.225304 0.850646 0.033741 0.036559 0.066431 0.036559 0.164875 0.552000 0.253910 0.375612 0.129084 0.648000 0.215282 0.359202 0.107527 0.720000 0.187110 0.336574 0.094646 0.792000 0.169086 0.320181 7 khoa_tieng_anh suite21 8369 250 0.029872 0.225915 0.841714 0.025722 0.005751 0.032642 0.002770 0.156511 0.524000 0.241030 0.356560 0.121912 0.612000 0.203322 0.339246 0.100956 0.676000 0.175676 0.316006 0.088432 0.740000 0.157985 0.299159 7 khoa_tieng_anh suite22 8369 250 0.029872 0.242628 0.852800 0.025584 0.007040 0.023233 -0.006639 0.154122 0.516000 0.237351 0.351116 0.122709 0.616000 0.204651 0.341463 0.103943 0.696000 0.180873 0.325355 0.088910 0.744000 0.158839 0.300776 7 khoa_tieng_anh suite22_primary 8369 250 0.029872 0.222989 0.842808 0.026022 0.011507 0.019345 -0.010527 0.152927 0.512000 0.235511 0.348394 0.119522 0.600000 0.199336 0.332594 0.102748 0.688000 0.178794 0.321616 0.087476 0.732000 0.156277 0.295925 7 khoa_tieng_anh suite22_relational 8369 250 0.029872 0.200856 0.837740 0.026431 0.009799 0.023419 -0.006453 0.149343 0.500000 0.229991 0.340229 0.121116 0.608000 0.201993 0.337029 0.102748 0.688000 0.178794 0.321616 0.088432 0.740000 0.157985 0.299159 7 khoa_tieng_anh suite23 8369 250 0.029872 0.227546 0.842672 0.025738 0.008864 0.034580 0.004707 0.157706 0.528000 0.242870 0.359281 0.122709 0.616000 0.204651 0.341463 0.102748 0.688000 0.178794 0.321616 0.086998 0.728000 0.155423 0.294308 7 khoa_tieng_anh suite23_graph 8369 250 0.029872 0.201967 0.805682 0.026306 0.005536 0.024336 -0.005536 0.137395 0.460000 0.211592 0.313010 0.116335 0.584000 0.194020 0.323725 0.097969 0.656000 0.170478 0.306657 0.084608 0.708000 0.151153 0.286223 7 khoa_tieng_anh suite24 8369 250 0.029872 0.215066 0.836749 0.025850 0.004123 0.033424 0.003552 0.152927 0.512000 0.235511 0.348394 0.121116 0.608000 0.201993 0.337029 0.097969 0.656000 0.170478 0.306657 0.084608 0.708000 0.151153 0.286223 7 khoa_tieng_anh suite24_posthoc 8369 250 0.029872 0.235783 0.842027 0.025567 0.005109 0.030842 0.000969 0.158901 0.532000 0.244710 0.362003 0.126693 0.636000 0.211296 0.352550 0.105137 0.704000 0.182952 0.329095 0.089866 0.752000 0.160547 0.304010 7 khoa_tieng_anh suite25_committee_blend 8369 250 0.029872 0.230265 0.846591 0.025654 0.007103 0.032808 0.002936 0.158901 0.532000 0.244710 0.362003 0.125100 0.628000 0.208638 0.348115 0.101553 0.680000 0.176715 0.317876 0.087476 0.732000 0.156277 0.295925 7 khoa_tieng_anh suite25_mlp 8369 250 0.029872 0.199334 0.819412 0.026356 0.010202 0.039121 0.009249 0.145759 0.488000 0.224471 0.332063 0.116335 0.584000 0.194020 0.323725 0.098566 0.660000 0.171518 0.308527 0.086042 0.720000 0.153715 0.291074 7 khoa_tieng_anh suite25_sacr 8369 250 0.029872 0.197452 0.820001 0.026301 0.003287 0.027870 -0.002002 0.143369 0.480000 0.220791 0.326619 0.115538 0.580000 0.192691 0.321508 0.095579 0.640000 0.166320 0.299177 0.086998 0.728000 0.155423 0.294308 7 khoa_tieng_anh suite25_tabr 8369 250 0.029872 0.197360 0.823026 0.026296 0.004583 0.025838 -0.004035 0.152927 0.512000 0.235511 0.348394 0.120319 0.604000 0.200664 0.334812 0.099761 0.668000 0.173597 0.312266 0.084608 0.708000 0.151153 0.286223 7 khoa_tieng_bo_dao_nha committee 1209 143 0.118280 0.407454 0.793864 0.087043 0.014967 0.125831 0.007552 0.438017 0.370629 0.401515 0.382395 0.375691 0.475524 0.419753 0.451527 0.326446 0.552448 0.410390 0.485258 0.301325 0.636364 0.408989 0.520595 7 khoa_tieng_bo_dao_nha suite14 1209 143 0.118280 0.410330 0.800135 0.121050 0.111428 0.224915 0.106636 0.404959 0.342657 0.371212 0.353535 0.370166 0.468531 0.413580 0.444887 0.326446 0.552448 0.410390 0.485258 0.298013 0.629371 0.404494 0.514874 7 khoa_tieng_bo_dao_nha suite16 1209 143 0.118280 0.416213 0.807325 0.144803 0.205013 0.322635 0.204355 0.471074 0.398601 0.431818 0.411255 0.381215 0.482517 0.425926 0.458167 0.334711 0.566434 0.420779 0.497543 0.301325 0.636364 0.408989 0.520595 7 khoa_tieng_bo_dao_nha suite17 1209 143 0.118280 0.407123 0.806203 0.088706 0.025045 0.124066 0.005787 0.438017 0.370629 0.401515 0.382395 0.375691 0.475524 0.419753 0.451527 0.330579 0.559441 0.415584 0.491400 0.304636 0.643357 0.413483 0.526316 7 khoa_tieng_bo_dao_nha suite18 1209 143 0.118280 0.406984 0.804051 0.088566 0.024533 0.123780 0.005500 0.429752 0.363636 0.393939 0.375180 0.381215 0.482517 0.425926 0.458167 0.334711 0.566434 0.420779 0.497543 0.298013 0.629371 0.404494 0.514874 7 khoa_tieng_bo_dao_nha suite20 1209 143 0.118280 0.368151 0.793503 0.133773 0.126242 0.240465 0.122185 0.347107 0.293706 0.318182 0.303030 0.309392 0.391608 0.345679 0.371846 0.301653 0.510490 0.379221 0.448403 0.304636 0.643357 0.413483 0.526316 7 khoa_tieng_bo_dao_nha suite21 1209 143 0.118280 0.421969 0.794113 0.086812 0.022280 0.129662 0.011382 0.446281 0.377622 0.409091 0.389610 0.370166 0.468531 0.413580 0.444887 0.326446 0.552448 0.410390 0.485258 0.291391 0.615385 0.395506 0.503432 7 khoa_tieng_bo_dao_nha suite22 1209 143 0.118280 0.416755 0.826218 0.088001 0.036671 0.081609 -0.036671 0.454545 0.384615 0.416667 0.396825 0.392265 0.496503 0.438272 0.471448 0.347107 0.587413 0.436364 0.515971 0.321192 0.678322 0.435955 0.554920 7 khoa_tieng_bo_dao_nha suite22_primary 1209 143 0.118280 0.380703 0.827851 0.093287 0.059651 0.058629 -0.059651 0.396694 0.335664 0.363636 0.346320 0.381215 0.482517 0.425926 0.458167 0.363636 0.615385 0.457143 0.540541 0.327815 0.692308 0.444944 0.566362 7 khoa_tieng_bo_dao_nha suite22_relational 1209 143 0.118280 0.405848 0.808657 0.089156 0.044620 0.079896 -0.038384 0.396694 0.335664 0.363636 0.346320 0.375691 0.475524 0.419753 0.451527 0.347107 0.587413 0.436364 0.515971 0.324503 0.685315 0.440449 0.560641 7 khoa_tieng_bo_dao_nha suite23 1209 143 0.118280 0.376355 0.793181 0.090981 0.029528 0.088831 -0.029448 0.388430 0.328671 0.356061 0.339105 0.331492 0.419580 0.370370 0.398406 0.322314 0.545455 0.405195 0.479115 0.288079 0.608392 0.391011 0.497712 7 khoa_tieng_bo_dao_nha suite23_graph 1209 143 0.118280 0.328141 0.747727 0.097168 0.051380 0.066899 -0.051380 0.363636 0.307692 0.333333 0.317460 0.309392 0.391608 0.345679 0.371846 0.285124 0.482517 0.358442 0.423833 0.254967 0.538462 0.346067 0.440503 7 khoa_tieng_bo_dao_nha suite24 1209 143 0.118280 0.389881 0.789272 0.088105 0.009399 0.116143 -0.002136 0.413223 0.349650 0.378788 0.360750 0.375691 0.475524 0.419753 0.451527 0.338843 0.573427 0.425974 0.503686 0.288079 0.608392 0.391011 0.497712 7 khoa_tieng_bo_dao_nha suite24_posthoc 1209 143 0.118280 0.404840 0.799532 0.087353 0.011935 0.109897 -0.008383 0.421488 0.356643 0.386364 0.367965 0.370166 0.468531 0.413580 0.444887 0.330579 0.559441 0.415584 0.491400 0.294702 0.622378 0.400000 0.509153 7 khoa_tieng_bo_dao_nha suite25_committee_blend 1209 143 0.118280 0.415633 0.805337 0.086003 0.015989 0.116830 -0.001450 0.462810 0.391608 0.424242 0.404040 0.397790 0.503497 0.444444 0.478088 0.326446 0.552448 0.410390 0.485258 0.294702 0.622378 0.400000 0.509153 7 khoa_tieng_bo_dao_nha suite25_mlp 1209 143 0.118280 0.387367 0.791056 0.090546 0.029950 0.118397 0.000118 0.347107 0.293706 0.318182 0.303030 0.331492 0.419580 0.370370 0.398406 0.326446 0.552448 0.410390 0.485258 0.304636 0.643357 0.413483 0.526316 7 khoa_tieng_bo_dao_nha suite25_sacr 1209 143 0.118280 0.356246 0.795609 0.089449 0.017499 0.108007 -0.010273 0.371901 0.314685 0.340909 0.324675 0.381215 0.482517 0.425926 0.458167 0.318182 0.538462 0.400000 0.472973 0.301325 0.636364 0.408989 0.520595 7 khoa_tieng_bo_dao_nha suite25_tabr 1209 143 0.118280 0.372103 0.790466 0.091037 0.041772 0.084538 -0.033742 0.380165 0.321678 0.348485 0.331890 0.397790 0.503497 0.444444 0.478088 0.338843 0.573427 0.425974 0.503686 0.304636 0.643357 0.413483 0.526316 7 khoa_tieng_duc committee 2284 111 0.048599 0.295560 0.873899 0.039600 0.011405 0.052561 0.003962 0.250000 0.513514 0.336283 0.424107 0.212828 0.657658 0.321586 0.463787 0.185996 0.765766 0.299296 0.471698 0.166375 0.855856 0.278592 0.467980 7 khoa_tieng_duc suite14 2284 111 0.048599 0.307079 0.858443 0.069469 0.066918 0.104658 0.056059 0.254386 0.522523 0.342183 0.431548 0.218659 0.675676 0.330396 0.476493 0.177243 0.729730 0.285211 0.449501 0.154116 0.792793 0.258065 0.433498 7 khoa_tieng_duc suite16 2284 111 0.048599 0.315161 0.891415 0.056293 0.090237 0.138836 0.090237 0.289474 0.594595 0.389381 0.491071 0.239067 0.738739 0.361233 0.520966 0.199125 0.819820 0.320423 0.504994 0.168126 0.864865 0.281525 0.472906 7 khoa_tieng_duc suite17 2284 111 0.048599 0.318817 0.884707 0.039261 0.016696 0.051359 0.002760 0.285088 0.585586 0.383481 0.483631 0.236152 0.729730 0.356828 0.514612 0.192560 0.792793 0.309859 0.488346 0.166375 0.855856 0.278592 0.467980 7 khoa_tieng_duc suite18 2284 111 0.048599 0.322293 0.885710 0.039159 0.018121 0.051442 0.002843 0.289474 0.594595 0.389381 0.491071 0.230321 0.711712 0.348018 0.501906 0.196937 0.810811 0.316901 0.499445 0.164623 0.846847 0.275660 0.463054 7 khoa_tieng_duc suite20 2284 111 0.048599 0.274386 0.859131 0.067022 0.076423 0.125022 0.076423 0.254386 0.522523 0.342183 0.431548 0.204082 0.630631 0.308370 0.444727 0.175055 0.720721 0.281690 0.443951 0.150613 0.774775 0.252199 0.423645 7 khoa_tieng_duc suite21 2284 111 0.048599 0.309353 0.875760 0.039211 0.015049 0.053065 0.004466 0.263158 0.540541 0.353982 0.446429 0.218659 0.675676 0.330396 0.476493 0.190372 0.783784 0.306338 0.482797 0.159370 0.819820 0.266862 0.448276 7 khoa_tieng_duc suite22 2284 111 0.048599 0.337025 0.887742 0.038797 0.012881 0.035718 -0.012881 0.276316 0.567568 0.371681 0.468750 0.227405 0.702703 0.343612 0.495553 0.201313 0.828829 0.323944 0.510544 0.168126 0.864865 0.281525 0.472906 7 khoa_tieng_duc suite22_primary 2284 111 0.048599 0.333694 0.879943 0.039331 0.020070 0.029650 -0.018949 0.250000 0.513514 0.336283 0.424107 0.215743 0.666667 0.325991 0.470140 0.190372 0.783784 0.306338 0.482797 0.164623 0.846847 0.275660 0.463054 7 khoa_tieng_duc suite22_relational 2284 111 0.048599 0.294707 0.878762 0.039592 0.014405 0.037800 -0.010799 0.263158 0.540541 0.353982 0.446429 0.227405 0.702703 0.343612 0.495553 0.190372 0.783784 0.306338 0.482797 0.164623 0.846847 0.275660 0.463054 7 khoa_tieng_duc suite23 2284 111 0.048599 0.308791 0.886556 0.039295 0.008540 0.047592 -0.001007 0.263158 0.540541 0.353982 0.446429 0.233236 0.720721 0.352423 0.508259 0.201313 0.828829 0.323944 0.510544 0.166375 0.855856 0.278592 0.467980 7 khoa_tieng_duc suite23_graph 2284 111 0.048599 0.259042 0.872282 0.040615 0.004697 0.046004 -0.002595 0.236842 0.486486 0.318584 0.401786 0.209913 0.648649 0.317181 0.457433 0.185996 0.765766 0.299296 0.471698 0.161121 0.828829 0.269795 0.453202 7 khoa_tieng_duc suite24 2284 111 0.048599 0.284096 0.874724 0.040079 0.007475 0.047023 -0.001576 0.258772 0.531532 0.348083 0.438988 0.218659 0.675676 0.330396 0.476493 0.192560 0.792793 0.309859 0.488346 0.166375 0.855856 0.278592 0.467980 7 khoa_tieng_duc suite24_posthoc 2284 111 0.048599 0.298205 0.883770 0.039426 0.009914 0.048126 -0.000473 0.263158 0.540541 0.353982 0.446429 0.224490 0.693694 0.339207 0.489199 0.196937 0.810811 0.316901 0.499445 0.171629 0.882883 0.287390 0.482759 7 khoa_tieng_duc suite25_committee_blend 2284 111 0.048599 0.320955 0.882987 0.039016 0.009564 0.046349 -0.002250 0.280702 0.576577 0.377581 0.476190 0.230321 0.711712 0.348018 0.501906 0.190372 0.783784 0.306338 0.482797 0.162872 0.837838 0.272727 0.458128 7 khoa_tieng_duc suite25_mlp 2284 111 0.048599 0.309503 0.866171 0.040156 0.022992 0.061494 0.012895 0.258772 0.531532 0.348083 0.438988 0.224490 0.693694 0.339207 0.489199 0.190372 0.783784 0.306338 0.482797 0.157618 0.810811 0.263930 0.443350 7 khoa_tieng_duc suite25_sacr 2284 111 0.048599 0.294021 0.866092 0.040111 0.012994 0.038666 -0.009933 0.245614 0.504505 0.330383 0.416667 0.215743 0.666667 0.325991 0.470140 0.188184 0.774775 0.302817 0.477248 0.159370 0.819820 0.266862 0.448276 7 khoa_tieng_duc suite25_tabr 2284 111 0.048599 0.300953 0.881287 0.039356 0.007301 0.044550 -0.004049 0.258772 0.531532 0.348083 0.438988 0.236152 0.729730 0.356828 0.514612 0.192560 0.792793 0.309859 0.488346 0.164623 0.846847 0.275660 0.463054 7 khoa_tieng_han_quoc committee 3434 125 0.036401 0.378628 0.893046 0.027931 0.019712 0.046258 0.009857 0.250729 0.688000 0.367521 0.510083 0.178641 0.736000 0.287500 0.453202 0.145560 0.800000 0.246305 0.421230 0.122378 0.840000 0.213632 0.386598 7 khoa_tieng_han_quoc suite14 3434 125 0.036401 0.390847 0.894860 0.041802 0.083986 0.120113 0.083713 0.247813 0.680000 0.363248 0.504152 0.186408 0.768000 0.300000 0.472906 0.152838 0.840000 0.258621 0.442291 0.125874 0.864000 0.219736 0.397644 7 khoa_tieng_han_quoc suite16 3434 125 0.036401 0.369296 0.908961 0.042225 0.076943 0.113239 0.076839 0.247813 0.680000 0.363248 0.504152 0.184466 0.760000 0.296875 0.467980 0.152838 0.840000 0.258621 0.442291 0.128205 0.880000 0.223805 0.405007 7 khoa_tieng_han_quoc suite17 3434 125 0.036401 0.395896 0.907657 0.028624 0.025014 0.048008 0.011607 0.253644 0.696000 0.371795 0.516014 0.184466 0.760000 0.296875 0.467980 0.149927 0.824000 0.253695 0.433867 0.129371 0.888000 0.225839 0.408689 7 khoa_tieng_han_quoc suite18 3434 125 0.036401 0.397145 0.905077 0.028427 0.025321 0.048186 0.011786 0.253644 0.696000 0.371795 0.516014 0.186408 0.768000 0.300000 0.472906 0.149927 0.824000 0.253695 0.433867 0.129371 0.888000 0.225839 0.408689 7 khoa_tieng_han_quoc suite20 3434 125 0.036401 0.325721 0.870333 0.080771 0.155230 0.191630 0.155230 0.230321 0.632000 0.337607 0.468565 0.180583 0.744000 0.290625 0.458128 0.147016 0.808000 0.248768 0.425442 0.118881 0.816000 0.207528 0.375552 7 khoa_tieng_han_quoc suite21 3434 125 0.036401 0.409328 0.904446 0.027092 0.019248 0.046894 0.010493 0.256560 0.704000 0.376068 0.521945 0.190291 0.784000 0.306250 0.482759 0.151383 0.832000 0.256158 0.438079 0.124709 0.856000 0.217701 0.393962 7 khoa_tieng_han_quoc suite22 3434 125 0.036401 0.420860 0.903021 0.027502 0.011681 0.036048 -0.000353 0.247813 0.680000 0.363248 0.504152 0.178641 0.736000 0.287500 0.453202 0.142649 0.784000 0.241379 0.412805 0.122378 0.840000 0.213632 0.386598 7 khoa_tieng_han_quoc suite22_primary 3434 125 0.036401 0.367778 0.888051 0.028407 0.006603 0.034958 -0.001443 0.224490 0.616000 0.329060 0.456702 0.170874 0.704000 0.275000 0.433498 0.144105 0.792000 0.243842 0.417018 0.121212 0.832000 0.211597 0.382916 7 khoa_tieng_han_quoc suite22_relational 3434 125 0.036401 0.334423 0.881644 0.028951 0.007234 0.030779 -0.005622 0.230321 0.632000 0.337607 0.468565 0.166990 0.688000 0.268750 0.423645 0.135371 0.744000 0.229064 0.391744 0.118881 0.816000 0.207528 0.375552 7 khoa_tieng_han_quoc suite23 3434 125 0.036401 0.388981 0.897059 0.027755 0.020340 0.044922 0.008522 0.247813 0.680000 0.363248 0.504152 0.180583 0.744000 0.290625 0.458128 0.149927 0.824000 0.253695 0.433867 0.122378 0.840000 0.213632 0.386598 7 khoa_tieng_han_quoc suite23_graph 3434 125 0.036401 0.372797 0.888335 0.028799 0.013089 0.043089 0.006689 0.227405 0.624000 0.333333 0.462633 0.174757 0.720000 0.281250 0.443350 0.147016 0.808000 0.248768 0.425442 0.122378 0.840000 0.213632 0.386598 7 khoa_tieng_han_quoc suite24 3434 125 0.036401 0.421452 0.892183 0.026808 0.016017 0.041227 0.004826 0.250729 0.688000 0.367521 0.510083 0.172816 0.712000 0.278125 0.438424 0.141194 0.776000 0.238916 0.408593 0.120047 0.824000 0.209563 0.379234 7 khoa_tieng_han_quoc suite24_posthoc 3434 125 0.036401 0.398967 0.893374 0.027696 0.014569 0.037240 0.000839 0.241983 0.664000 0.354701 0.492289 0.172816 0.712000 0.278125 0.438424 0.141194 0.776000 0.238916 0.408593 0.124709 0.856000 0.217701 0.393962 7 khoa_tieng_han_quoc suite25_committee_blend 3434 125 0.036401 0.424551 0.906153 0.027300 0.021259 0.043603 0.007202 0.256560 0.704000 0.376068 0.521945 0.184466 0.760000 0.296875 0.467980 0.149927 0.824000 0.253695 0.433867 0.128205 0.880000 0.223805 0.405007 7 khoa_tieng_han_quoc suite25_mlp 3434 125 0.036401 0.341761 0.888743 0.029029 0.016413 0.043232 0.006832 0.241983 0.664000 0.354701 0.492289 0.180583 0.744000 0.290625 0.458128 0.149927 0.824000 0.253695 0.433867 0.123543 0.848000 0.215666 0.390280 7 khoa_tieng_han_quoc suite25_sacr 3434 125 0.036401 0.363573 0.907688 0.027774 0.012741 0.043397 0.006996 0.244898 0.672000 0.358974 0.498221 0.184466 0.760000 0.296875 0.467980 0.151383 0.832000 0.256158 0.438079 0.124709 0.856000 0.217701 0.393962 7 khoa_tieng_han_quoc suite25_tabr 3434 125 0.036401 0.276486 0.887067 0.029903 0.011532 0.036195 -0.000206 0.236152 0.648000 0.346154 0.480427 0.186408 0.768000 0.300000 0.472906 0.149927 0.824000 0.253695 0.433867 0.122378 0.840000 0.213632 0.386598 7 khoa_tieng_italia committee 2453 254 0.103547 0.376654 0.833768 0.081358 0.030066 0.074511 -0.029036 0.412245 0.397638 0.404810 0.400476 0.355978 0.515748 0.421222 0.473266 0.309572 0.598425 0.408054 0.504313 0.278956 0.673228 0.394464 0.524862 7 khoa_tieng_italia suite14 2453 254 0.103547 0.370111 0.815172 0.083474 0.045812 0.148349 0.044803 0.375510 0.362205 0.368737 0.364790 0.339674 0.492126 0.401929 0.451590 0.309572 0.598425 0.408054 0.504313 0.272431 0.657480 0.385236 0.512584 7 khoa_tieng_italia suite16 2453 254 0.103547 0.374142 0.841907 0.095756 0.116017 0.219564 0.116017 0.412245 0.397638 0.404810 0.400476 0.358696 0.519685 0.424437 0.476879 0.309572 0.598425 0.408054 0.504313 0.278956 0.673228 0.394464 0.524862 7 khoa_tieng_italia suite17 2453 254 0.103547 0.380997 0.843408 0.082405 0.038232 0.073915 -0.029632 0.432653 0.417323 0.424850 0.420301 0.347826 0.503937 0.411576 0.462428 0.305499 0.590551 0.402685 0.497678 0.280587 0.677165 0.396770 0.527931 7 khoa_tieng_italia suite18 2453 254 0.103547 0.379311 0.843700 0.082442 0.039211 0.073674 -0.029873 0.424490 0.409449 0.416834 0.412371 0.345109 0.500000 0.408360 0.458815 0.313646 0.606299 0.413423 0.510949 0.283850 0.685039 0.401384 0.534070 7 khoa_tieng_italia suite20 2453 254 0.103547 0.309218 0.790598 0.095503 0.069825 0.130270 0.026723 0.371429 0.358268 0.364729 0.360825 0.312500 0.452756 0.369775 0.415462 0.270876 0.523622 0.357047 0.441274 0.239804 0.578740 0.339100 0.451197 7 khoa_tieng_italia suite21 2453 254 0.103547 0.380500 0.833413 0.081002 0.031883 0.072278 -0.031269 0.408163 0.393701 0.400802 0.396511 0.350543 0.507874 0.414791 0.466040 0.311609 0.602362 0.410738 0.507631 0.277325 0.669291 0.392157 0.521793 7 khoa_tieng_italia suite22 2453 254 0.103547 0.388433 0.845596 0.082777 0.048007 0.055540 -0.048007 0.428571 0.413386 0.420842 0.416336 0.355978 0.515748 0.421222 0.473266 0.313646 0.606299 0.413423 0.510949 0.292007 0.704724 0.412918 0.549417 7 khoa_tieng_italia suite22_primary 2453 254 0.103547 0.353890 0.832868 0.084914 0.057566 0.046619 -0.056928 0.420408 0.405512 0.412826 0.408406 0.361413 0.523622 0.427653 0.480491 0.319756 0.618110 0.421477 0.520902 0.288744 0.696850 0.408304 0.543278 7 khoa_tieng_italia suite22_relational 2453 254 0.103547 0.367143 0.823126 0.080747 0.044379 0.060322 -0.043224 0.404082 0.389764 0.396794 0.392546 0.345109 0.500000 0.408360 0.458815 0.315682 0.610236 0.416107 0.514267 0.295269 0.712598 0.417532 0.555556 7 khoa_tieng_italia suite23 2453 254 0.103547 0.383335 0.838926 0.081594 0.033265 0.070282 -0.033265 0.412245 0.397638 0.404810 0.400476 0.347826 0.503937 0.411576 0.462428 0.307536 0.594488 0.405369 0.500995 0.280587 0.677165 0.396770 0.527931 7 khoa_tieng_italia suite23_graph 2453 254 0.103547 0.372226 0.811534 0.085138 0.055158 0.048389 -0.055158 0.395918 0.381890 0.388778 0.384615 0.339674 0.492126 0.401929 0.451590 0.283096 0.547244 0.373154 0.461181 0.269168 0.649606 0.380623 0.506446 7 khoa_tieng_italia suite24 2453 254 0.103547 0.370845 0.831731 0.081194 0.034910 0.069359 -0.034188 0.379592 0.366142 0.372745 0.368755 0.317935 0.460630 0.376206 0.422688 0.301426 0.582677 0.397315 0.491042 0.277325 0.669291 0.392157 0.521793 7 khoa_tieng_italia suite24_posthoc 2453 254 0.103547 0.380830 0.842248 0.080860 0.035236 0.068431 -0.035115 0.416327 0.401575 0.408818 0.404441 0.342391 0.496063 0.405145 0.455202 0.299389 0.578740 0.394631 0.487724 0.290375 0.700787 0.410611 0.546347 7 khoa_tieng_italia suite25_committee_blend 2453 254 0.103547 0.391577 0.844456 0.081180 0.037342 0.066205 -0.037342 0.395918 0.381890 0.388778 0.384615 0.353261 0.511811 0.418006 0.469653 0.321792 0.622047 0.424161 0.524220 0.296900 0.716535 0.419839 0.558625 7 khoa_tieng_italia suite25_mlp 2453 254 0.103547 0.355062 0.822963 0.080330 0.025978 0.079081 -0.024466 0.391837 0.377953 0.384770 0.380650 0.328804 0.476378 0.389068 0.437139 0.297352 0.574803 0.391946 0.484406 0.264274 0.637795 0.373702 0.497238 7 khoa_tieng_italia suite25_sacr 2453 254 0.103547 0.357138 0.819160 0.082695 0.047268 0.057303 -0.046244 0.395918 0.381890 0.388778 0.384615 0.328804 0.476378 0.389068 0.437139 0.307536 0.594488 0.405369 0.500995 0.272431 0.657480 0.385236 0.512584 7 khoa_tieng_italia suite25_tabr 2453 254 0.103547 0.389544 0.825637 0.080515 0.041253 0.063306 -0.040240 0.432653 0.417323 0.424850 0.420301 0.361413 0.523622 0.427653 0.480491 0.315682 0.610236 0.416107 0.514267 0.283850 0.685039 0.401384 0.534070 7 khoa_tieng_nga committee 1924 154 0.080042 0.273913 0.772320 0.069679 0.040335 0.120377 0.040335 0.322917 0.402597 0.358382 0.383663 0.259516 0.487013 0.338600 0.414365 0.231169 0.577922 0.330241 0.444555 0.203742 0.636364 0.308661 0.446673 7 khoa_tieng_nga suite14 1924 154 0.080042 0.280095 0.794402 0.102062 0.125900 0.205942 0.125900 0.302083 0.376623 0.335260 0.358911 0.276817 0.519481 0.361174 0.441989 0.241558 0.603896 0.345083 0.464535 0.212058 0.662338 0.321260 0.464904 7 khoa_tieng_nga suite16 1924 154 0.080042 0.286349 0.789757 0.132084 0.212355 0.292396 0.212355 0.322917 0.402597 0.358382 0.383663 0.262976 0.493506 0.343115 0.419890 0.238961 0.597403 0.341373 0.459540 0.224532 0.701299 0.340157 0.492252 7 khoa_tieng_nga suite17 1924 154 0.080042 0.283023 0.792087 0.067457 0.042707 0.119182 0.039141 0.322917 0.402597 0.358382 0.383663 0.266436 0.500000 0.347630 0.425414 0.236364 0.590909 0.337662 0.454545 0.224532 0.701299 0.340157 0.492252 7 khoa_tieng_nga suite18 1924 154 0.080042 0.284172 0.792065 0.067368 0.040907 0.118843 0.038802 0.328125 0.409091 0.364162 0.389851 0.262976 0.493506 0.343115 0.419890 0.241558 0.603896 0.345083 0.464535 0.218295 0.681818 0.330709 0.478578 7 khoa_tieng_nga suite20 1924 154 0.080042 0.300443 0.790201 0.114801 0.129937 0.209979 0.129937 0.302083 0.376623 0.335260 0.358911 0.252595 0.474026 0.329571 0.403315 0.220779 0.551948 0.315399 0.424575 0.195426 0.610390 0.296063 0.428441 7 khoa_tieng_nga suite21 1924 154 0.080042 0.274526 0.783495 0.070708 0.045359 0.125401 0.045359 0.312500 0.389610 0.346821 0.371287 0.259516 0.487013 0.338600 0.414365 0.231169 0.577922 0.330241 0.444555 0.209979 0.655844 0.318110 0.460346 7 khoa_tieng_nga suite22 1924 154 0.080042 0.296673 0.798918 0.065207 0.016046 0.076298 -0.003743 0.317708 0.396104 0.352601 0.377475 0.269896 0.506494 0.352144 0.430939 0.233766 0.584416 0.333952 0.449550 0.214137 0.668831 0.324409 0.469462 7 khoa_tieng_nga suite22_primary 1924 154 0.080042 0.304066 0.804439 0.065248 0.030153 0.053585 -0.026457 0.312500 0.389610 0.346821 0.371287 0.283737 0.532468 0.370203 0.453039 0.233766 0.584416 0.333952 0.449550 0.220374 0.688312 0.333858 0.483136 7 khoa_tieng_nga suite22_relational 1924 154 0.080042 0.273462 0.786830 0.066479 0.022843 0.070492 -0.009550 0.281250 0.350649 0.312139 0.334158 0.262976 0.493506 0.343115 0.419890 0.236364 0.590909 0.337662 0.454545 0.207900 0.649351 0.314961 0.455789 7 khoa_tieng_nga suite23 1924 154 0.080042 0.269359 0.785797 0.066653 0.016658 0.094190 0.014149 0.312500 0.389610 0.346821 0.371287 0.266436 0.500000 0.347630 0.425414 0.218182 0.545455 0.311688 0.419580 0.203742 0.636364 0.308661 0.446673 7 khoa_tieng_nga suite23_graph 1924 154 0.080042 0.237855 0.776915 0.067374 0.015506 0.070952 -0.009090 0.265625 0.331169 0.294798 0.315594 0.231834 0.435065 0.302483 0.370166 0.207792 0.519481 0.296846 0.399600 0.195426 0.610390 0.296063 0.428441 7 khoa_tieng_nga suite24 1924 154 0.080042 0.261993 0.772195 0.069109 0.029056 0.102909 0.022868 0.302083 0.376623 0.335260 0.358911 0.259516 0.487013 0.338600 0.414365 0.223377 0.558442 0.319109 0.429570 0.207900 0.649351 0.314961 0.455789 7 khoa_tieng_nga suite24_posthoc 1924 154 0.080042 0.274058 0.787545 0.067900 0.025988 0.105498 0.025456 0.322917 0.402597 0.358382 0.383663 0.262976 0.493506 0.343115 0.419890 0.231169 0.577922 0.330241 0.444555 0.207900 0.649351 0.314961 0.455789 7 khoa_tieng_nga suite25_committee_blend 1924 154 0.080042 0.274642 0.777493 0.068079 0.029010 0.108575 0.028533 0.307292 0.383117 0.341040 0.365099 0.252595 0.474026 0.329571 0.403315 0.236364 0.590909 0.337662 0.454545 0.216216 0.675325 0.327559 0.474020 7 khoa_tieng_nga suite25_mlp 1924 154 0.080042 0.260998 0.792633 0.067695 0.029559 0.109601 0.029559 0.312500 0.389610 0.346821 0.371287 0.256055 0.480519 0.334086 0.408840 0.233766 0.584416 0.333952 0.449550 0.209979 0.655844 0.318110 0.460346 7 khoa_tieng_nga suite25_sacr 1924 154 0.080042 0.252835 0.767118 0.068887 0.020989 0.090369 0.010327 0.281250 0.350649 0.312139 0.334158 0.242215 0.454545 0.316027 0.386740 0.212987 0.532468 0.304267 0.409590 0.197505 0.616883 0.299213 0.432999 7 khoa_tieng_nga suite25_tabr 1924 154 0.080042 0.267079 0.788308 0.069445 0.027439 0.103342 0.023301 0.296875 0.370130 0.329480 0.352723 0.256055 0.480519 0.334086 0.408840 0.236364 0.590909 0.337662 0.454545 0.203742 0.636364 0.308661 0.446673 7 khoa_tieng_nhat committee 2795 145 0.051878 0.219483 0.818690 0.044658 0.010347 0.057900 0.006022 0.221429 0.427586 0.291765 0.360465 0.190931 0.551724 0.283688 0.400400 0.169946 0.655172 0.269886 0.417032 0.147353 0.710345 0.244076 0.402658 7 khoa_tieng_nhat suite14 2795 145 0.051878 0.242224 0.814481 0.059030 0.084926 0.136662 0.084783 0.232143 0.448276 0.305882 0.377907 0.210024 0.606897 0.312057 0.440440 0.171735 0.662069 0.272727 0.421422 0.151645 0.731034 0.251185 0.414386 7 khoa_tieng_nhat suite16 2795 145 0.051878 0.214219 0.826428 0.070294 0.108857 0.160735 0.108857 0.232143 0.448276 0.305882 0.377907 0.202864 0.586207 0.301418 0.425425 0.168157 0.648276 0.267045 0.412643 0.150215 0.724138 0.248815 0.410477 7 khoa_tieng_nhat suite17 2795 145 0.051878 0.221994 0.828807 0.044421 0.008847 0.057476 0.005597 0.221429 0.427586 0.291765 0.360465 0.198091 0.572414 0.294326 0.415415 0.168157 0.648276 0.267045 0.412643 0.147353 0.710345 0.244076 0.402658 7 khoa_tieng_nhat suite18 2795 145 0.051878 0.223455 0.826025 0.044404 0.008346 0.057603 0.005724 0.225000 0.434483 0.296471 0.366279 0.200477 0.579310 0.297872 0.420420 0.169946 0.655172 0.269886 0.417032 0.148784 0.717241 0.246445 0.406568 7 khoa_tieng_nhat suite20 2795 145 0.051878 0.275866 0.825453 0.104720 0.145163 0.197042 0.145163 0.228571 0.441379 0.301176 0.372093 0.195704 0.565517 0.290780 0.410410 0.175313 0.675862 0.278409 0.430202 0.153076 0.737931 0.253555 0.418296 7 khoa_tieng_nhat suite21 2795 145 0.051878 0.238623 0.824379 0.044568 0.009483 0.061083 0.009205 0.246429 0.475862 0.324706 0.401163 0.186158 0.537931 0.276596 0.390390 0.168157 0.648276 0.267045 0.412643 0.151645 0.731034 0.251185 0.414386 7 khoa_tieng_nhat suite22 2795 145 0.051878 0.252934 0.831092 0.043939 0.013317 0.041895 -0.009983 0.239286 0.462069 0.315294 0.389535 0.193317 0.558621 0.287234 0.405405 0.168157 0.648276 0.267045 0.412643 0.155937 0.751724 0.258294 0.426114 7 khoa_tieng_nhat suite22_primary 2795 145 0.051878 0.247780 0.824455 0.044225 0.015714 0.036627 -0.015251 0.239286 0.462069 0.315294 0.389535 0.190931 0.551724 0.283688 0.400400 0.168157 0.648276 0.267045 0.412643 0.145923 0.703448 0.241706 0.398749 7 khoa_tieng_nhat suite22_relational 2795 145 0.051878 0.187521 0.794618 0.046536 0.016779 0.046816 -0.005062 0.214286 0.413793 0.282353 0.348837 0.174224 0.503448 0.258865 0.365365 0.155635 0.600000 0.247159 0.381914 0.134478 0.648276 0.222749 0.367475 7 khoa_tieng_nhat suite23 2795 145 0.051878 0.236686 0.836047 0.044427 0.009685 0.043060 -0.008819 0.217857 0.420690 0.287059 0.354651 0.198091 0.572414 0.294326 0.415415 0.177102 0.682759 0.281250 0.434592 0.153076 0.737931 0.253555 0.418296 7 khoa_tieng_nhat suite23_graph 2795 145 0.051878 0.226168 0.823446 0.045039 0.015309 0.036569 -0.015309 0.217857 0.420690 0.287059 0.354651 0.181384 0.524138 0.269504 0.380380 0.153846 0.593103 0.244318 0.377524 0.137339 0.662069 0.227488 0.375293 7 khoa_tieng_nhat suite24 2795 145 0.051878 0.252164 0.828997 0.043917 0.007132 0.053498 0.001620 0.232143 0.448276 0.305882 0.377907 0.202864 0.586207 0.301418 0.425425 0.171735 0.662069 0.272727 0.421422 0.151645 0.731034 0.251185 0.414386 7 khoa_tieng_nhat suite24_posthoc 2795 145 0.051878 0.235489 0.828723 0.044260 0.005641 0.051259 -0.000619 0.217857 0.420690 0.287059 0.354651 0.193317 0.558621 0.287234 0.405405 0.164580 0.634483 0.261364 0.403863 0.151645 0.731034 0.251185 0.414386 7 khoa_tieng_nhat suite25_committee_blend 2795 145 0.051878 0.252607 0.829007 0.043799 0.007957 0.053512 0.001633 0.235714 0.455172 0.310588 0.383721 0.202864 0.586207 0.301418 0.425425 0.168157 0.648276 0.267045 0.412643 0.157368 0.758621 0.260664 0.430023 7 khoa_tieng_nhat suite25_mlp 2795 145 0.051878 0.205954 0.819684 0.045926 0.027454 0.079332 0.027454 0.242857 0.468966 0.320000 0.395349 0.190931 0.551724 0.283688 0.400400 0.162791 0.627586 0.258523 0.399473 0.141631 0.682759 0.234597 0.387021 7 khoa_tieng_nhat suite25_sacr 2795 145 0.051878 0.288041 0.819399 0.043088 0.005850 0.048594 -0.003284 0.232143 0.448276 0.305882 0.377907 0.198091 0.572414 0.294326 0.415415 0.169946 0.655172 0.269886 0.417032 0.147353 0.710345 0.244076 0.402658 7 khoa_tieng_nhat suite25_tabr 2795 145 0.051878 0.229289 0.813487 0.044385 0.014610 0.062652 0.010773 0.232143 0.448276 0.305882 0.377907 0.195704 0.565517 0.290780 0.410410 0.162791 0.627586 0.258523 0.399473 0.145923 0.703448 0.241706 0.398749 7 khoa_tieng_phap committee 2915 119 0.040823 0.274774 0.827650 0.033839 0.012065 0.032723 -0.008100 0.191781 0.470588 0.272506 0.364583 0.151030 0.554622 0.237410 0.361446 0.123499 0.605042 0.205128 0.339943 0.108368 0.663866 0.186321 0.327801 7 khoa_tieng_phap suite14 2915 119 0.040823 0.282266 0.814095 0.040442 0.034559 0.075383 0.034559 0.188356 0.462185 0.267640 0.358073 0.141876 0.521008 0.223022 0.339540 0.116638 0.571429 0.193732 0.321058 0.108368 0.663866 0.186321 0.327801 7 khoa_tieng_phap suite16 2915 119 0.040823 0.283591 0.835107 0.043460 0.046963 0.087787 0.046963 0.195205 0.478992 0.277372 0.371094 0.146453 0.537815 0.230216 0.350493 0.121784 0.596639 0.202279 0.335222 0.111111 0.680672 0.191038 0.336100 7 khoa_tieng_phap suite17 2915 119 0.040823 0.284107 0.834938 0.034077 0.010263 0.033489 -0.007335 0.198630 0.487395 0.282238 0.377604 0.151030 0.554622 0.237410 0.361446 0.128645 0.630252 0.213675 0.354108 0.115226 0.705882 0.198113 0.348548 7 khoa_tieng_phap suite18 2915 119 0.040823 0.281321 0.833276 0.034042 0.010050 0.033336 -0.007487 0.202055 0.495798 0.287105 0.384115 0.146453 0.537815 0.230216 0.350493 0.125214 0.613445 0.207977 0.344665 0.113855 0.697479 0.195755 0.344398 7 khoa_tieng_phap suite20 2915 119 0.040823 0.251984 0.862496 0.052021 0.056728 0.097551 0.056728 0.205479 0.504202 0.291971 0.390625 0.160183 0.588235 0.251799 0.383352 0.135506 0.663866 0.225071 0.372993 0.123457 0.756303 0.212264 0.373444 7 khoa_tieng_phap suite21 2915 119 0.040823 0.271691 0.820289 0.033959 0.014537 0.031148 -0.009676 0.191781 0.470588 0.272506 0.364583 0.146453 0.537815 0.230216 0.350493 0.114923 0.563025 0.190883 0.316336 0.102881 0.630252 0.176887 0.311203 7 khoa_tieng_phap suite22 2915 119 0.040823 0.298361 0.846230 0.033820 0.020267 0.023475 -0.017348 0.202055 0.495798 0.287105 0.384115 0.155606 0.571429 0.244604 0.372399 0.130360 0.638655 0.216524 0.358829 0.117970 0.722689 0.202830 0.356846 7 khoa_tieng_phap suite22_primary 2915 119 0.040823 0.289604 0.835972 0.034573 0.021195 0.019725 -0.021099 0.191781 0.470588 0.272506 0.364583 0.151030 0.554622 0.237410 0.361446 0.133791 0.655462 0.222222 0.368272 0.120713 0.739496 0.207547 0.365145 7 khoa_tieng_phap suite22_relational 2915 119 0.040823 0.290878 0.858072 0.033813 0.020465 0.025010 -0.015814 0.208904 0.512605 0.296837 0.397135 0.171625 0.630252 0.269784 0.410734 0.152659 0.747899 0.253561 0.420208 0.131687 0.806723 0.226415 0.398340 7 khoa_tieng_phap suite23 2915 119 0.040823 0.281428 0.834442 0.033764 0.011652 0.031305 -0.009518 0.195205 0.478992 0.277372 0.371094 0.153318 0.563025 0.241007 0.366922 0.123499 0.605042 0.205128 0.339943 0.111111 0.680672 0.191038 0.336100 7 khoa_tieng_phap suite23_graph 2915 119 0.040823 0.296494 0.849196 0.034752 0.015161 0.025662 -0.015161 0.202055 0.495798 0.287105 0.384115 0.160183 0.588235 0.251799 0.383352 0.137221 0.672269 0.227920 0.377715 0.119342 0.731092 0.205189 0.360996 7 khoa_tieng_phap suite24 2915 119 0.040823 0.267205 0.829531 0.034102 0.012543 0.031924 -0.008899 0.198630 0.487395 0.282238 0.377604 0.146453 0.537815 0.230216 0.350493 0.121784 0.596639 0.202279 0.335222 0.111111 0.680672 0.191038 0.336100 7 khoa_tieng_phap suite24_posthoc 2915 119 0.040823 0.285448 0.852992 0.033687 0.013178 0.031022 -0.009801 0.198630 0.487395 0.282238 0.377604 0.153318 0.563025 0.241007 0.366922 0.133791 0.655462 0.222222 0.368272 0.126200 0.773109 0.216981 0.381743 7 khoa_tieng_phap suite25_committee_blend 2915 119 0.040823 0.287881 0.841069 0.033701 0.013273 0.030391 -0.010432 0.202055 0.495798 0.287105 0.384115 0.155606 0.571429 0.244604 0.372399 0.123499 0.605042 0.205128 0.339943 0.113855 0.697479 0.195755 0.344398 7 khoa_tieng_phap suite25_mlp 2915 119 0.040823 0.256252 0.848577 0.034314 0.014690 0.051973 0.011150 0.198630 0.487395 0.282238 0.377604 0.162471 0.596639 0.255396 0.388828 0.138937 0.680672 0.230769 0.382436 0.123457 0.756303 0.212264 0.373444 7 khoa_tieng_phap suite25_sacr 2915 119 0.040823 0.272829 0.844700 0.034338 0.015323 0.028337 -0.012487 0.205479 0.504202 0.291971 0.390625 0.167048 0.613445 0.262590 0.399781 0.140652 0.689076 0.233618 0.387158 0.119342 0.731092 0.205189 0.360996 7 khoa_tieng_phap suite25_tabr 2915 119 0.040823 0.254866 0.821344 0.034804 0.012561 0.030246 -0.010578 0.181507 0.445378 0.257908 0.345052 0.148741 0.546218 0.233813 0.355969 0.123499 0.605042 0.205128 0.339943 0.117970 0.722689 0.202830 0.356846 SUITE25 ALL-FOLD MACRO SUMMARY — F1..F7 -------------------------------------------------------------------------------- model faculties mean_fold_ap mean_fold_auc mean_fold_brier mean_fold_ece10 mean_fold_mean_score mean_fold_calibration_gap mean_fold_precision_at_20 mean_fold_recall_at_20 mean_fold_f1_at_20 mean_fold_fbeta_at_20 council 1 0.383294 0.855707 0.051318 0.038571 0.102113 0.036700 0.219794 0.713506 0.315986 0.456062 suite22 14 0.372436 0.883711 0.031744 0.016681 0.039454 -0.002942 0.155678 0.777482 0.240468 0.380613 suite25_committee_blend 14 0.369201 0.879386 0.031713 0.018808 0.044979 0.002583 0.154109 0.766073 0.237766 0.375922 suite24_posthoc 14 0.368226 0.879847 0.031737 0.017638 0.040377 -0.002018 0.154055 0.766467 0.237812 0.376162 suite17 14 0.365412 0.881649 0.032409 0.021339 0.050720 0.008324 0.154873 0.775350 0.239154 0.378685 suite23 14 0.365170 0.880518 0.031951 0.018668 0.044508 0.002113 0.154685 0.771253 0.238812 0.377867 suite18 14 0.364397 0.881092 0.032422 0.021219 0.050687 0.008292 0.155208 0.774247 0.239569 0.379101 suite21 14 0.361970 0.875832 0.032425 0.021011 0.053026 0.010630 0.152872 0.761517 0.235898 0.373167 suite14 14 0.361533 0.870571 0.040871 0.047178 0.084325 0.041930 0.151436 0.748357 0.233261 0.368112 suite16 14 0.360057 0.880558 0.055790 0.088683 0.130253 0.087858 0.154557 0.774494 0.238709 0.378085 committee 14 0.353855 0.870543 0.032294 0.019349 0.049202 0.006806 0.151948 0.754042 0.234244 0.370098 suite24 14 0.352417 0.873192 0.032387 0.021546 0.040048 -0.002347 0.151991 0.751953 0.234221 0.369870 v2 1 0.351818 0.856084 0.099018 0.143562 0.208975 0.143562 0.215630 0.707648 0.310683 0.449853 suite25_sacr 14 0.348362 0.873845 0.033170 0.022545 0.041990 -0.000405 0.150561 0.752459 0.232618 0.368273 suite22_primary 14 0.331806 0.874561 0.033042 0.017945 0.035777 -0.006619 0.150628 0.758551 0.232863 0.369165 suite22_relational 14 0.328498 0.875074 0.033245 0.019819 0.033370 -0.009026 0.151426 0.764126 0.234137 0.371434 suite23_graph 14 0.311112 0.865060 0.034481 0.023921 0.041751 -0.000645 0.145662 0.737430 0.225378 0.357804 suite20 14 0.294114 0.866518 0.084017 0.106857 0.146452 0.104057 0.147111 0.741956 0.227711 0.361405 suite25_tabr 14 0.276201 0.852645 0.035054 0.020749 0.030898 -0.011498 0.143972 0.706626 0.221802 0.349917 suite25_mlp 14 0.261032 0.856668 0.036599 0.029122 0.041673 -0.000723 0.143815 0.723326 0.222385 0.352653 SUITE25 HOLDOUT MACRO SUMMARY — F6/F7 -------------------------------------------------------------------------------- model faculties mean_fold_ap mean_fold_auc mean_fold_brier mean_fold_ece10 mean_fold_mean_score mean_fold_calibration_gap mean_fold_precision_at_20 mean_fold_recall_at_20 mean_fold_f1_at_20 mean_fold_fbeta_at_20 council 1 0.444927 0.833026 0.087385 0.015389 0.139283 0.013812 0.381290 0.617044 0.466517 0.544238 v2 1 0.422654 0.826598 0.142849 0.162288 0.287759 0.162288 0.370122 0.598342 0.452673 0.527904 suite25_committee_blend 14 0.369526 0.854274 0.052186 0.022578 0.063154 -0.007687 0.234216 0.689122 0.326631 0.454289 suite22 14 0.369159 0.855570 0.052508 0.023325 0.051735 -0.019106 0.235332 0.693883 0.328604 0.457353 suite24_posthoc 14 0.362838 0.853278 0.052062 0.019741 0.063971 -0.006870 0.234074 0.690256 0.326745 0.454824 suite14 14 0.360232 0.850384 0.068662 0.073762 0.140512 0.069671 0.233303 0.686579 0.325251 0.452347 suite23 14 0.358265 0.850081 0.052685 0.022269 0.066189 -0.004652 0.233652 0.685744 0.325725 0.452802 suite17 14 0.357815 0.852825 0.053247 0.025095 0.073521 0.002680 0.234047 0.687406 0.326232 0.453504 suite18 14 0.357805 0.852900 0.053261 0.025283 0.073371 0.002530 0.235224 0.689275 0.327754 0.455319 suite21 14 0.357066 0.846907 0.053102 0.023850 0.076118 0.005277 0.230796 0.676295 0.321421 0.446429 suite16 14 0.356077 0.851952 0.072796 0.088931 0.157983 0.087142 0.234085 0.688178 0.326393 0.453872 suite24 14 0.354254 0.846098 0.052775 0.024209 0.057118 -0.013723 0.232192 0.678738 0.323175 0.448556 committee 14 0.350152 0.843399 0.053294 0.024045 0.072407 0.001566 0.231095 0.675598 0.321675 0.446492 suite25_sacr 14 0.341269 0.842423 0.053728 0.023776 0.057810 -0.013032 0.225497 0.670205 0.315232 0.439753 suite22_relational 14 0.340764 0.846168 0.053463 0.027534 0.047688 -0.023154 0.231217 0.682699 0.322820 0.449392 suite22_primary 14 0.336369 0.840535 0.054646 0.030688 0.042596 -0.028245 0.226298 0.663805 0.315606 0.438565 suite20 14 0.324935 0.839578 0.099934 0.118914 0.185249 0.114408 0.222727 0.666560 0.312170 0.436498 suite23_graph 14 0.321909 0.831552 0.055275 0.026463 0.057773 -0.013068 0.221040 0.654324 0.308978 0.430633 suite25_tabr 14 0.308883 0.833010 0.056009 0.029388 0.048155 -0.022686 0.222786 0.655648 0.310785 0.432373 suite25_mlp 14 0.295971 0.832917 0.056921 0.031610 0.052932 -0.017909 0.218032 0.649950 0.305075 0.426025 SUITE25 PRIMARY PAIRED HOLDOUT COMPARISON -------------------------------------------------------------------------------- candidate base cells wins losses mean_delta_ap median_delta_ap worst_delta_ap mean_delta_auc mean_delta_f2_at20 suite25_sacr suite25_mlp 28 21 7 0.045299 0.023236 -0.069679 0.009506 0.013727 suite25_sacr suite25_tabr 28 18 10 0.032387 0.032148 -0.100190 0.009413 0.007379 suite25_sacr committee 28 13 15 -0.008883 -0.001742 -0.121800 -0.000976 -0.006740 suite25_sacr suite17 28 11 17 -0.016546 -0.016098 -0.127905 -0.010402 -0.013752 suite25_sacr suite18 28 11 17 -0.016535 -0.013964 -0.135234 -0.010477 -0.015566 suite25_sacr suite21 28 12 16 -0.015797 -0.014861 -0.120802 -0.004483 -0.006676 suite25_sacr suite22 28 6 22 -0.027890 -0.028413 -0.123989 -0.013146 -0.017600 suite25_sacr suite23 28 10 18 -0.016995 -0.015647 -0.127818 -0.007657 -0.013050 suite25_sacr suite24 28 13 15 -0.012985 -0.004004 -0.114923 -0.003675 -0.008803 suite25_sacr suite22_relational 28 11 17 0.000505 -0.007625 -0.123157 -0.003744 -0.009639 suite25_sacr suite23_graph 28 15 13 0.019360 0.010918 -0.102558 0.010871 0.009120 suite25_sacr suite24_posthoc 28 10 18 -0.021569 -0.023874 -0.119019 -0.010855 -0.015071 suite25_sacr council 2 0 2 -0.066570 -0.066570 -0.103699 -0.023534 -0.068544 SUITE25 HOLDOUT FACULTY HEAD-TO-HEAD -------------------------------------------------------------------------------- faculty suite25_ap suite25_mlp_ap delta_vs_suite25_mlp suite25_tabr_ap delta_vs_suite25_tabr committee_ap delta_vs_committee suite17_ap delta_vs_suite17 suite18_ap delta_vs_suite18 suite21_ap delta_vs_suite21 suite22_ap delta_vs_suite22 suite23_ap delta_vs_suite23 suite24_ap delta_vs_suite24 suite22_relational_ap delta_vs_suite22_relational suite23_graph_ap delta_vs_suite23_graph suite24_posthoc_ap delta_vs_suite24_posthoc council_ap delta_vs_council suite25_committee_blend_ap delta_vs_suite25_committee_blend khoa_tieng_nhat 0.244932 0.171590 0.073343 0.198346 0.046586 0.197887 0.047045 0.200121 0.044811 0.199897 0.045036 0.211685 0.033247 0.219105 0.025827 0.211387 0.033545 0.217737 0.027196 0.172764 0.072168 0.190682 0.054251 0.215882 0.029050 NaN NaN 0.230154 0.014778 khoa_tieng_tay_ban_nha 0.423684 0.332325 0.091359 0.371583 0.052101 0.387535 0.036149 0.395079 0.028605 0.393249 0.030435 0.408967 0.014716 0.422826 0.000858 0.396799 0.026885 0.390748 0.032936 0.409366 0.014318 0.376631 0.047053 0.395576 0.028108 NaN NaN 0.428023 -0.004339 khoa_tieng_phap 0.311834 0.277878 0.033956 0.260830 0.051003 0.276935 0.034898 0.283644 0.028190 0.283197 0.028637 0.276015 0.035818 0.307482 0.004351 0.301838 0.009995 0.265082 0.046751 0.282759 0.029075 0.294883 0.016950 0.292919 0.018914 NaN NaN 0.317518 -0.005685 khoa_tieng_trung_quoc 0.267839 0.222480 0.045359 0.240287 0.027552 0.249532 0.018307 0.260093 0.007746 0.259264 0.008575 0.261752 0.006087 0.276961 -0.009122 0.258389 0.009450 0.255801 0.012038 0.255026 0.012813 0.192740 0.075099 0.262955 0.004884 NaN NaN 0.275364 -0.007525 khoa_tieng_han_quoc 0.329263 0.316429 0.012834 0.270782 0.058481 0.315879 0.013384 0.333005 -0.003742 0.332781 -0.003518 0.336184 -0.006920 0.358607 -0.029343 0.326835 0.002429 0.345569 -0.016306 0.321931 0.007332 0.302161 0.027102 0.341377 -0.012114 NaN NaN 0.360616 -0.031352 khoa_tieng_duc 0.380298 0.319545 0.060753 0.338195 0.042103 0.375697 0.004601 0.388699 -0.008401 0.391861 -0.011562 0.385958 -0.005660 0.402625 -0.022327 0.362176 0.018122 0.365631 0.014667 0.353566 0.026732 0.302357 0.077942 0.368864 0.011434 NaN NaN 0.400027 -0.019729 khoa_tieng_nga 0.376442 0.331190 0.045252 0.342490 0.033952 0.377031 -0.000589 0.384702 -0.008260 0.385985 -0.009543 0.377869 -0.001427 0.393063 -0.016621 0.377247 -0.000805 0.370832 0.005610 0.376779 -0.000337 0.344867 0.031575 0.385757 -0.009315 NaN NaN 0.390821 -0.014379 khoa_quan_tri_kinh_doanh_va_du_lich 0.396922 0.326325 0.070597 0.333333 0.063589 0.399207 -0.002285 0.407873 -0.010951 0.408235 -0.011313 0.395783 0.001139 0.429798 -0.032876 0.419884 -0.022961 0.412122 -0.015200 0.428919 -0.031997 0.401072 -0.004149 0.434632 -0.037710 NaN NaN 0.419906 -0.022984 khoa_tieng_italia 0.293454 0.251149 0.042305 0.273706 0.019748 0.302636 -0.009182 0.308005 -0.014551 0.306753 -0.013299 0.305668 -0.012214 0.314573 -0.021119 0.310503 -0.017049 0.304122 -0.010668 0.280077 0.013377 0.287619 0.005836 0.321954 -0.028500 NaN NaN 0.316856 -0.023401 khoa_quoc_te_hoc 0.227086 0.201576 0.025511 0.175694 0.051392 0.261211 -0.034125 0.267580 -0.040494 0.272936 -0.045850 0.261558 -0.034472 0.273008 -0.045922 0.275410 -0.048324 0.260185 -0.033099 0.226127 0.000959 0.235727 -0.008640 0.266267 -0.039181 NaN NaN 0.272923 -0.045836 khoa_cong_nghe_thong_tin 0.378358 0.299703 0.078655 0.326294 0.052063 0.412578 -0.034221 0.417591 -0.039233 0.414407 -0.036049 0.419185 -0.040827 0.424266 -0.045908 0.436409 -0.058051 0.422765 -0.044407 0.395557 -0.017199 0.390513 -0.012155 0.430383 -0.052025 0.444927 -0.06657 0.420793 -0.042436 khoa_tieng_anh 0.214845 0.165573 0.049272 0.177360 0.037485 0.254547 -0.039701 0.262702 -0.047856 0.265981 -0.051135 0.258094 -0.043249 0.260863 -0.046017 0.262926 -0.048080 0.266065 -0.051220 0.227032 -0.012187 0.199023 0.015823 0.265655 -0.050810 NaN NaN 0.257801 -0.042955 khoa_tieng_bo_dao_nha 0.395266 0.367769 0.027496 0.417083 -0.021817 0.464251 -0.068985 0.468486 -0.073220 0.466295 -0.071030 0.470990 -0.075725 0.462717 -0.067452 0.448702 -0.053436 0.458294 -0.063028 0.422689 -0.027423 0.403060 -0.007794 0.467859 -0.072593 NaN NaN 0.458830 -0.063564 khoa_viet_nam_hoc 0.537547 0.560057 -0.022510 0.598373 -0.060826 0.627200 -0.089653 0.631835 -0.094288 0.628428 -0.090880 0.629217 -0.091669 0.622336 -0.084788 0.627200 -0.089653 0.624606 -0.087058 0.618109 -0.080561 0.585399 -0.047851 0.629651 -0.092104 NaN NaN 0.623726 -0.086178 SUITE25 OPERATIONAL HOLDOUT SUMMARY -------------------------------------------------------------------------------- model policy precision recall f2 flag_rate council drift 0.362458 0.677219 0.577004 0.239326 v2 drift 0.329869 0.689634 0.566143 0.267790 suite22 drift 0.308292 0.559244 0.471545 0.136108 suite22_relational drift 0.282202 0.559786 0.462842 0.149110 suite25_committee_blend drift 0.331290 0.528847 0.462594 0.125499 suite21 drift 0.293533 0.549521 0.460218 0.137155 suite16 drift 0.306182 0.532161 0.459589 0.129384 suite14 drift 0.301348 0.577052 0.459410 0.152635 suite22_primary drift 0.280765 0.549106 0.458443 0.143752 suite17 drift 0.320536 0.526790 0.458270 0.123769 suite23 drift 0.298495 0.536196 0.457975 0.127811 suite18 drift 0.315042 0.526902 0.457464 0.126292 committee drift 0.297712 0.536400 0.456412 0.131944 suite20 drift 0.254200 0.588446 0.451344 0.169770 suite25_tabr drift 0.251983 0.576650 0.449064 0.167281 suite24_posthoc drift 0.325142 0.514559 0.448843 0.120999 suite25_mlp drift 0.235301 0.605360 0.444446 0.213634 suite23_graph drift 0.273355 0.537770 0.440044 0.147205 suite25_sacr drift 0.289184 0.529915 0.438788 0.133256 suite24 drift 0.328779 0.482702 0.426244 0.115982 council fixed 0.337237 0.715084 0.584178 0.271607 v2 fixed 0.326554 0.697703 0.568481 0.273674 suite24_posthoc fixed 0.253466 0.644501 0.481227 0.191691 suite25_committee_blend fixed 0.294381 0.579343 0.473570 0.156642 suite23 fixed 0.261100 0.601835 0.471875 0.166373 suite22 fixed 0.303257 0.575038 0.469659 0.148487 suite21 fixed 0.263968 0.607119 0.467661 0.176598 suite14 fixed 0.229569 0.680828 0.464967 0.231594 suite18 fixed 0.276459 0.582698 0.464491 0.165061 committee fixed 0.252639 0.601720 0.464087 0.177001 suite22_relational fixed 0.258380 0.604078 0.462545 0.184614 suite17 fixed 0.275617 0.578188 0.459598 0.166242 suite24 fixed 0.292799 0.543508 0.448997 0.145270 suite25_sacr fixed 0.283160 0.551008 0.444068 0.147558 suite22_primary fixed 0.310156 0.520893 0.441704 0.131853 suite16 fixed 0.338597 0.486699 0.441082 0.113206 suite25_tabr fixed 0.211547 0.642683 0.437463 0.230156 suite23_graph fixed 0.260857 0.521173 0.424134 0.146983 suite25_mlp fixed 0.221443 0.596143 0.417394 0.227596 suite20 fixed 0.296812 0.487541 0.417312 0.128561 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite25_sacr | fixed Actual\Pred Normal Failure Normal 9444 1522 Failure 729 882 P=0.3669 R=0.5475 F2=0.4984 flag=0.1911 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite25_sacr | drift Actual\Pred Normal Failure Normal 8999 1967 Failure 608 1003 P=0.3377 R=0.6226 F2=0.5327 flag=0.2361 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite25_tabr | fixed Actual\Pred Normal Failure Normal 7253 3713 Failure 397 1214 P=0.2464 R=0.7536 F2=0.5338 flag=0.3917 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite25_tabr | drift Actual\Pred Normal Failure Normal 6855 4111 Failure 325 1286 P=0.2383 R=0.7983 F2=0.5430 flag=0.4291 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite25_mlp | fixed Actual\Pred Normal Failure Normal 7538 3428 Failure 475 1136 P=0.2489 R=0.7052 F2=0.5160 flag=0.3629 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite25_mlp | drift Actual\Pred Normal Failure Normal 5944 5022 Failure 280 1331 P=0.2095 R=0.8262 F2=0.5200 flag=0.5051 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite25_committee_blend | fixed Actual\Pred Normal Failure Normal 8808 2158 Failure 518 1093 P=0.3362 R=0.6785 F2=0.5637 flag=0.2585 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite25_committee_blend | drift Actual\Pred Normal Failure Normal 8741 2225 Failure 508 1103 P=0.3314 R=0.6847 F2=0.5644 flag=0.2646 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | committee | fixed Actual\Pred Normal Failure Normal 8493 2473 Failure 458 1153 P=0.3180 R=0.7157 F2=0.5725 flag=0.2883 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | committee | drift Actual\Pred Normal Failure Normal 8912 2054 Failure 536 1075 P=0.3436 R=0.6673 F2=0.5615 flag=0.2488 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite22 | fixed Actual\Pred Normal Failure Normal 8482 2484 Failure 462 1149 P=0.3163 R=0.7132 F2=0.5701 flag=0.2889 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite22 | drift Actual\Pred Normal Failure Normal 8641 2325 Failure 488 1123 P=0.3257 R=0.6971 F2=0.5676 flag=0.2742 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite23 | fixed Actual\Pred Normal Failure Normal 8971 1995 Failure 541 1070 P=0.3491 R=0.6642 F2=0.5626 flag=0.2437 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite23 | drift Actual\Pred Normal Failure Normal 9085 1881 Failure 562 1049 P=0.3580 R=0.6511 F2=0.5595 flag=0.2330 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite24 | fixed Actual\Pred Normal Failure Normal 8978 1988 Failure 550 1061 P=0.3480 R=0.6586 F2=0.5588 flag=0.2424 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | suite24 | drift Actual\Pred Normal Failure Normal 9032 1934 Failure 535 1076 P=0.3575 R=0.6679 F2=0.5691 flag=0.2393 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | council | fixed Actual\Pred Normal Failure Normal 8702 2264 Failure 459 1152 P=0.3372 R=0.7151 F2=0.5842 flag=0.2716 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | council | drift Actual\Pred Normal Failure Normal 9047 1919 Failure 520 1091 P=0.3625 R=0.6772 F2=0.5770 flag=0.2393 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | v2 | fixed Actual\Pred Normal Failure Normal 8648 2318 Failure 487 1124 P=0.3266 R=0.6977 F2=0.5685 flag=0.2737 POOLED F6/F7 CONFUSION MATRIX | khoa_cong_nghe_thong_tin | v2 | drift Actual\Pred Normal Failure Normal 8709 2257 Failure 500 1111 P=0.3299 R=0.6896 F2=0.5661 flag=0.2678 SUITE25 STUDENT-CLUSTER BOOTSTRAP — HOLDOUT -------------------------------------------------------------------------------- faculty reference delta_ap ci_low ci_high positive_ci negative_ci khoa_cong_nghe_thong_tin committee -0.040723 -0.064612 -0.017234 False True khoa_cong_nghe_thong_tin suite18 -0.031130 -0.053360 -0.005180 False True khoa_cong_nghe_thong_tin suite21 -0.050080 -0.072661 -0.027984 False True khoa_cong_nghe_thong_tin suite22 -0.050319 -0.068700 -0.028783 False True khoa_cong_nghe_thong_tin suite23 -0.066798 -0.088464 -0.047010 False True khoa_cong_nghe_thong_tin suite24 -0.056681 -0.074464 -0.036896 False True khoa_cong_nghe_thong_tin council -0.073612 -0.092718 -0.050768 False True khoa_quan_tri_kinh_doanh_va_du_lich committee -0.007621 -0.027247 0.011946 False False khoa_quan_tri_kinh_doanh_va_du_lich suite18 0.000387 -0.020620 0.019236 False False khoa_quan_tri_kinh_doanh_va_du_lich suite21 -0.003277 -0.022755 0.015610 False False khoa_quan_tri_kinh_doanh_va_du_lich suite22 -0.036965 -0.056197 -0.017223 False True khoa_quan_tri_kinh_doanh_va_du_lich suite23 -0.025552 -0.042512 -0.006659 False True khoa_quan_tri_kinh_doanh_va_du_lich suite24 -0.017223 -0.037142 0.004733 False False khoa_quoc_te_hoc committee 0.039109 -0.026253 0.138538 False False khoa_quoc_te_hoc suite18 0.045760 -0.022006 0.149764 False False khoa_quoc_te_hoc suite21 0.025828 -0.031680 0.120237 False False khoa_quoc_te_hoc suite22 -0.013353 -0.063538 0.052315 False False khoa_quoc_te_hoc suite23 0.023646 -0.044369 0.123353 False False khoa_quoc_te_hoc suite24 0.002866 -0.054217 0.075847 False False khoa_tieng_anh committee -0.021307 -0.065090 0.020272 False False khoa_tieng_anh suite18 -0.017780 -0.060606 0.024521 False False khoa_tieng_anh suite21 -0.024254 -0.065342 0.016192 False False khoa_tieng_anh suite22 -0.039377 -0.062065 -0.013969 False True khoa_tieng_anh suite23 -0.038192 -0.076459 -0.001092 False True khoa_tieng_anh suite24 -0.043665 -0.087342 -0.006515 False True khoa_tieng_bo_dao_nha committee -0.066156 -0.117464 -0.007318 False True khoa_tieng_bo_dao_nha suite18 -0.050890 -0.096315 0.014011 False False khoa_tieng_bo_dao_nha suite21 -0.072656 -0.122277 -0.009988 False True khoa_tieng_bo_dao_nha suite22 -0.067510 -0.114302 -0.013720 False True khoa_tieng_bo_dao_nha suite23 -0.029698 -0.089099 0.033334 False False khoa_tieng_bo_dao_nha suite24 -0.056206 -0.110055 0.003829 False False khoa_tieng_duc committee 0.001891 -0.040918 0.048240 False False khoa_tieng_duc suite18 0.000693 -0.045671 0.052165 False False khoa_tieng_duc suite21 -0.009163 -0.044895 0.037244 False False khoa_tieng_duc suite22 -0.026833 -0.067022 0.011938 False False khoa_tieng_duc suite23 0.009652 -0.027524 0.046931 False False khoa_tieng_duc suite24 0.013446 -0.025469 0.056432 False False khoa_tieng_han_quoc committee 0.009720 -0.047786 0.070374 False False khoa_tieng_han_quoc suite18 0.015335 -0.049425 0.077748 False False khoa_tieng_han_quoc suite21 -0.014361 -0.066739 0.047879 False False khoa_tieng_han_quoc suite22 -0.032924 -0.079161 0.014301 False False khoa_tieng_han_quoc suite23 -0.008274 -0.062688 0.048973 False False khoa_tieng_han_quoc suite24 -0.024446 -0.086081 0.043368 False False khoa_tieng_italia committee 0.035062 0.000585 0.069293 True False khoa_tieng_italia suite18 0.048245 0.005728 0.090018 True False khoa_tieng_italia suite21 0.031818 -0.000210 0.065963 False False khoa_tieng_italia suite22 -0.023164 -0.066823 0.020544 False False khoa_tieng_italia suite23 0.009968 -0.033419 0.044345 False False khoa_tieng_italia suite24 -0.003156 -0.044934 0.031200 False False khoa_tieng_nga committee -0.052090 -0.097225 -0.004179 False True khoa_tieng_nga suite18 -0.069571 -0.121211 -0.011285 False True khoa_tieng_nga suite21 -0.051229 -0.091331 -0.005072 False True khoa_tieng_nga suite22 -0.076607 -0.117115 -0.031185 False True khoa_tieng_nga suite23 -0.068687 -0.120687 -0.015735 False True khoa_tieng_nga suite24 -0.032907 -0.078704 0.008555 False False khoa_tieng_nhat committee 0.046628 0.016469 0.073606 True False khoa_tieng_nhat suite18 0.053693 0.019469 0.084822 True False khoa_tieng_nhat suite21 0.035796 0.007906 0.062695 True False khoa_tieng_nhat suite22 0.026828 -0.008190 0.050767 False False khoa_tieng_nhat suite23 0.034603 0.006861 0.058974 True False khoa_tieng_nhat suite24 0.031816 0.003813 0.059806 True False khoa_tieng_phap committee 0.037714 -0.045822 0.094903 False False khoa_tieng_phap suite18 0.043520 -0.034922 0.102392 False False khoa_tieng_phap suite21 0.039869 -0.031200 0.099665 False False khoa_tieng_phap suite22 0.003800 -0.050859 0.056141 False False khoa_tieng_phap suite23 -0.001753 -0.054939 0.044742 False False khoa_tieng_phap suite24 0.026988 -0.031240 0.076815 False False khoa_tieng_tay_ban_nha committee 0.037972 -0.018237 0.094444 False False khoa_tieng_tay_ban_nha suite18 0.055917 -0.003870 0.115389 False False khoa_tieng_tay_ban_nha suite21 0.006483 -0.043587 0.058320 False False khoa_tieng_tay_ban_nha suite22 -0.011744 -0.063170 0.040023 False False khoa_tieng_tay_ban_nha suite23 0.036065 -0.027550 0.093019 False False khoa_tieng_tay_ban_nha suite24 0.013040 -0.039813 0.064287 False False khoa_tieng_trung_quoc committee -0.006625 -0.054120 0.036707 False False khoa_tieng_trung_quoc suite18 -0.015156 -0.060354 0.026516 False False khoa_tieng_trung_quoc suite21 -0.021208 -0.064095 0.018307 False False khoa_tieng_trung_quoc suite22 -0.039780 -0.084228 0.005416 False False khoa_tieng_trung_quoc suite23 -0.018455 -0.061813 0.028650 False False khoa_tieng_trung_quoc suite24 -0.012744 -0.051450 0.030807 False False khoa_viet_nam_hoc committee -0.081468 -0.128542 -0.031698 False True khoa_viet_nam_hoc suite18 -0.083606 -0.125146 -0.035465 False True khoa_viet_nam_hoc suite21 -0.082547 -0.123730 -0.029953 False True khoa_viet_nam_hoc suite22 -0.073897 -0.119684 -0.027412 False True khoa_viet_nam_hoc suite23 -0.081468 -0.127675 -0.037995 False True khoa_viet_nam_hoc suite24 -0.079505 -0.124848 -0.033703 False True SUITE25 COMPONENT UPLIFT — HOLDOUT -------------------------------------------------------------------------------- fold faculty component delta_ap delta_f2_20 6 khoa_cong_nghe_thong_tin chronological_retrieval_gain 0.039860 0.056180 6 khoa_quan_tri_kinh_doanh_va_du_lich chronological_retrieval_gain 0.005915 -0.011658 6 khoa_quoc_te_hoc chronological_retrieval_gain -0.002053 -0.027285 6 khoa_tieng_anh chronological_retrieval_gain 0.025548 0.000000 6 khoa_tieng_bo_dao_nha chronological_retrieval_gain 0.113891 0.053191 6 khoa_tieng_duc chronological_retrieval_gain 0.045850 0.028409 6 khoa_tieng_han_quoc chronological_retrieval_gain -0.026018 -0.004359 6 khoa_tieng_italia chronological_retrieval_gain 0.010632 0.006402 6 khoa_tieng_nga chronological_retrieval_gain 0.016520 -0.016835 6 khoa_tieng_nhat chronological_retrieval_gain 0.030179 0.000000 6 khoa_tieng_phap chronological_retrieval_gain -0.032709 -0.015314 6 khoa_tieng_tay_ban_nha chronological_retrieval_gain 0.026160 0.008237 6 khoa_tieng_trung_quoc chronological_retrieval_gain 0.010057 -0.021008 6 khoa_viet_nam_hoc chronological_retrieval_gain 0.030511 0.010571 7 khoa_cong_nghe_thong_tin chronological_retrieval_gain 0.013324 -0.000897 7 khoa_quan_tri_kinh_doanh_va_du_lich chronological_retrieval_gain 0.008100 -0.014308 7 khoa_quoc_te_hoc chronological_retrieval_gain -0.049710 -0.032926 7 khoa_tieng_anh chronological_retrieval_gain -0.001974 0.003740 7 khoa_tieng_bo_dao_nha chronological_retrieval_gain -0.015264 0.018428 7 khoa_tieng_duc chronological_retrieval_gain -0.008550 0.005549 7 khoa_tieng_han_quoc chronological_retrieval_gain -0.065275 0.000000 7 khoa_tieng_italia chronological_retrieval_gain 0.034482 0.029861 7 khoa_tieng_nga chronological_retrieval_gain 0.006081 0.004995 7 khoa_tieng_nhat chronological_retrieval_gain 0.023335 0.000000 7 khoa_tieng_phap chronological_retrieval_gain -0.001386 -0.042493 7 khoa_tieng_tay_ban_nha chronological_retrieval_gain 0.052356 0.030408 7 khoa_tieng_trung_quoc chronological_retrieval_gain 0.025556 0.052296 7 khoa_viet_nam_hoc chronological_retrieval_gain 0.046121 0.056561 6 khoa_cong_nghe_thong_tin structure_aware_retrieval_gain 0.118915 0.038439 6 khoa_quan_tri_kinh_doanh_va_du_lich structure_aware_retrieval_gain 0.124520 0.067358 6 khoa_quoc_te_hoc structure_aware_retrieval_gain 0.045198 0.040928 6 khoa_tieng_anh structure_aware_retrieval_gain 0.074879 0.002892 6 khoa_tieng_bo_dao_nha structure_aware_retrieval_gain -0.027777 0.031915 6 khoa_tieng_duc structure_aware_retrieval_gain 0.091138 -0.007102 6 khoa_tieng_han_quoc structure_aware_retrieval_gain 0.029875 0.034874 6 khoa_tieng_italia structure_aware_retrieval_gain 0.071902 0.006402 6 khoa_tieng_nga structure_aware_retrieval_gain 0.082147 0.012626 6 khoa_tieng_nhat structure_aware_retrieval_gain 0.034420 0.011655 6 khoa_tieng_phap structure_aware_retrieval_gain 0.084043 0.045942 6 khoa_tieng_tay_ban_nha structure_aware_retrieval_gain 0.168278 -0.008237 6 khoa_tieng_trung_quoc structure_aware_retrieval_gain 0.070583 -0.015006 6 khoa_viet_nam_hoc structure_aware_retrieval_gain -0.100190 0.052854 7 khoa_cong_nghe_thong_tin structure_aware_retrieval_gain -0.014789 0.004483 7 khoa_quan_tri_kinh_doanh_va_du_lich structure_aware_retrieval_gain 0.002659 -0.000795 7 khoa_quoc_te_hoc structure_aware_retrieval_gain 0.057587 0.023518 7 khoa_tieng_anh structure_aware_retrieval_gain 0.000091 -0.013089 7 khoa_tieng_bo_dao_nha structure_aware_retrieval_gain -0.015857 -0.030713 7 khoa_tieng_duc structure_aware_retrieval_gain -0.006932 -0.011099 7 khoa_tieng_han_quoc structure_aware_retrieval_gain 0.087087 0.004212 7 khoa_tieng_italia structure_aware_retrieval_gain -0.032406 -0.013271 7 khoa_tieng_nga structure_aware_retrieval_gain -0.014243 -0.044955 7 khoa_tieng_nhat structure_aware_retrieval_gain 0.058752 0.017559 7 khoa_tieng_phap structure_aware_retrieval_gain 0.017963 0.047214 7 khoa_tieng_tay_ban_nha structure_aware_retrieval_gain -0.064076 -0.047785 7 khoa_tieng_trung_quoc structure_aware_retrieval_gain -0.015479 -0.015916 7 khoa_viet_nam_hoc structure_aware_retrieval_gain -0.021461 -0.028281 SUITE25 RETRIEVAL ABLATION SUMMARY — HOLDOUT -------------------------------------------------------------------------------- ablation cells mean_delta_ap median_delta_ap loss_cells mean_abs_prob_change fixed_pool_gates 28 -0.012971 -0.007233 19 0.013871 no_labels 28 -0.087432 -0.054884 25 0.055935 no_relation_meta 28 -0.002000 -0.001780 18 0.005031 no_retrieval 28 -0.063425 -0.030394 24 0.039821 no_same_course_pool 28 -0.002602 0.000000 13 0.001395 no_state_pool 28 -0.002455 -0.000001 15 0.001299 no_structural_pool 28 0.000001 0.000000 11 0.000002 no_student_pool 28 -0.030502 -0.017184 18 0.020739 SUITE25 CANDIDATE-LABEL SHUFFLE — HOLDOUT -------------------------------------------------------------------------------- cells mean_delta_ap median_delta_ap loss_cells mean_abs_prob_change 28 -0.075634 -0.03952 24 0.018489 SUITE25 RETRIEVAL MECHANISM DIAGNOSTICS — HOLDOUT -------------------------------------------------------------------------------- fold faculty rows bank_prevalence weighted_neighbor_fail_rate weighted_neighbor_fail_rate_for_failures weighted_neighbor_fail_rate_for_normals neighbor_label_lift top1_label_agreement attention_top1_mean cross_faculty_attention_mass weighted_recency gate_same_student gate_same_course gate_structural gate_state 6 khoa_cong_nghe_thong_tin 5651 0.022403 0.053671 0.197476 0.037759 0.031268 0.890816 0.244335 1.366507e-07 1.434071 0.999996 0.000004 4.391540e-09 3.494935e-07 6 khoa_quan_tri_kinh_doanh_va_du_lich 7442 0.022403 0.056241 0.282055 0.036689 0.033838 0.914136 0.267558 5.372759e-04 1.605519 0.998386 0.001610 3.802515e-07 3.134944e-06 6 khoa_quoc_te_hoc 2466 0.022403 0.016128 0.154650 0.012674 -0.006274 0.969586 0.239802 1.924539e-03 1.656013 0.982135 0.000068 4.874524e-07 1.779672e-02 6 khoa_tieng_anh 6204 0.022403 0.011478 0.199908 0.007699 -0.010924 0.979529 0.293465 9.291801e-03 1.241388 0.978037 0.020801 6.135967e-04 5.483710e-04 6 khoa_tieng_bo_dao_nha 892 0.022403 0.076851 0.377066 0.050092 0.054448 0.913677 0.313809 6.846770e-04 1.314857 0.995457 0.000016 5.756690e-06 4.520988e-03 6 khoa_tieng_duc 1839 0.022403 0.028812 0.295812 0.016032 0.006409 0.956498 0.322243 4.899937e-03 1.514313 0.992374 0.007593 1.024924e-06 3.265374e-05 6 khoa_tieng_han_quoc 3277 0.022403 0.014002 0.110936 0.010222 -0.008401 0.958804 0.309779 1.215112e-03 1.505880 0.998466 0.001365 7.157344e-05 9.754925e-05 6 khoa_tieng_italia 2026 0.022403 0.042328 0.222928 0.033541 0.019925 0.932379 0.378117 3.079019e-03 1.380967 0.994636 0.005106 6.756600e-05 1.900094e-04 6 khoa_tieng_nga 1842 0.022403 0.038951 0.182127 0.021022 0.016549 0.888708 0.311653 2.186466e-03 1.573882 0.997253 0.002731 6.313157e-06 1.008389e-05 6 khoa_tieng_nhat 2530 0.022403 0.017992 0.119935 0.014318 -0.004411 0.956917 0.324739 2.859464e-03 1.772732 0.997137 0.002763 6.359300e-05 3.638023e-05 6 khoa_tieng_phap 2263 0.022403 0.017094 0.253994 0.011742 -0.005309 0.973045 0.306298 1.775947e-03 1.299340 0.996443 0.003539 5.546682e-06 1.238847e-05 6 khoa_tieng_tay_ban_nha 1333 0.022403 0.048564 0.293560 0.031877 0.026161 0.935484 0.369861 2.111003e-06 1.264031 0.999994 0.000002 1.075033e-06 2.514709e-06 6 khoa_tieng_trung_quoc 4990 0.022403 0.018980 0.175541 0.013559 -0.003423 0.962525 0.284293 1.215313e-02 1.396014 0.972735 0.006365 1.102572e-05 2.088929e-02 6 khoa_viet_nam_hoc 604 0.022403 0.124474 0.509010 0.058894 0.102071 0.890728 0.498919 3.614729e-03 1.151552 0.985074 0.009555 0.000000e+00 5.371689e-03 7 khoa_cong_nghe_thong_tin 6926 0.025329 0.085773 0.171506 0.070488 0.060444 0.819232 0.198698 1.120535e-01 2.544764 0.690282 0.229716 1.981036e-08 8.000210e-02 7 khoa_quan_tri_kinh_doanh_va_du_lich 8989 0.025329 0.117261 0.254418 0.097679 0.091931 0.800756 0.237729 9.906349e-02 2.070837 0.654371 0.305781 4.281043e-04 3.942063e-02 7 khoa_quoc_te_hoc 2755 0.025329 0.020969 0.107597 0.016748 -0.004360 0.945917 0.254162 6.228680e-02 2.638312 0.709971 0.289396 6.343893e-06 6.264304e-04 7 khoa_tieng_anh 8369 0.025329 0.020783 0.123804 0.017611 -0.004547 0.955550 0.271065 1.691146e-01 2.493049 0.761413 0.227442 9.259883e-04 1.021931e-02 7 khoa_tieng_bo_dao_nha 1209 0.025329 0.089312 0.222631 0.071428 0.063983 0.860215 0.280456 2.391058e-01 2.932874 0.696989 0.173788 1.784676e-03 1.274383e-01 7 khoa_tieng_duc 2284 0.025329 0.031884 0.161709 0.025252 0.006555 0.940455 0.265245 1.741758e-01 2.541466 0.711898 0.286825 8.389371e-04 4.383598e-04 7 khoa_tieng_han_quoc 3434 0.025329 0.031094 0.230265 0.023570 0.005764 0.952825 0.275103 1.669963e-01 2.473613 0.760889 0.238891 2.932103e-05 1.897614e-04 7 khoa_tieng_italia 2453 0.025329 0.046672 0.146206 0.035175 0.021343 0.889115 0.274048 1.922628e-01 2.584513 0.783847 0.165591 2.296746e-03 4.826529e-02 7 khoa_tieng_nga 1924 0.025329 0.083639 0.180354 0.075224 0.058310 0.871622 0.279636 1.949155e-01 3.010357 0.649650 0.236221 3.237395e-09 1.141294e-01 7 khoa_tieng_nhat 2795 0.025329 0.041621 0.168477 0.034680 0.016292 0.919857 0.273341 2.363109e-01 2.858681 0.747143 0.191785 2.278796e-04 6.084363e-02 7 khoa_tieng_phap 2915 0.025329 0.027254 0.134955 0.022670 0.001925 0.945111 0.252821 1.417402e-01 2.709028 0.718342 0.238088 1.753903e-03 4.181573e-02 7 khoa_tieng_tay_ban_nha 1957 0.025329 0.061948 0.159445 0.051464 0.036618 0.869699 0.297868 2.146312e-01 2.650551 0.691682 0.205781 6.933287e-04 1.018436e-01 7 khoa_tieng_trung_quoc 6657 0.025329 0.027038 0.156882 0.022663 0.001709 0.952681 0.286404 1.009240e-01 2.735979 0.800342 0.097302 2.011702e-04 1.021549e-01 7 khoa_viet_nam_hoc 978 0.025329 0.162049 0.430434 0.104776 0.136720 0.838446 0.234252 8.150036e-03 2.563837 0.677770 0.189273 1.927742e-10 1.329569e-01 SUITE25 RELATION-CODE ATTENTION — HOLDOUT -------------------------------------------------------------------------------- relation_code tokens mean_attention attention_mass 0 3375851 0.022309 74625.425836 2 268486 0.001375 365.229779 3 11291 0.000884 9.794993 5 282628 0.027106 7603.389336 6 8969 0.010727 61.956212 8 94438 0.001901 176.866522 9 3119 0.001074 2.258520 11 53105 0.031402 1836.733031 12 2637 0.003784 11.006883 13 2340437 0.004741 12311.339237 SUITE25 COMMITTEE COMPLEMENTARITY — HOLDOUT -------------------------------------------------------------------------------- fold faculty rows committee_false_negatives_at20 retrieval_rescued_fn_at20 blend_rescued_fn_at20 committee_false_alarms_at20 retrieval_corrected_fa_at20 blend_corrected_fa_at20 committee_only_correct retrieval_only_correct 6 khoa_cong_nghe_thong_tin 5651 202 37 26 769 227 131 326 264 6 khoa_quan_tri_kinh_doanh_va_du_lich 7442 179 39 26 1074 334 180 401 373 6 khoa_quoc_te_hoc 2466 20 5 4 453 204 95 211 209 6 khoa_tieng_anh 6204 45 16 9 1164 479 222 481 495 6 khoa_tieng_bo_dao_nha 892 22 6 3 127 36 20 38 42 6 khoa_tieng_duc 1839 11 5 4 295 109 54 118 114 6 khoa_tieng_han_quoc 3277 29 7 5 561 182 84 195 189 6 khoa_tieng_italia 2026 34 5 2 345 130 50 143 135 6 khoa_tieng_nga 1842 88 14 4 251 90 43 90 104 6 khoa_tieng_nhat 2530 31 13 7 449 158 75 161 171 6 khoa_tieng_phap 2263 7 2 0 410 164 91 168 166 6 khoa_tieng_tay_ban_nha 1333 24 7 5 206 75 27 84 82 6 khoa_tieng_trung_quoc 4990 34 12 2 865 299 121 319 311 6 khoa_viet_nam_hoc 604 19 2 0 52 9 3 19 11 7 khoa_cong_nghe_thong_tin 6926 464 91 32 801 263 92 488 354 7 khoa_quan_tri_kinh_doanh_va_du_lich 8989 468 88 31 1143 391 129 563 479 7 khoa_quoc_te_hoc 2755 46 13 9 469 205 72 222 218 7 khoa_tieng_anh 8369 81 11 5 1505 564 150 593 575 7 khoa_tieng_bo_dao_nha 1209 64 8 1 163 60 9 72 68 7 khoa_tieng_duc 2284 26 7 2 372 122 36 127 129 7 khoa_tieng_han_quoc 3434 25 11 4 587 201 64 204 212 7 khoa_tieng_italia 2453 102 29 16 339 144 53 175 173 7 khoa_tieng_nga 1924 65 9 2 296 84 27 107 93 7 khoa_tieng_nhat 2795 50 11 1 464 164 45 175 175 7 khoa_tieng_phap 2915 47 19 4 511 219 51 218 238 7 khoa_tieng_tay_ban_nha 1957 59 17 6 260 96 31 123 113 7 khoa_tieng_trung_quoc 6657 81 37 16 1195 407 148 400 444 7 khoa_viet_nam_hoc 978 68 7 2 92 19 7 34 26 SUITE25 COLD/NEW RETRIEVAL REGIMES — HOLDOUT -------------------------------------------------------------------------------- fold faculty regime model rows failures prevalence ap auc 6 khoa_cong_nghe_thong_tin returning_student+new_course suite25_sacr 82 1 0.012195 0.017544 0.308642 6 khoa_cong_nghe_thong_tin returning_student+new_course suite25_tabr 82 1 0.012195 0.019231 0.370370 6 khoa_cong_nghe_thong_tin returning_student+new_course committee 82 1 0.012195 0.030303 0.604938 6 khoa_cong_nghe_thong_tin returning_student+seen_course suite25_sacr 5569 562 0.100916 0.392433 0.825744 6 khoa_cong_nghe_thong_tin returning_student+seen_course suite25_tabr 5569 562 0.100916 0.272814 0.774460 6 khoa_cong_nghe_thong_tin returning_student+seen_course committee 5569 562 0.100916 0.373790 0.835682 6 khoa_quan_tri_kinh_doanh_va_du_lich new_student+seen_course suite25_sacr 12 5 0.416667 0.796190 0.828571 6 khoa_quan_tri_kinh_doanh_va_du_lich new_student+seen_course suite25_tabr 12 5 0.416667 0.711111 0.685714 6 khoa_quan_tri_kinh_doanh_va_du_lich new_student+seen_course committee 12 5 0.416667 0.597778 0.714286 6 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+new_course suite25_sacr 362 31 0.085635 0.260733 0.758113 6 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+new_course suite25_tabr 362 31 0.085635 0.226523 0.786473 6 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+new_course committee 362 31 0.085635 0.272908 0.832180 6 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+seen_course suite25_sacr 7068 557 0.078806 0.425958 0.861689 6 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+seen_course suite25_tabr 7068 557 0.078806 0.294638 0.813233 6 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+seen_course committee 7068 557 0.078806 0.388068 0.859799 6 khoa_quoc_te_hoc returning_student+new_course suite25_sacr 221 6 0.027149 0.240747 0.771318 6 khoa_quoc_te_hoc returning_student+new_course suite25_tabr 221 6 0.027149 0.382418 0.737597 6 khoa_quoc_te_hoc returning_student+new_course committee 221 6 0.027149 0.366802 0.688760 6 khoa_quoc_te_hoc returning_student+seen_course suite25_sacr 2245 54 0.024053 0.149432 0.814257 6 khoa_quoc_te_hoc returning_student+seen_course suite25_tabr 2245 54 0.024053 0.090654 0.765210 6 khoa_quoc_te_hoc returning_student+seen_course committee 2245 54 0.024053 0.263092 0.841667 6 khoa_tieng_anh new_student+new_course suite25_sacr 1 0 0.000000 NaN NaN 6 khoa_tieng_anh new_student+new_course suite25_tabr 1 0 0.000000 NaN NaN 6 khoa_tieng_anh new_student+new_course committee 1 0 0.000000 NaN NaN 6 khoa_tieng_anh new_student+seen_course suite25_sacr 135 7 0.051852 0.058135 0.529018 6 khoa_tieng_anh new_student+seen_course suite25_tabr 135 7 0.051852 0.063868 0.559152 6 khoa_tieng_anh new_student+seen_course committee 135 7 0.051852 0.082122 0.633929 6 khoa_tieng_anh returning_student+new_course suite25_sacr 717 8 0.011158 0.282214 0.694464 6 khoa_tieng_anh returning_student+new_course suite25_tabr 717 8 0.011158 0.279931 0.784027 6 khoa_tieng_anh returning_student+new_course committee 717 8 0.011158 0.361699 0.806682 6 khoa_tieng_anh returning_student+seen_course suite25_sacr 5351 107 0.019996 0.241356 0.819222 6 khoa_tieng_anh returning_student+seen_course suite25_tabr 5351 107 0.019996 0.166665 0.791372 6 khoa_tieng_anh returning_student+seen_course committee 5351 107 0.019996 0.288659 0.826978 6 khoa_tieng_bo_dao_nha returning_student+new_course suite25_sacr 136 17 0.125000 0.530474 0.832427 6 khoa_tieng_bo_dao_nha returning_student+new_course suite25_tabr 136 17 0.125000 0.516791 0.830450 6 khoa_tieng_bo_dao_nha returning_student+new_course committee 136 17 0.125000 0.642827 0.842313 6 khoa_tieng_bo_dao_nha returning_student+seen_course suite25_sacr 756 56 0.074074 0.431727 0.885765 6 khoa_tieng_bo_dao_nha returning_student+seen_course suite25_tabr 756 56 0.074074 0.450585 0.883342 6 khoa_tieng_bo_dao_nha returning_student+seen_course committee 756 56 0.074074 0.519533 0.893495 6 khoa_tieng_duc new_student+seen_course suite25_sacr 14 1 0.071429 0.200000 0.692308 6 khoa_tieng_duc new_student+seen_course suite25_tabr 14 1 0.071429 0.125000 0.461538 6 khoa_tieng_duc new_student+seen_course committee 14 1 0.071429 0.166667 0.615385 6 khoa_tieng_duc returning_student+new_course suite25_sacr 252 13 0.051587 0.556708 0.926135 6 khoa_tieng_duc returning_student+new_course suite25_tabr 252 13 0.051587 0.396944 0.912295 6 khoa_tieng_duc returning_student+new_course committee 252 13 0.051587 0.544837 0.921468 6 khoa_tieng_duc returning_student+seen_course suite25_sacr 1573 70 0.044501 0.475970 0.920369 6 khoa_tieng_duc returning_student+seen_course suite25_tabr 1573 70 0.044501 0.438353 0.927070 6 khoa_tieng_duc returning_student+seen_course committee 1573 70 0.044501 0.464772 0.928087 6 khoa_tieng_han_quoc new_student+seen_course suite25_sacr 5 0 0.000000 NaN NaN 6 khoa_tieng_han_quoc new_student+seen_course suite25_tabr 5 0 0.000000 NaN NaN 6 khoa_tieng_han_quoc new_student+seen_course committee 5 0 0.000000 NaN NaN 6 khoa_tieng_han_quoc returning_student+new_course suite25_sacr 767 61 0.079531 0.412324 0.835392 6 khoa_tieng_han_quoc returning_student+new_course suite25_tabr 767 61 0.079531 0.443476 0.805624 6 khoa_tieng_han_quoc returning_student+new_course committee 767 61 0.079531 0.351014 0.818813 6 khoa_tieng_han_quoc returning_student+seen_course suite25_sacr 2505 62 0.024750 0.259259 0.837303 6 khoa_tieng_han_quoc returning_student+seen_course suite25_tabr 2505 62 0.024750 0.252344 0.819629 6 khoa_tieng_han_quoc returning_student+seen_course committee 2505 62 0.024750 0.250917 0.873982 6 khoa_tieng_italia new_student+seen_course suite25_sacr 10 1 0.100000 0.500000 0.888889 6 khoa_tieng_italia new_student+seen_course suite25_tabr 10 1 0.100000 0.500000 0.888889 6 khoa_tieng_italia new_student+seen_course committee 10 1 0.100000 0.333333 0.777778 6 khoa_tieng_italia returning_student+new_course suite25_sacr 366 27 0.073770 0.198307 0.734896 6 khoa_tieng_italia returning_student+new_course suite25_tabr 366 27 0.073770 0.194369 0.715558 6 khoa_tieng_italia returning_student+new_course committee 366 27 0.073770 0.239045 0.697804 6 khoa_tieng_italia returning_student+seen_course suite25_sacr 1650 66 0.040000 0.261702 0.831908 6 khoa_tieng_italia returning_student+seen_course suite25_tabr 1650 66 0.040000 0.161385 0.809439 6 khoa_tieng_italia returning_student+seen_course committee 1650 66 0.040000 0.234140 0.839742 6 khoa_tieng_nga new_student+seen_course suite25_sacr 5 1 0.200000 1.000000 1.000000 6 khoa_tieng_nga new_student+seen_course suite25_tabr 5 1 0.200000 0.200000 0.000000 6 khoa_tieng_nga new_student+seen_course committee 5 1 0.200000 0.200000 0.000000 6 khoa_tieng_nga returning_student+new_course suite25_sacr 405 42 0.103704 0.324782 0.742293 6 khoa_tieng_nga returning_student+new_course suite25_tabr 405 42 0.103704 0.389960 0.772268 6 khoa_tieng_nga returning_student+new_course committee 405 42 0.103704 0.385260 0.728683 6 khoa_tieng_nga returning_student+seen_course suite25_sacr 1432 162 0.113128 0.538534 0.831948 6 khoa_tieng_nga returning_student+seen_course suite25_tabr 1432 162 0.113128 0.431509 0.815281 6 khoa_tieng_nga returning_student+seen_course committee 1432 162 0.113128 0.520902 0.797217 6 khoa_tieng_nhat new_student+seen_course suite25_sacr 7 2 0.285714 0.309524 0.300000 6 khoa_tieng_nhat new_student+seen_course suite25_tabr 7 2 0.285714 0.642857 0.500000 6 khoa_tieng_nhat new_student+seen_course committee 7 2 0.285714 0.242857 0.100000 6 khoa_tieng_nhat returning_student+new_course suite25_sacr 608 48 0.078947 0.345715 0.829390 6 khoa_tieng_nhat returning_student+new_course suite25_tabr 608 48 0.078947 0.284250 0.786533 6 khoa_tieng_nhat returning_student+new_course committee 608 48 0.078947 0.307945 0.792764 6 khoa_tieng_nhat returning_student+seen_course suite25_sacr 1915 38 0.019843 0.196937 0.882273 6 khoa_tieng_nhat returning_student+seen_course suite25_tabr 1915 38 0.019843 0.176053 0.913145 6 khoa_tieng_nhat returning_student+seen_course committee 1915 38 0.019843 0.166848 0.881810 6 khoa_tieng_phap new_student+seen_course suite25_sacr 8 1 0.125000 0.333333 0.714286 6 khoa_tieng_phap new_student+seen_course suite25_tabr 8 1 0.125000 1.000000 1.000000 6 khoa_tieng_phap new_student+seen_course committee 8 1 0.125000 0.333333 0.714286 6 khoa_tieng_phap returning_student+new_course suite25_sacr 327 6 0.018349 0.295242 0.854102 6 khoa_tieng_phap returning_student+new_course suite25_tabr 327 6 0.018349 0.137875 0.840083 6 khoa_tieng_phap returning_student+new_course committee 327 6 0.018349 0.332606 0.855919 6 khoa_tieng_phap returning_student+seen_course suite25_sacr 1928 43 0.022303 0.364744 0.921017 6 khoa_tieng_phap returning_student+seen_course suite25_tabr 1928 43 0.022303 0.284867 0.882981 6 khoa_tieng_phap returning_student+seen_course committee 1928 43 0.022303 0.295941 0.921387 6 khoa_tieng_tay_ban_nha returning_student+new_course suite25_sacr 232 11 0.047414 0.749030 0.974085 6 khoa_tieng_tay_ban_nha returning_student+new_course suite25_tabr 232 11 0.047414 0.236230 0.869190 6 khoa_tieng_tay_ban_nha returning_student+new_course committee 232 11 0.047414 0.672803 0.956808 6 khoa_tieng_tay_ban_nha returning_student+seen_course suite25_sacr 1101 74 0.067212 0.433507 0.846535 6 khoa_tieng_tay_ban_nha returning_student+seen_course suite25_tabr 1101 74 0.067212 0.301328 0.852943 6 khoa_tieng_tay_ban_nha returning_student+seen_course committee 1101 74 0.067212 0.341771 0.842720 6 khoa_tieng_trung_quoc new_student+new_course suite25_sacr 104 16 0.153846 0.574508 0.801136 6 khoa_tieng_trung_quoc new_student+new_course suite25_tabr 104 16 0.153846 0.560285 0.887074 6 khoa_tieng_trung_quoc new_student+new_course committee 104 16 0.153846 0.356641 0.774858 6 khoa_tieng_trung_quoc new_student+seen_course suite25_sacr 32 5 0.156250 0.397222 0.822222 6 khoa_tieng_trung_quoc new_student+seen_course suite25_tabr 32 5 0.156250 0.404650 0.822222 6 khoa_tieng_trung_quoc new_student+seen_course committee 32 5 0.156250 0.488889 0.851852 6 khoa_tieng_trung_quoc returning_student+new_course suite25_sacr 1733 94 0.054241 0.382130 0.871269 6 khoa_tieng_trung_quoc returning_student+new_course suite25_tabr 1733 94 0.054241 0.369287 0.895889 6 khoa_tieng_trung_quoc returning_student+new_course committee 1733 94 0.054241 0.408140 0.873480 6 khoa_tieng_trung_quoc returning_student+seen_course suite25_sacr 3121 52 0.016661 0.290593 0.920232 6 khoa_tieng_trung_quoc returning_student+seen_course suite25_tabr 3121 52 0.016661 0.233875 0.907330 6 khoa_tieng_trung_quoc returning_student+seen_course committee 3121 52 0.016661 0.301190 0.914467 6 khoa_viet_nam_hoc new_student+new_course suite25_sacr 3 3 1.000000 NaN NaN 6 khoa_viet_nam_hoc new_student+new_course suite25_tabr 3 3 1.000000 NaN NaN 6 khoa_viet_nam_hoc new_student+new_course committee 3 3 1.000000 NaN NaN 6 khoa_viet_nam_hoc new_student+seen_course suite25_sacr 6 2 0.333333 1.000000 1.000000 6 khoa_viet_nam_hoc new_student+seen_course suite25_tabr 6 2 0.333333 1.000000 1.000000 6 khoa_viet_nam_hoc new_student+seen_course committee 6 2 0.333333 1.000000 1.000000 6 khoa_viet_nam_hoc returning_student+new_course suite25_sacr 79 19 0.240506 0.764542 0.886842 6 khoa_viet_nam_hoc returning_student+new_course suite25_tabr 79 19 0.240506 0.624805 0.812281 6 khoa_viet_nam_hoc returning_student+new_course committee 79 19 0.240506 0.851186 0.911404 6 khoa_viet_nam_hoc returning_student+seen_course suite25_sacr 516 64 0.124031 0.534078 0.912645 6 khoa_viet_nam_hoc returning_student+seen_course suite25_tabr 516 64 0.124031 0.633438 0.908704 6 khoa_viet_nam_hoc returning_student+seen_course committee 516 64 0.124031 0.657437 0.919801 7 khoa_cong_nghe_thong_tin new_student+new_course suite25_sacr 554 159 0.287004 0.499310 0.717347 7 khoa_cong_nghe_thong_tin new_student+new_course suite25_tabr 554 159 0.287004 0.426334 0.662686 7 khoa_cong_nghe_thong_tin new_student+new_course committee 554 159 0.287004 0.575365 0.781960 7 khoa_cong_nghe_thong_tin new_student+seen_course suite25_sacr 1591 299 0.187932 0.475316 0.778123 7 khoa_cong_nghe_thong_tin new_student+seen_course suite25_tabr 1591 299 0.187932 0.418265 0.737727 7 khoa_cong_nghe_thong_tin new_student+seen_course committee 1591 299 0.187932 0.535750 0.802652 7 khoa_cong_nghe_thong_tin returning_student+new_course suite25_sacr 217 21 0.096774 0.200630 0.605564 7 khoa_cong_nghe_thong_tin returning_student+new_course suite25_tabr 217 21 0.096774 0.328552 0.821307 7 khoa_cong_nghe_thong_tin returning_student+new_course committee 217 21 0.096774 0.262296 0.763484 7 khoa_cong_nghe_thong_tin returning_student+seen_course suite25_sacr 4564 569 0.124671 0.345130 0.810565 7 khoa_cong_nghe_thong_tin returning_student+seen_course suite25_tabr 4564 569 0.124671 0.360383 0.798100 7 khoa_cong_nghe_thong_tin returning_student+seen_course committee 4564 569 0.124671 0.415861 0.810585 7 khoa_quan_tri_kinh_doanh_va_du_lich new_student+new_course suite25_sacr 343 71 0.206997 0.347526 0.685688 7 khoa_quan_tri_kinh_doanh_va_du_lich new_student+new_course suite25_tabr 343 71 0.206997 0.409439 0.741560 7 khoa_quan_tri_kinh_doanh_va_du_lich new_student+new_course committee 343 71 0.206997 0.417228 0.726129 7 khoa_quan_tri_kinh_doanh_va_du_lich new_student+seen_course suite25_sacr 2760 424 0.153623 0.361861 0.743133 7 khoa_quan_tri_kinh_doanh_va_du_lich new_student+seen_course suite25_tabr 2760 424 0.153623 0.359308 0.736536 7 khoa_quan_tri_kinh_doanh_va_du_lich new_student+seen_course committee 2760 424 0.153623 0.387060 0.758517 7 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+new_course suite25_sacr 185 6 0.032432 0.087020 0.748603 7 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+new_course suite25_tabr 185 6 0.032432 0.079181 0.772812 7 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+new_course committee 185 6 0.032432 0.102071 0.743948 7 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+seen_course suite25_sacr 5701 622 0.109104 0.412392 0.841634 7 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+seen_course suite25_tabr 5701 622 0.109104 0.398654 0.838895 7 khoa_quan_tri_kinh_doanh_va_du_lich returning_student+seen_course committee 5701 622 0.109104 0.455243 0.850478 7 khoa_quoc_te_hoc new_student+seen_course suite25_sacr 799 57 0.071339 0.479236 0.843146 7 khoa_quoc_te_hoc new_student+seen_course suite25_tabr 799 57 0.071339 0.369543 0.793044 7 khoa_quoc_te_hoc new_student+seen_course committee 799 57 0.071339 0.257286 0.798718 7 khoa_quoc_te_hoc returning_student+new_course suite25_sacr 301 2 0.006645 0.583333 0.996656 7 khoa_quoc_te_hoc returning_student+new_course suite25_tabr 301 2 0.006645 0.225000 0.983278 7 khoa_quoc_te_hoc returning_student+new_course committee 301 2 0.006645 0.416667 0.993311 7 khoa_quoc_te_hoc returning_student+seen_course suite25_sacr 1655 69 0.041692 0.263472 0.804229 7 khoa_quoc_te_hoc returning_student+seen_course suite25_tabr 1655 69 0.041692 0.212289 0.805856 7 khoa_quoc_te_hoc returning_student+seen_course committee 1655 69 0.041692 0.245671 0.834978 7 khoa_tieng_anh new_student+new_course suite25_sacr 82 1 0.012195 1.000000 1.000000 7 khoa_tieng_anh new_student+new_course suite25_tabr 82 1 0.012195 0.111111 0.901235 7 khoa_tieng_anh new_student+new_course committee 82 1 0.012195 0.333333 0.975309 7 khoa_tieng_anh new_student+seen_course suite25_sacr 1911 98 0.051282 0.182023 0.756155 7 khoa_tieng_anh new_student+seen_course suite25_tabr 1911 98 0.051282 0.182355 0.759886 7 khoa_tieng_anh new_student+seen_course committee 1911 98 0.051282 0.235271 0.818189 7 khoa_tieng_anh returning_student+new_course suite25_sacr 992 7 0.007056 0.264791 0.867440 7 khoa_tieng_anh returning_student+new_course suite25_tabr 992 7 0.007056 0.213356 0.850326 7 khoa_tieng_anh returning_student+new_course committee 992 7 0.007056 0.259086 0.862074 7 khoa_tieng_anh returning_student+seen_course suite25_sacr 5384 144 0.026746 0.224277 0.834432 7 khoa_tieng_anh returning_student+seen_course suite25_tabr 5384 144 0.026746 0.240359 0.830981 7 khoa_tieng_anh returning_student+seen_course committee 5384 144 0.026746 0.235311 0.832065 7 khoa_tieng_bo_dao_nha new_student+new_course suite25_sacr 149 10 0.067114 0.667964 0.938849 7 khoa_tieng_bo_dao_nha new_student+new_course suite25_tabr 149 10 0.067114 0.595032 0.896403 7 khoa_tieng_bo_dao_nha new_student+new_course committee 149 10 0.067114 0.461196 0.897842 7 khoa_tieng_bo_dao_nha new_student+seen_course suite25_sacr 217 38 0.175115 0.530860 0.833578 7 khoa_tieng_bo_dao_nha new_student+seen_course suite25_tabr 217 38 0.175115 0.497758 0.790062 7 khoa_tieng_bo_dao_nha new_student+seen_course committee 217 38 0.175115 0.519484 0.829903 7 khoa_tieng_bo_dao_nha returning_student+new_course suite25_sacr 93 4 0.043011 0.115262 0.766854 7 khoa_tieng_bo_dao_nha returning_student+new_course suite25_tabr 93 4 0.043011 0.224301 0.898876 7 khoa_tieng_bo_dao_nha returning_student+new_course committee 93 4 0.043011 0.400000 0.851124 7 khoa_tieng_bo_dao_nha returning_student+seen_course suite25_sacr 750 91 0.121333 0.332493 0.772216 7 khoa_tieng_bo_dao_nha returning_student+seen_course suite25_tabr 750 91 0.121333 0.360830 0.780903 7 khoa_tieng_bo_dao_nha returning_student+seen_course committee 750 91 0.121333 0.399807 0.780286 7 khoa_tieng_duc new_student+seen_course suite25_sacr 656 29 0.044207 0.192950 0.809492 7 khoa_tieng_duc new_student+seen_course suite25_tabr 656 29 0.044207 0.248452 0.858274 7 khoa_tieng_duc new_student+seen_course committee 656 29 0.044207 0.220736 0.837871 7 khoa_tieng_duc returning_student+new_course suite25_sacr 133 0 0.000000 NaN NaN 7 khoa_tieng_duc returning_student+new_course suite25_tabr 133 0 0.000000 NaN NaN 7 khoa_tieng_duc returning_student+new_course committee 133 0 0.000000 NaN NaN 7 khoa_tieng_duc returning_student+seen_course suite25_sacr 1495 82 0.054849 0.359934 0.887171 7 khoa_tieng_duc returning_student+seen_course suite25_tabr 1495 82 0.054849 0.334577 0.889873 7 khoa_tieng_duc returning_student+seen_course committee 1495 82 0.054849 0.347522 0.886481 7 khoa_tieng_han_quoc new_student+seen_course suite25_sacr 821 26 0.031669 0.243830 0.827818 7 khoa_tieng_han_quoc new_student+seen_course suite25_tabr 821 26 0.031669 0.201471 0.859507 7 khoa_tieng_han_quoc new_student+seen_course committee 821 26 0.031669 0.308034 0.856628 7 khoa_tieng_han_quoc returning_student+new_course suite25_sacr 872 68 0.077982 0.571060 0.911810 7 khoa_tieng_han_quoc returning_student+new_course suite25_tabr 872 68 0.077982 0.575722 0.905939 7 khoa_tieng_han_quoc returning_student+new_course committee 872 68 0.077982 0.584135 0.900360 7 khoa_tieng_han_quoc returning_student+seen_course suite25_sacr 1741 31 0.017806 0.275778 0.925731 7 khoa_tieng_han_quoc returning_student+seen_course suite25_tabr 1741 31 0.017806 0.230815 0.931315 7 khoa_tieng_han_quoc returning_student+seen_course committee 1741 31 0.017806 0.468586 0.960875 7 khoa_tieng_italia new_student+new_course suite25_sacr 124 9 0.072581 0.497469 0.934300 7 khoa_tieng_italia new_student+new_course suite25_tabr 124 9 0.072581 0.522707 0.906280 SUITE25 RETRIEVAL-SUPPORT vs GAIN CORRELATIONS — HOLDOUT -------------------------------------------------------------------------------- support cells pearson_r same_student_mean 28 0.253961 same_course_mean 28 -0.202680 structural_mean 28 0.305691 state_mean 28 NaN SUITE25 CONTEXT-K SENSITIVITY — HOLDOUT -------------------------------------------------------------------------------- context_per_pool macro_ap macro_auc 4 0.337383 0.840421 8 0.341269 0.842423 16 0.342866 0.842883 SUITE25 PREDECLARED PREMISE / SUCCESS AUDIT -------------------------------------------------------------------------------- premise mean_delta_ap wins cells verdict meaningful_faculty_losses it_delta_ap mean_delta_f2 fold_6_delta_ap fold_7_delta_ap retrieval_B_minus_MLP 0.012912 19 28 SUPPORTED NaN NaN NaN NaN NaN structure_aware_C_minus_Tabr 0.032387 18 28 SUPPORTED NaN NaN NaN NaN NaN primary_beats_committee -0.008883 13 28 NOT_SUPPORTED NaN NaN NaN NaN NaN primary_beats_suite22 -0.027890 6 28 NOT_SUPPORTED NaN NaN NaN NaN NaN primary_beats_suite23 -0.016995 10 28 NOT_SUPPORTED NaN NaN NaN NaN NaN primary_beats_suite24 -0.012985 13 28 NOT_SUPPORTED NaN NaN NaN NaN NaN ablation_no_retrieval_should_hurt -0.063425 24 28 SUPPORTED NaN NaN NaN NaN NaN ablation_no_labels_should_hurt -0.087432 25 28 SUPPORTED NaN NaN NaN NaN NaN ablation_no_student_pool_should_hurt -0.030502 18 28 SUPPORTED NaN NaN NaN NaN NaN ablation_no_same_course_pool_should_hurt -0.002602 13 28 WEAK_SUPPORT NaN NaN NaN NaN NaN ablation_no_structural_pool_should_hurt 0.000001 11 28 NOT_SUPPORTED NaN NaN NaN NaN NaN ablation_no_state_pool_should_hurt -0.002455 15 28 WEAK_SUPPORT NaN NaN NaN NaN NaN ablation_no_relation_meta_should_hurt -0.002000 18 28 WEAK_SUPPORT NaN NaN NaN NaN NaN ablation_fixed_pool_gates_should_hurt -0.012971 19 28 SUPPORTED NaN NaN NaN NaN NaN shuffled_candidate_labels_should_hurt -0.075634 24 28 SUPPORTED NaN NaN NaN NaN NaN PROJECT_COUNCIL_BREAKTHROUGH -0.066570 0 1 NOT_SUCCESSFUL 1.0 -0.06657 -0.068544 -0.02944 -0.103699 [DONE] Suite25 complete in 4.03 hours | output=/root/disk_3tb/earlywarning/30072026/results/suite25_structure_aware_chronological_retrieval [RUN] Suite25 completed 2026-09-28T13:09:21+00:00