# 00 — Inventory: BẢNG ĐEN các phương pháp ĐÃ ÁP DỤNG (EEG-sAAD)

Lập ngày 2026-11-06 từ file trên đĩa. Không train, không chạy lại gì. Bản JSON cùng nội dung: `00_inventory.json`
(trường `best_metrics`, `forbidden_methods[]`, `train_entrypoints[]`, `eval_entrypoints[]`, `data_paths`, `gaps`).
`_build_inventory_json.py` là script sinh JSON.

Quy ước: H là phân số (0,85 = 85). Acc là phần trăm. "LODO" = train 4 dataset, giữ 1 dataset ra ngoài, chấm bằng lịch
switch tổng hợp; trung bình 5 fold là con số "5 dataset". "Real" = AASD / Carta2026, switch thật.

## 0. Ba điều cần biết trước khi đọc tiếp

1. **Không có file tên "train-together".** "Train 5 dataset cùng nhau" tồn tại ở hai dạng: (a) mỗi fold LODO train trên 4 dataset
   và chấm dataset thứ 5; (b) checkpoint `all5` (train trên cả 5 dataset, classifier thêm Fuglsang + khởi tạo SparrKULee), chỉ
   dùng để chấm AASD/Carta. Metric "5 dataset" duy nhất không bị rò là (a).
2. **Họ `stem_ms96` (H 0,87–0,884) không đáng tin.** Mạng tầng 2 không phản đối xứng: nhãn `y=(att==0)`, đầu ra có bias zero-init,
   cửa sổ đệm 0 ở đầu trial, embedding vị trí tuyệt đối. Audit của repo dataset trên đúng mạng này (zip `eeg-thao.zip`) thấy 24 s đầu
   trial là hằng "cột 0": LODO 0,863 → 0,827 khi đối xứng hoá, real Carta chỉ 0,55. Trong workspace chưa từng chạy kiểm tra đổi cột /
   đối xứng / bất biến vị trí cho bất kỳ biến thể `stem` nào. Trên real, tip của họ này: AASD 0,622 / 51,2, Carta 0,553 / 49,4.
3. **Trần hiện tại là độ chính xác EEG, không phải khâu quyết định.** AASD Acc 52–54 % (acc1 0,50–0,54). Hơn 150 biến thể hậu xử
   lý (T, isotonic, stack, gate, CORAL, HMM) không đưa AASD Acc vượt 54,05.

## 1. Metric tốt nhất hiện có

### 1.1 5 dataset, LODO tổng hợp (H / Acc %)

| Cấu hình | Mean H | Mean Acc | AVGC | DTU | KUL | UHD | USTC | Độ tin cậy |
|---|---:|---:|---|---|---|---|---|---|
| **Honest**: 4 decoder + 4 classifier `sw2`, a 0,5, p_stay 0,998, prep `eaP_n5_t60` | **0,7981** | 73,30 | 0,726 | 0,842 | 0,809 | 0,791 | 0,823 | phản đối xứng; nhiễu lịch ±0,0015 |
| cùng pipeline, p_stay 0,9997, classifier 70 % | 0,8003 | — | | | | | | tệ nhất trên real |
| Tip số học (không kiểm chứng): focal-IRM↔synth fuse + `held_T_nll_med` | 0,8844 | 83,38 | 0,8245/75,64 | 0,9221/90,33 | 0,8825/82,94 | 0,8630/80,82 | 0,9298/87,15 | **nghi cột-0** |
| `causal_eeg_nested_lodo.py` (p_stay/scale/tau/threshold chọn bằng inner LODO) | 0,8834 | 83,45 | 0,8200/75,75 | 0,9225/90,38 | 0,8828/83,08 | 0,8621/80,92 | 0,9297/87,14 | **nghi cột-0**; xong 2026-11-06 |
| `stem_ms96` công bố (nested) | 0,8677 | 82,42 | 0,7945/74,06 | 0,9061/89,85 | 0,8755/82,33 | 0,8407/79,47 | 0,9219/86,36 | nghi cột-0 |
| Fuse khác: IRM↔SWA 0,8725/82,58; IRM↔synth 0,8790/83,11; focal↔synth 0,8821/83,36; Group-DRO fuse 0,8743/82,73 | | | AVGC 0,8100–0,8226 | | | | | nghi cột-0 |

Mục tiêu trong ledger: mean H ≥ 0,85 và Acc ≥ 78 (họ stem "đạt" nhưng nghi ngờ); từng dataset ≥ 0,85/78: AVGC chưa đạt ở mọi hệ (tốt nhất 0,8245/75,64).
Các track khác (Nov 3–6, repo dataset): recipe-aug 4+4 mean H 0,7937 (so `sw2` 0,7981 cùng file); BMMS enhanced/3feature: thấp hơn `sw2` trên DTU/KUL/UHD;
rate-transformer 75/25: 0,7535. Không track nào vượt 0,7981 mà phản đối xứng.

### 1.2 Real switches, AASD / Carta2026 (all5, nhãn thật không dùng để fit)

| Cấu hình | AASD H / Acc | Carta H / Acc | Ghi chú |
|---|---|---|---|
| `linear_hp30` (HP một cực τ 30 s trên 4 logit classifier, rồi trung bình), p 0,994/scale 0,8 | **0,6422 / 53,12** | **0,6520 / 60,54** | thắng Carta; LODO chỉ 0,7899/69,21 nên không dùng làm train model |
| tip Acc: `tip_fuse_a0.50@SW2emis` (speech-xattn↔hard_abs_swmix) | 0,6453 / **54,05** | 0,6488 / **60,60** | Acc cao nhất trên đĩa |
| SW2 `soft_hp50` | 0,6447 / 53,51 | 0,6498 / 60,17 | |
| mean 4 logit classifier, p 0,998 (mốc published) | 0,6329 / 52,11 | 0,6427 / 58,73 | |
| AASD H cao nhất trên đĩa (quét p_stay bằng nhãn test, bất hợp lệ): `RB` p 0,95 | 0,6525 / 54,03 | | không dùng làm headline |
| Giữ làm hướng nghiên cứu: semi-Markov B1 `m5 k1,5` | 0,654 | 0,651 | synthetic −0,016 |
| Họ stem trên real (xấu) | 0,6224 / 51,18 | 0,5556 / 49,51 | `causal_eeg_nested_lodo`, cfg đóng băng p 0,985/scale 0,65/τ 0/thr 0,65 |
| `stem_ms96` công bố | 0,6158 / 51,54 | 0,5695 / 51,03 | |

Trạng thái mục tiêu: AASD H > 0,63 đạt; **AASD Acc > 60 không đạt (max 54,05)**; Carta H > 0,63 và Acc > 60 chỉ đạt bởi `linear_hp30` / tip xattn.
Không mô hình nào đồng thời đạt train mean và cả hai external.

## 2. Cấu trúc code

### 2.1 Hai cây code (trùng nhau một phần)

| Cây | Vai trò |
|---|---|
| `/root/disk_3tb/eeg-thao/` (workspace, 17 GB, không phải git) | bản sao pipeline + ~120 script thí nghiệm của agent `multi_agent_opt`; `models/` (102 thư mục), `folds/`, `results/`, `experiments/*.log` (256 log) |
| `/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/` (git, 104 commit) | pipeline gốc "best legal" (README_BEST), runners/jobqueue, track Nov 3–6 (BMMS, recipe, antisym, nested stack, foundation models) |
| `.../eeg-thao_unzipped/eeg-thao/` | bản giải nén của zip; **không chạy mã, không nạp pickle** |

Python: `/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/.venv/bin/python`. Wrapper workspace: `./run.sh script.py`. GPU: 1× V100-32GB; lấy `flock`
trên `multi_agent_opt/gpu.lock`. Máy dùng chung, RAM 24 GB, job nặng qua `runners/jobqueue.py`.

### 2.2 Module chính

| Lớp | File | Nội dung |
|---|---|---|
| Config | `config.yaml`, `common_exp.py`, `common.py` (từ `reports/eda_full/scripts`) | preps, DS_KEYS `AVGC DTU KUL UHD USTC`, hằng HMM |
| Prep | `prepare_data.py`, `build_ea_prior.py`, `build_glimpse.py` | `eaP_n5_t60`, speech `env/onset/dom` |
| Mạng | `decoders.py` (130 KB), `direct_classifier.py`, `vlaai_ws_model.py` | vlaai_ws decoder 5 s/classifier 10 s |
| Pretrain | `pretrain_sparrkulee.py` | match/mismatch SparrKULee |
| Fusion/HMM | `fuse_general.py`, `fuse_external.py`, `integrators.py`, `hmm_bank.py`, `msm.py` | LDA + HMM |
| Chấm | `score.py`, `eval_external.py`, `eval_external_clf.py`, `reports/eda_full/scripts/scorer.py` | official H |
| Tầng 2 logit | `ensemble_clf_transformer{,_v2,_v3,_v4}.py`, `stem_ms96_*.py`, `causal_ds_temp.py`, `causal_eeg_nested_lodo.py` | họ stem + decision layer |
| Audit | `leakage_test.py`, `leakage_test_b1.py`, `eval_stem_external.py`, `analyze_attention_transitions.py` | lookahead ≤ 0,969 s, đổi cột |

## 3. Cách chạy

### 3.1 Train (5 dataset)

```bash
PY=/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/.venv/bin/python
cd /root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo   # P=eaP_n5_t60
$PY build_ea_prior.py && $PY prepare_data.py eaP_n5_t60
# classifier 10 s, 3 khối, seed S (LODO 5 fold)
GLIMPSE_THR=onorm $PY direct_classifier.py --prep eaP_n5_t60 --window-s 10 --set model_blocks=3 \
  --init-from models/pretrain_spk_direct_clf_w10_b3_sS.pt --min-epochs 10 --train-seed S \
  --p-switch 0.5 --aug-set clf_p_switch2=0.5 --tag _w10b3_ptSPK_sS_aug-sw2
# decoder seed S
GLIMPSE_THR=norm $PY run_experiment.py --decoder vlaai_ws --prep eaP_n5_t60 --aug-variant cluster \
  --extra-train Fuglsang2020 --targets env,onset,dom --init-from models/pretrain_spk_vlaai_ws_sS.pt \
  --evidence-weights lda --tag _aug_cluster_onset_dom_xFUG_ptSPK_sS --train-seed S
# ghép + HMM (in H trung bình và từng dataset)
$PY fuse_general.py --dec D D_s1 D_s2 D_s3 --clf W_aug-sw2 W_s1_aug-sw2 W_s2_aug-sw2 W_s3_aug-sw2 --a 0.5 --pstay 0.997 0.998 0.9997
```

Họ stem (cảnh báo nghi cột-0):
```bash
cd /root/disk_3tb/eeg-thao
STEPS=1000 BATCH=512 $PY -u ensemble_clf_transformer_v2.py             # LODO nested + models/logit_tf_v2
STEPS=800 flock multi_agent_opt/gpu.lock $PY -u stem_ms96_group_dro.py  # mẫu fine-tune: held-*.pt + all5.pt
```

### 3.2 Evaluate AASD / Carta2026

```bash
# classifier all5 (train 5 dataset + Fuglsang, chạy causal trên external)
GLIMPSE_THR=onorm $PY eval_external_clf.py --seed S --window-s 10 --prep eaP_n5_t60 --set model_blocks=3 \
   --init-from models/pretrain_spk_direct_clf_w10_b3_sS.pt --ref direct_clf__eaP_n5_t60_w10b3_ptSPK_sS_aug-sw2 \
   --p-switch 0.5 --aug-set clf_p_switch2=0.5 --tag _w10b3sw2P
$PY fuse_external.py --dec CORPUS_EXP:SEED ... --clf CORPUS_EXP:EXT_TAG:SEED ... --a 0.5 --pstay 0.998
MODE=external STEPS=800 $PY -u ensemble_clf_transformer_v4.py          # linear_hp30 / rel_ms / rel_hp
$PY eval_stem_external.py --ckpt-dir DIR                               # mean4 / orig / sym (audit đối xứng)
```
Emission HMM luôn lấy từ LODO fold của chính cấu hình; không dùng nhãn AASD/Carta để fit hay chọn headline.
Dữ liệu: `experiments/external_data/{AASD,Carta2026}/cache/eaP_n5_t60/*.npz` (AASD 900 trial, Carta 480 trial).

## 4. DANH SÁCH CẤM (đầy đủ trong JSON, 79 mục)

`in_stack` = đã nằm trong recipe nền, được dùng nguyên trạng làm thành phần cố định nhưng không chạy lại hay tinh chỉnh.
`integrity_suspect` = số có thể bị thổi phồng bởi ưu tiên cột/vị trí; không chạy lại.

| Nhóm | Đã dùng, không chạy lại nguyên bản |
|---|---|
| Prep | filtfilt 1–9 Hz + CAR + z-score cả trial + `eaP_n5_t60` (nền); running z, FFT, 3-band EQ, gamma, phase, AR whitening, lưới EA, `mat_reac` (bất hợp lệ), Laplacian (NN/CSD), bipolar, lp7, Hjorth, speech-feature thừa |
| Kiến trúc | vlaai_ws 3 khối (nền) và mọi biến thể khối/filter/cửa sổ; ADT, HappyQuokka, Deformer, SSMamba; ATCNet, Conformer, ShallowConvNet, DeepConvNet, EEG-TCNet, EEGNet, WaveNet, Mamba, TFDirect, TSception, FBCNet, SpecViT, xcorr; FIR/Morlet/FBCNet residual; FiLM/graph/SE/MixStyle; speech-xattn/temp-attn/aux-env/InfoNCE; BMMSNet (3 biến thể); foundation models (CBraMod, BrainOmni, BIOT, LaBraM, EEGPT) |
| Loss | BCE antisym + Pearson (nền); CRF/sequence loss; adversarial/DANN/GRL; mixup, label smoothing, focal, soft-H, group-DRO/CVaR, IRMv1, PCGrad, SAM, RSC, SWA, layer-wise LR, DropPath, AVGC upweight/curriculum |
| Augmentation | cluster drop (nền), `sw2` (nền); noise, pclus, covmix, tilt, lag ±60 ms (−0,03), featdrop; schedule FT (denser/longer/shorter switch), cross-fade, label delay, lapse, babble, montage, time-warp, straddle-real, recipe variable-rate/rate-aux/masked-rate |
| SSL | VICReg, Barlow, temporal CPC |
| Dữ liệu | Fuglsang + SparrKULee init (nền); trộn SparrKULee 25 %, Broderick (0,740), AASD/Carta vào train (A1–A5, LODO xreal): đều tệ hơn; self-training giả nhãn |
| Tầng 2 logit | v1/v2/v3/v4 transformer, `stem_ms96` và mọi fine-tune/blend/stack (xem JSON LOG-*) |
| Quyết định | HMM p_stay 0,994/0,998 + scale 0,8 (nền); tempering, Student-t, CUSUM, multi-rate, MSM; BOCPD (dừng); semi-Markov B1 và learned rule B3 (**giữ mở**, tham số chưa chốt); posterior EMA; threshold; nested decision layer; T/Platt/isotonic/stack; MoE/gate/agree-gate; CORAL, online-moment, emission adapt, prototype memory, subject-cond calib |
| Path A | TRF lag-bank (broadband, 1–8, dual), DSS, CSP-MDM, Hilbert PLV: AASD ≤ 52,1 / Carta ≤ 55,6 |
| Ensemble | 4 seed classifier + 4 seed decoder (nền); LDA/logreg/inv-var stack; fractional HP; SW2↔swmix/hp30/tri blend; 5th seed; prep-diverse bank; fuse a-grid |

Mốc nền (không chạy lại, dùng làm đối chứng): 4 decoder + 4 classifier `sw2`, a 0,5, p_stay 0,998, LODO 0,7981, real mean H ~0,64.

## 5. Khoảng trống (gaps)

| # | Mức | Nội dung |
|---|---|---|
| 1 | critical | Chưa kiểm tra đối xứng/đổi cột/vị trí cho họ stem trong workspace; mọi H 0,87–0,884 chưa xác thực. Mạng tầng 2 mới phải đúng `f(-x) = -f(x)`, không bias, không pos-embedding, không đệm 0 |
| 2 | critical | LODO tổng hợp không dự đoán real; mọi điểm nằm trên một biên thay đổi theo p_stay. Báo cáo cả hai, chấp nhận chỉ khi cả hai tăng |
| 3 | high | AASD Acc 52–54 %: cần view EEG tốt hơn, không phải readout mới |
| 4 | high | Chỉ 2 tập real; nhiễu seed ±0,005–0,014; không có CI mức người; không có báo cáo chấp nhận tự động |
| 5 | high | Tham số classifier-family chọn trên chính LODO, không nested |
| 6 | high | Chưa có pipeline nộp (train all5 cuối + inference nhãn 128 Hz); `submissions/` trống. Test 9/11–8/12, nộp 2 lần, lần cuối tính |
| 7 | medium | `leakage_test` chưa chạy cho họ stem, BMMS, recipe/antisym transformer |
| 8 | medium | `dual-stream-corr-acc` được "claimed" ở CLAIMS nhưng không có script/kết quả (coi như chưa chạy) |
| 9 | medium | Hai ledger, ba cây code trùng; ledger workspace dừng ở 30/10; kết quả BMMS/recipe/antisym 3–6/11 chỉ nằm ở repo dataset |
| 10 | medium | Giá trị quần thể EA chỉ từ Fuglsang (BioSemi); USTC là NeuroScan duy nhất, giống tập test NJU-SUSTech |
| 11 | low | Chưa claim: tầng 2 phản đối xứng tối giản trên 8 logit thô; thích nghi head trong một trial; ngân hàng seed lớn hơn 5; ensemble lap/lp7 nhiều seed |

## 6. Luật cần giữ khi chọn thí nghiệm tiếp (từ `CONTEXT_3_RULES.md`)

Nhãn tại t chỉ dùng EEG của chính trial đến t+1 s; không dùng ID dataset/subject/trial, thứ tự cột, vị trí trong trial, lịch switch;
không mang trạng thái qua trial; một mô hình duy nhất cho mọi mẫu; AASD/Carta chỉ đánh giá; p_stay 0,9997 không dùng.
