# Phương pháp hợp lệ tốt nhất (EEG-sAAD, ICASSP 2027)

Cập nhật: 2026-10-05. Tài liệu này mô tả đầy đủ phương pháp tốt nhất hiện có mà tuân thủ luật của giai đoạn test, kèm
con số đo được, cách chạy lại, và những gì chưa kiểm chứng.

## 1. Tóm tắt

Bài toán: từ EEG và đường bao lời nói (envelope) của hai người nói, quyết định ở mỗi thời điểm người nghe đang chú ý
người nào. Điểm xếp hạng là H, trung bình điều hoà của độ chính xác (Acc) và điểm phát hiện chuyển chú ý (L).

Phương pháp gồm ba phần:

1. **Decoder tái tạo**: mạng tích chập nhận EEG và tái tạo ba tín hiệu của lời nói được chú ý; so tín hiệu tái tạo
   với hai người nói để có evidence.
2. **Bộ phân loại trực tiếp**: mạng nhận EEG cùng tín hiệu của cả hai người nói và trả lời thẳng "A hay B". Dùng hai
   phiên bản, cửa sổ 5 giây và cửa sổ 10 giây.
3. **Khâu quyết định**: chuẩn hoá và trộn evidence của hai loại mô hình, rồi lọc theo thời gian bằng HMM hai trạng thái.

Kết quả trên bài chấm LODO (train trên 4 dataset, chấm trên dataset thứ 5, chuyển chú ý tổng hợp):

| Cấu hình | H | Ghi chú |
|---|---|---|
| Baseline tuyến tính của ban tổ chức | 0,682 | Acc 64,3 %, SDT 17,4 s |
| 2 decoder + 2 bộ phân loại 10 s | **0,7744** | cao nhất đã đo trong các cấu hình hợp lệ (trộn 50 %, p_stay 0,998) |
| 2 decoder + 2 bộ 5 s + 2 bộ 10 s | 0,7710 | cấu hình đề nghị nộp (trộn 30 %, p_stay 0,998) |

Hai dòng cuối chênh nhau 0,003, nằm trong mức nhiễu. Lý do đề nghị dòng cuối nằm ở mục 9.

## 2. Luật chi phối thiết kế

Nguồn: Terms và các trang của cuộc thi trên Codabench, bản sao ở `docs_challenge/` tại gốc repo.

| Luật | Hệ quả trong phương pháp |
|---|---|
| Nhãn tại thời điểm t chỉ được dùng dữ liệu đến t + 1 s của chính trial đó, tính mọi khâu | Mọi khâu không được miễn trừ đều nhân quả; tổng lượng tương lai dùng là 0,969 s |
| Chỉ được dùng dữ liệu của trial đang test, không dùng trial hay người khác | Căn chỉnh Euclid khởi động lại ở mỗi trial (không mang trạng thái qua trial) |
| Không dùng dataset ID, subject ID, trial ID | Mô hình chỉ nhận EEG và envelope; một bộ trọng số cho mọi mẫu |
| Miễn trừ lookahead, mỗi thứ một lần: filtfilt cùng bậc, removeBadChannel, repairBadSegment, z-score cả trial | Dùng file tiền xử lý do ban tổ chức cấp, cộng một lần z-score cả trial |
| Không cập nhật tham số bằng dữ liệu test, trừ trong phạm vi một trial và nhân quả | Không dùng thích nghi nào ngoài căn chỉnh Euclid trong trial |
| Dữ liệu ngoài được phép | Thêm Fuglsang 2020 và pretrain trên SparrKULee |

## 3. Tiền xử lý (`mat_reap`)

Áp dụng cho từng trial, theo thứ tự:

1. **File tiền xử lý của ban tổ chức**: lọc thông dải 1–9 Hz bằng filtfilt (Butterworth bậc 2), thay kênh hỏng, hạ xuống 32 Hz.
2. **Chọn 58 kênh chung** theo tên (bộ `b64ustc58` của baseline MATLAB). Kênh mà dataset không có được điền 0.
3. **Tham chiếu trung bình (CAR)** trên các kênh có mặt.
4. **Cắt 1 giây** ở đầu và cuối trial.
5. **Z-score cả trial** cho từng kênh EEG và từng envelope (miễn trừ, dùng một lần).
6. **Căn chỉnh Euclid nhân quả** (làm trắng không gian):
   - Hiệp phương sai không gian R được ước lượng từ các khối 1 giây **đã qua** của chính trial, quên dần theo hằng số 60 giây.
   - Khối thứ k được nhân với R^(−1/2), trong đó R chỉ tính từ các khối trước k và được co 10 % về ma trận đơn vị.
   - **R khởi động từ một giá trị quần thể cố định**: hiệp phương sai trung bình tính trên dữ liệu train
     (`build_ea_prior.py`). Đây là tham số của mô hình, không lấy từ dữ liệu test.
   - Trạng thái không được mang sang trial sau.

Biến thể `mat_rea` giống hệt nhưng khởi động R từ ma trận đơn vị. Biến thể `mat_reac` mang R qua các trial của cùng một
người; nó cho điểm cao hơn nhưng **không hợp lệ** ở giai đoạn test.

## 4. Tín hiệu của lời nói (mục tiêu và đầu vào)

Với mỗi người nói, ba tín hiệu ở 32 Hz:

| Tên | Định nghĩa | Tính nhân quả |
|---|---|---|
| `env` | envelope đã lọc 1–9 Hz và z-score cả trial (file của ban tổ chức) | dùng miễn trừ |
| `onset` | phần dương của sai phân bậc một của `env` | chỉ dùng mẫu t và t−1 |
| `dom` | mức trội: g = (e₀ − e₁) / (e₀ + e₁ + ε), tính trên envelope thô 128 Hz đã làm mượt nhân quả 25 ms, rồi lọc thông dải nhân quả 1–9 Hz; ε = 5 % trung bình chạy nhân quả (10 s) của e₀ + e₁. Người nói thứ hai nhận −g | hoàn toàn nhân quả |

`onset` và `dom` không được z-score cả trial lần nữa, vì miễn trừ đó đã dùng cho `env`. Tương quan Pearson theo cửa sổ
không đổi khi nhân tỉ lệ, nên bỏ bước đó không ảnh hưởng kết quả.

## 5. Decoder tái tạo

- **Mạng**: `vlaai_ws` (4 khối tích chập, kernel 3/7/11/15, 64 bộ lọc), cửa sổ vào 5 giây (160 mẫu × 58 kênh), đầu ra
  3 tín hiệu (`env`, `onset`, `dom`).
- **Loss**: tương phản, −corr(ŷ, tín hiệu được chú ý) + corr(ŷ, tín hiệu bị bỏ qua), trung bình trên 3 mục tiêu.
- **Dữ liệu train**: 4 dataset còn lại của cuộc thi + Fuglsang 2020 (44 người, 1401 trial hai người nói).
- **Khởi tạo**: mạng pretrain trên SparrKULee (một người nói, loss Pearson với `env` và `onset`). Cột đầu ra của `dom`
  được khởi tạo mới, vì SparrKULee không có người nói thứ hai.
- **Tăng cường khi train** (`cluster`): che kênh (50 % cửa sổ, mỗi kênh xác suất 0,2), nhân hệ số kênh ±25 %, nhiễu
  Gauss 0,1, che cụm 3–8 điện cực lân cận (30 % cửa sổ), điền 0 đoạn đầu cửa sổ (10 %).
- **Tối ưu**: AdamW, tốc độ học 5e-4, weight decay 5e-4, batch 64, 250 bước mỗi epoch, tối đa 40 epoch, dừng sớm
  (kiên nhẫn 6) trên một người nghe validation của mỗi dataset train.

**Chạy nhân quả**: mỗi 0,25 giây, khối đầu ra 8 mẫu [a, a+8) được đọc từ cửa sổ EEG [a − 136, a + 24). Mỗi mẫu tái tạo
dùng tối đa 0,75 giây tương lai.

**Evidence**: trong cửa sổ 1 giây, bước 0,25 giây, tính tương quan Pearson giữa tín hiệu tái tạo và tín hiệu của từng
người nói, cho từng mục tiêu; lấy hiệu (người 0 trừ người 1). Ba hiệu được gộp bằng **trọng số LDA** w = Σ⁻¹μ, ước lượng
trên evidence của các dataset train. Trọng số điển hình: `env` 0,01–0,09, `onset` 0,54–0,62, `dom` 0,34–0,37.

## 6. Bộ phân loại trực tiếp

- **Đầu vào**: 58 kênh EEG ghép với 3 tín hiệu của người A và 3 tín hiệu của người B (z-score trong từng cửa sổ).
- **Mạng**: cùng thân `vlaai_ws`, một lớp đọc tuyến tính và gộp theo thời gian có trọng số học được.
- **Phản đối xứng**: logit = g(EEG, A, B) − g(EEG, B, A). Đổi chỗ hai người nói thì logit đổi dấu, nên mạng không thể học
  thiên vị cố định cho một cột.
- **Nhãn**: người được chú ý tại thời điểm 1 giây trước cuối cửa sổ.
- **Chuyển chú ý giả khi train**: trong 30 % cửa sổ, hai người nói đổi vai tại một thời điểm ngẫu nhiên.
- **Loss**: binary cross-entropy. Tăng cường, dữ liệu train và tối ưu giống decoder.
- **Train ổn định**: 10 epoch đầu không giảm tốc độ học và không dừng sớm (25 epoch khi pretrain), vì mạng phản đối xứng
  hay đứng ở mức đoán mò vài epoch trước khi học được.
- **Khởi tạo**: pretrain trên SparrKULee theo kiểu khớp/không khớp (người A là lời nói thật, người B là envelope lệch nửa bản ghi).
- **Hai phiên bản**: cửa sổ 5 giây và cửa sổ 10 giây; mỗi phiên bản pretrain riêng.

**Chạy nhân quả**: mỗi 0,25 giây một quyết định; cửa sổ kết thúc 0,75 giây sau thời điểm quyết định. Cửa sổ dài hơn chỉ
kéo về phía quá khứ, nên lượng tương lai dùng không đổi.

**Đối chứng chống đi tắt** (trên dataset giữ ngoài): EEG bằng 0 cho khoảng 50 %; EEG dịch nửa trial cho khoảng 50 %;
bỏ các kênh trán gần như không đổi kết quả. Mô hình chỉ nhận envelope (không EEG) đạt 49,6 %. Vậy bộ phân loại không
dựa vào envelope đơn thuần hay chuyển động mắt.

## 7. Khâu quyết định

1. **Chuẩn hoá**: evidence của mỗi mô hình chia cho độ lệch chuẩn của nó trên các dataset train.
2. **Lấy trung bình trong nhóm**: trung bình các seed của decoder; trung bình các bộ phân loại (5 và 10 giây); chuẩn hoá lại mỗi nhóm.
3. **Trộn**: d = (1 − a) · z_decoder + a · z_phân_loại, với a = 0,3.
4. **Căn thời gian**: cửa sổ evidence thứ j của decoder đi với bước j + 3 của bộ phân loại (`DEC_OFFSET=3`), để cả hai
   dùng đúng cùng một đoạn EEG.
5. **HMM hai trạng thái**, lọc tiến (chỉ dùng quá khứ): phát xạ Gauss với trung bình ±μ và độ lệch σ ước lượng trên các
   dataset train; xác suất giữ trạng thái p_stay = 0,998 mỗi bước 0,25 giây.
6. **Đóng nhãn** ở 128 Hz: quyết định tại bước a gán nhãn cho các mẫu từ a − 0,25 s trở đi, đến quyết định kế tiếp.
   Các mẫu trước quyết định đầu tiên nhận một nhãn đoán.

Mọi tham số ở khâu này (trọng số LDA, thang chuẩn hoá, μ, σ) đều lấy từ dữ liệu train, cố định cho mọi mẫu test.

## 8. Kiểm chứng lookahead

`leakage_test.py` thay toàn bộ đầu vào từ thời điểm τ bằng nhiễu, chạy lại cả chuỗi bằng chính mã của pipeline, và tìm
mẫu nhãn sớm nhất bị thay đổi.

| Thành phần | Tương lai dùng nhiều nhất |
|---|---|
| Decoder (đóng nhãn với lookahead 0,5 s) | 0,969 s |
| Bộ phân loại 5 s và 10 s | 0,969 s |
| Bản ghép (`DEC_OFFSET=3`) | 0,969 s |

Bốn đối chứng cố ý vi phạm đều bị bắt, trong đó hai cái chỉ vi phạm 0,25 giây. Biên an toàn là đúng một mẫu 32 Hz.

Giới hạn của bài kiểm tra: nó chạy với trọng số pretrain trên 60 giây đầu của một trial mỗi dataset, và chưa chạy lại
trên tiền xử lý `mat_reap`. Thay đổi giữa `mat_reac` và `mat_reap` chỉ nằm ở giá trị khởi đầu của căn chỉnh nên không
đổi timing, nhưng cần chạy lại trên script nộp bài cuối cùng.

## 9. Kết quả

### 9.1 Từng mô hình đơn lẻ (LODO, hai seed)

| Mô hình | Mang trạng thái (không hợp lệ) | Khởi động từ ma trận đơn vị | Khởi động từ giá trị quần thể |
|---|---|---|---|
| Decoder | 0,7624 / 0,7651 | 0,7577 / 0,7555 | 0,7534 / 0,7573 |
| Bộ phân loại 10 s | 0,7700 / 0,7675 | 0,7565 / 0,7595 | 0,7674 / 0,7654 |
| Bộ phân loại 5 s | 0,7564 / 0,7604 | 0,7550 / 0,7555 | 0,7533 / 0,7567 |

### 9.2 Bản ghép (2 seed mỗi loại, p_stay 0,998)

| Căn chỉnh | Decoder + 10 s (a 0,3 / 0,5) | Decoder + 5 s + 10 s (a 0,3 / 0,5) |
|---|---|---|
| Mang trạng thái (không hợp lệ) | 0,7768 / 0,7783 | — |
| Ma trận đơn vị | 0,7693 / 0,7683 | 0,7709 / 0,7683 |
| Giá trị quần thể | 0,7728 / **0,7744** | **0,7710** / 0,7716 |

Tuân thủ luật "chỉ dùng trial đang test" làm mất khoảng 0,007–0,010 điểm; giá trị quần thể lấy lại khoảng một nửa.

### 9.3 Theo từng dataset giữ ngoài (giá trị quần thể, decoder + 5 s + 10 s, a 0,3, p_stay 0,998)

| AVGC | DTU | KUL | UHD | USTC | Trung bình |
|---|---|---|---|---|---|
| 0,705 | 0,826 | 0,782 | 0,764 | 0,778 | 0,7710 |

### 9.4 Vì sao đề nghị a = 0,3, p_stay = 0,998 và giữ cả bộ 5 giây

- **AVGC là dataset train duy nhất kiểm soát hướng nhìn**, giống cả hai tập test. Trên fold này tỉ trọng bộ phân loại
  15–30 % cho điểm tốt nhất (0,714–0,717), còn 70 % chỉ 0,703.
- **Trên chuyển chú ý thật** (AASD, Carta), p_stay 0,9997 là giá trị kém nhất; từ 0,95 đến 0,998 điểm gần như phẳng.
- **Bộ 10 giây kém bộ 5 giây trên AASD** (chuyển chú ý khoảng 12 giây một lần), nên giữ cả hai là lựa chọn dung hoà.
- Chỉ được nộp 2 lần và lần nộp sau cùng được tính, nên ưu tiên cấu hình an toàn hơn cấu hình cao nhất trên giấy.

## 10. Điều chưa kiểm chứng và rủi ro

- **Điểm trên tập test nhiều khả năng thấp hơn LODO.** Trên fold AVGC các cấu hình đạt 0,70–0,72; trên chuyển chú ý
  thật chỉ khoảng 0,64. Không biết tập test có chuyển chú ý thật hay tổng hợp.
- **Giá trị quần thể và máy NeuroScan.** Giá trị quần thể hiện tính từ Fuglsang (máy BioSemi). Trên USTC (NeuroScan, cùng
  loại với tập test NJU-SUSTech) nó làm giảm khoảng 0,010, trong khi DTU, UHD, KUL tăng. Bản nộp nên tính nó từ toàn bộ
  dữ liệu train gồm cả USTC; hiệu quả của việc đó chưa đo được bằng LODO.
- **Mới 2 seed mỗi loại.** Bản 4 decoder + 4 bộ 5 s + 2 bộ 10 s không mang trạng thái đang chạy (job 400–409).
- **Tỉ lệ trộn và p_stay được chọn trên chính bài chấm**, chưa chọn theo kiểu lồng, nên các con số hơi lạc quan.
- **Bản ghép hợp lệ chưa được chấm trên chuyển chú ý thật**; số liệu AASD và Carta ở trên là của bản có mang trạng thái.
- **Chưa có pipeline nộp bài**: mô hình cuối (train trên cả 5 dataset) và script suy luận xuất nhãn 128 Hz chưa được viết.
- **Đang dò siêu tham số** (căn chỉnh, decoder, bộ phân loại, khâu quyết định); kết quả có thể thay đổi cấu hình trên.

## 11. Chạy lại

Từ thư mục `experiments/decoder_lodo`, mọi job nặng đi qua `runners/jobqueue.py`.

```bash
PY=../../.venv/bin/python

# giá trị quần thể + dữ liệu đã tiền xử lý
$PY build_ea_prior.py && $PY prepare_data.py mat_reap
(cd ../external_data/Fuglsang2020 && $PY stage_b_convert.py mat_reap)

# decoder, seed S (seed 0: bỏ --train-seed và hậu tố _sS)
GLIMPSE_THR=norm $PY run_experiment.py --decoder vlaai_ws --prep mat_reap --aug-variant cluster \
  --extra-train Fuglsang2020 --targets env,onset,dom --init-from models/pretrain_spk_vlaai_ws_sS.pt \
  --evidence-weights lda --tag _aug_cluster_onset_dom_xFUG_ptSPK_sS --train-seed S

# bộ phân loại 5 s và 10 s, seed S
GLIMPSE_THR=onorm $PY direct_classifier.py --prep mat_reap --init-from models/pretrain_spk_direct_clf_v2_sS.pt \
  --min-epochs 10 --train-seed S --tag _ptSPKv2_sS
GLIMPSE_THR=onorm $PY direct_classifier.py --prep mat_reap --window-s 10 \
  --init-from models/pretrain_spk_direct_clf_w10_sS.pt --min-epochs 10 --train-seed S --tag _w10_ptSPK_sS

# ghép và chấm
D=vlaai_ws__mat_reap_aug_cluster_onset_dom_xFUG_ptSPK; C=direct_clf__mat_reap_ptSPKv2; W=direct_clf__mat_reap_w10_ptSPK
$PY fuse_general.py --dec $D ${D}_s1 --clf $C ${C}_s1 $W ${W}_s1 --a 0.3 --pstay 0.998

# kiểm tra lookahead
GLIMPSE_THR=norm $PY leakage_test.py
```

Pretrain (đã có sẵn trong `models/`): `pretrain_sparrkulee.py --seed S` cho decoder;
`direct_classifier.py --pretrain-spk --tag _v2 --train-seed S --min-epochs 25 --max-epochs 80` cho bộ 5 giây, thêm
`--window-s 10 --tag _w10` cho bộ 10 giây.

## 12. Tệp liên quan

| Nội dung | Tệp |
|---|---|
| Tiền xử lý, căn chỉnh Euclid | `prepare_data.py`, `build_ea_prior.py`, `config.yaml` |
| Tín hiệu `dom` | `build_glimpse.py` |
| Decoder, tăng cường | `decoders.py`, `run_experiment.py` |
| Bộ phân loại | `direct_classifier.py` |
| Ghép, chấm | `fuse_evidence.py`, `fuse_general.py`, `score.py` |
| Chuyển chú ý thật | `eval_external.py`, `eval_external_clf.py`, `fuse_external.py` |
| Kiểm tra lookahead | `leakage_test.py` |
| Mọi kết quả ghép | `results/research/fuse_general.csv`, `logs/fuse_prior.log`, `logs/fuse_nocarry_5_10.log` |
| Luật cuộc thi | `docs_challenge/` (gốc repo) |

## 13. Những hướng đã thử và không dùng

Không tăng điểm trên LODO: decoder ADT và HappyQuokka; các mục tiêu glimpse, onset tương đối, hiệu envelope thô; làm
trắng theo thời gian; CRF train đầu-cuối; ghép bằng LDA trên mọi nguồn; cửa sổ phân loại 3 và 20 giây; evidence decoder
đa thang; tăng cường nghiêng phổ; loss đối kháng theo dataset và người nghe; HMM nhiều tốc độ chuyển; tự thích nghi trong
trial bằng nhãn giả; thêm dữ liệu Broderick; giải mã không gian (ở mức đoán mò khi giữ ngoài dataset).
