# Thí nghiệm multi-task, nhiều view và ensemble (Track 03, Muse)

Ngày 2026-10-21. Gom các hướng "model làm task khác trên cùng dataset" và "nhiều view cho ensemble", cùng paper liên quan. Đã chạy M0-M7 (2026-10-26/27, xem ghi chú cuối file); M8-M11 chưa chạy; bảng kết quả ở cuối để điền dần.

## 0. Tổng quan mọi danh sách thí nghiệm

| Danh sách | Nội dung | Trạng thái (2026-10-21) |
|---|---|---|
| [PREPROCESS_EXPERIMENTS.md](PREPROCESS_EXPERIMENTS.md) | E1-E12: bộ lọc, clip, chuẩn hoá, phần đầu bản ghi, kênh hỏng, phổ, STFT, Euclid, ensemble | xong. Chỉ E4 (phần đầu bản ghi) thắng, đã vào bản nộp; E11/E12 không thắng |
| [AUGMENT_EXPERIMENTS.md](AUGMENT_EXPERIMENTS.md) | A1-A11, A9: augmentation | xong model đơn. A9 `noise+gainch+swap` thắng nhẹ ở CV nhưng co lại khi lên ensemble; A9 + mixup đang đo ensemble (E12) |
| [FEATURE_EXPERIMENTS.md](FEATURE_EXPERIMENTS.md) | F1-F12: feature mới hoặc rút gọn | chưa chạy |
| **MULTITASK_EXPERIMENTS.md** (file này) | M0-M11: task phụ, hazard, view khác, pre-train, chọn ensemble | chưa chạy |

**Bản nộp tốt nhất hiện tại:** `CNN-feat-GRU-Ensemble-E4`, 8 model cùng công thức, tự chấm test công khai **43.75**.

## 1. Vì sao cần nhiều view: bằng chứng trên dữ liệu đã có

Ensemble hiện tại gồm 8 model cùng công thức, chỉ khác seed. Nó bão hoà ở khoảng 5 model (CV 39.58 với 5, 39.57 với 8). Trên xác suất đã lưu
của E12 (`experiments/augment/probs_e12`), mình đo:

- **Tương quan sai số theo cửa sổ** (fold 0, nhóm unseen): `base` với `base` khác seed là 0.974; `base` với `e11`, `a9_ngs`, `e11_a9` là 0.963-0.969.
- **Ghép lẫn cấu hình, cùng 5 model:**

| Ensemble | CV | Test công khai |
|---|---|---|
| `base` 5 seed | 39.61 | 44.61 |
| `base` 3 + `e11` 2 | 39.32 | 43.88 |
| `base` 3 + `a9_ngs` 2 | 39.27 | 44.04 |
| 4 cấu hình × 5 seed (20 model) | 39.06 | 44.22 |

Các cấu hình này không thắng `base` khi đứng riêng, nhưng **làm ensemble tốt hơn**. Đây là phép đo không có SE; test công khai chỉ có 40 bản ghi.
Hướng của file này là tạo các thành viên **khác nhau nhiều hơn**: task khác, head khác, kiến trúc khác, pre-train khác.

## 2. Cách so sánh

- **Như cũ:** CV 5 fold theo người, so cặp với `base` trên từng bản ghi; test công khai seed 42-46, báo cáo seed 42 cạnh trung bình 5 seed.
- **Mới, tiêu chí chính của file này: đóng góp cho ensemble.** Mỗi biến thể train 5 seed, có lưu xác suất (`run_augment.py --save-probs`).
  Báo cáo:
  1. model đơn;
  2. ensemble 5 seed của riêng nó;
  3. **`base` 3 + biến thể 2** và **`base` 5 + biến thể 5**, so với `base` 5 seed (CV, so cặp ± SE);
  4. tương quan sai số với `base`.
- **Chọn tổ hợp cuối cùng chỉ trên CV:** greedy ensemble selection (Caruana, cho phép chọn lặp lại = có trọng số). Test công khai chỉ dùng để
  kiểm tra cuối, không dùng để chọn.

**Ràng buộc khi nộp:**
- solver phải chứa code của mọi thành viên (feature, kiến trúc, head);
- tổng thời gian suy luận phải dưới 60 phút trên A100 (cần đo thời gian của bản 8 model hiện tại trước khi lên khoảng 20 model);
- mọi đầu ra phải đổi được về phân phối 121 lớp để lấy trung bình.

## 3. Các task có thể làm trên dataset này

Nhãn duy nhất là `n2_onset` của mỗi bản ghi. Ngoài ra có: khoảng 5 phút tín hiệu sau N2, 203 người với 1-5 đêm mỗi người, và cờ QC 50/60 Hz theo bản ghi.
Không có hypnogram, tuổi hay giới tính.

| Task | Nhãn | View mà model học |
|---|---|---|
| T1 thức hay đã ngủ (trước hay sau N2) | lấy từ onset, dùng phần sau N2 hiện bị bỏ | "trông giống ngủ tới mức nào" |
| T2 N2 trong 1, 2, 5 phút tới | lấy từ onset | xác suất ngắn hạn, nhắm các bin trọng số cao |
| T3 dự báo feature của cửa sổ kế tiếp | không cần nhãn | động học tín hiệu |
| T4 self-supervised (CPC, relative positioning, PARS) | không cần nhãn | biểu diễn chung |
| T5 cùng người hay khác người | `participant_id` | đặc điểm cá nhân, dùng ngược lại (adversarial) |
| T6 giai đoạn ngủ giả từ model PSG | pseudo-label | N1, chuyển động mắt chậm |

Không làm: hồi quy elapsed time (chỉ học đồng hồ); dùng danh tính lúc suy luận (trái luật).

## 4. Bảng thí nghiệm

| ID | Thí nghiệm | Ưu tiên | Ghép ensemble với `base` | Chi phí | Paper |
|---|---|---|---|---|---|
| M0 | Greedy ensemble selection trên kho xác suất đã có (`base`, `e11`, `a9_ngs`, `e11_a9`, `a9_ngsm`) | P1 | trực tiếp | rất thấp, không train | Caruana 2004 |
| M1 | Task phụ T1: head thức/ngủ, train thêm trên cửa sổ sau N2 | P1 | trực tiếp (head chính không đổi) | thấp; cần cache cửa sổ sau N2 | [task phụ kiểu sự kiện](https://sigport.org/sites/all/modules/pubdlcnt/pubdlcnt.php?fid=8474), [task phụ chuyển giai đoạn](https://arxiv.org/abs/2407.20254v2) |
| M2 | Task phụ T2: head BCE "N2 trong 1, 2, 5 phút" | P1 | trực tiếp | rất thấp | như M1 |
| M3 | Task phụ T3: dự báo feature cửa sổ t+1 (MSE trên feature lõi) | P1 | trực tiếp | rất thấp | CPC trong [survey SSL EEG](https://arxiv.org/pdf/2401.05446); [masked reconstruction](https://ir.bjut.edu.cn/item/407556) |
| M4 | M1 + M2 + M3 | P1 | trực tiếp | thấp | [multi-task sleep](https://arxiv.org/pdf/2501.09519) |
| M5 | Head hazard rời rạc làm head chính (NLL, Nnet-survival), đổi ra 121 lớp: P(k) = hₖ ∏ⱼ<ₖ(1 − hⱼ) | P1 | trực tiếp sau khi đổi | thấp | [Nnet-survival](https://arxiv.org/pdf/1805.00917), RNN-SURV, DeepHit ([review](https://arxiv.org/pdf/2305.14961)) |
| M6 | View khác cùng task: `e9b_nfft128`, chỉ feature (`feat_gru`), low-pass 30 Hz, GRU 2 lớp, LSTM, TCN causal | P2 | trực tiếp | thấp đến trung bình | [XSleepNet](https://arxiv.org/pdf/2007.05492), [gộp classifier khác nhau](https://www.infona.pl/resource/bwmeta1.element.ieee-art-000007367736) |
| M7 | Adversarial theo người (gradient reversal trên trạng thái GRU) | P2 | trực tiếp | thấp | [survey cross-subject](https://arxiv.org/pdf/2604.27033), [DResNet](https://bcmi.sjtu.edu.cn/~blu/papers/2019/2019-6.pdf) |
| M8 | Pre-train encoder (CPC/T3 hoặc độ lệch thời gian kiểu PARS) trên mọi cửa sổ kể cả sau N2, rồi fine-tune | P2 | trực tiếp | trung bình | [Banville 2019](https://arxiv.org/pdf/1911.05419), [PARS](https://arxiv.org/abs/2511.11940) |
| M9 | Pseudo-label giai đoạn ngủ từ model PSG, chưng cất sang torch, dùng làm task phụ hoặc feature | P3 | gián tiếp | cao | [KD PSG → wearable](https://lamarr-institute.org/publication/improved-sleep-stage-tagging-on-wearables-via-knowledge-distillation/), [scalp → ear-EEG](https://arxiv.org/pdf/2211.02638) |
| M10 | Stacking out-of-fold: đầu ra T1/T2 làm feature cho GRU chính | P3 | gián tiếp | cao (OOF, solver nặng) | [stacking EEG](https://arxiv.org/pdf/2408.16315); khi ít dữ liệu nên dùng trung bình đơn giản |
| M11 | Chọn ensemble cuối trên toàn bộ kho (M0 + M1-M8), đo thời gian suy luận, build solver | cuối | | trung bình | |

## 5. Chi tiết

### M0. Chọn ensemble trên kho có sẵn

Chạy greedy selection trên CV với các thành viên đã có xác suất. Báo cáo:
- tổ hợp được chọn;
- CV ± SE so với `base` 5 seed;
- test công khai của đúng tổ hợp đó.

Đây là mốc cho mọi thí nghiệm sau: một view mới chỉ có giá trị nếu nó được chọn vào ensemble và làm CV tốt hơn M0.

### M1-M4. Task phụ

- **Loss tổng:** loss chính + λ × loss phụ, với λ ∈ {0.1, 0.3}. Head phụ là một lớp Linear trên trạng thái GRU. Lúc suy luận chỉ dùng head chính,
  nên solver chỉ thêm vài tham số không dùng.
- **M1** cần cache thêm các cửa sổ sau N2: hiện `R.extract` chỉ giữ cửa sổ trước N2. Các cửa sổ này chỉ dùng cho loss phụ, trọng số loss chính bằng 0.
  Rủi ro: model học "đã qua N2" từ chính độ dài chuỗi train. Cần kiểm tra bài cắt đầu bản ghi và bài kéo dài.
- **M2:** nhãn là 3 cột nhị phân, y < 60, y < 120, y < 300. Trọng số theo bin như metric để không lệch về lớp "xa".
- **M3:** mục tiêu là khoảng 40 feature lõi đã chuẩn hoá của cửa sổ t+1 (band power, tỉ số, 1/f slope, biên độ). Causal, vì chỉ dùng khi train.

### M5. Head hazard

GRU cho ra 120 hazard h₀..h₁₁₉ (sigmoid), mỗi cái cho một khoảng 5 s kể từ cửa sổ hiện tại; lớp "≥ 600 s" là phần sống sót còn lại.
- **Loss:** negative log-likelihood rời rạc; cửa sổ có y = 600 là dữ liệu bị cắt (censored).
- **Giải mã:** đổi ra phân phối 121 lớp rồi lấy trung vị như model gốc, nên ghép ensemble trực tiếp được.
- **Biến thể:** thêm trọng số metric vào NLL.

### M6. View khác cùng task

Tận dụng code đã có:
- `e9b_nfft128` (trung lập ở model đơn, tức có thể là một view khác thật);
- `feat_gru` (bỏ CNN);
- low-pass 30 Hz;
- GRU 2 lớp hoặc hidden 256.

Cần viết mới: LSTM và TCN causal (dilated conv chỉ nhìn quá khứ, chạy được streaming với bộ đệm).

### M7. Adversarial theo người

Gắn một head phân loại người (khoảng 170 người train trong mỗi fold) qua gradient reversal lên trạng thái GRU, hệ số 0.01-0.1.
- Mục tiêu: giảm khoảng cách giữa nhóm seen và unseen (hiện khoảng 0.5-0.7 s trong CV).
- Lưu ý: bộ test công khai toàn người "seen", nên M7 có thể không giúp ở đó mà chỉ giúp nhóm unseen của bộ sealed.

### M8. Pre-train rồi fine-tune

- Pre-train encoder CNN + MLP + GRU trên mọi cửa sổ (kể cả sau N2) bằng T3 (dự báo cửa sổ kế tiếp) hoặc bằng "độ lệch thời gian giữa hai cửa sổ" kiểu PARS.
- Fine-tune bằng công thức hiện tại.
- Mỗi kiểu pre-train cho ra một thành viên khởi tạo khác.

Chỉ dùng dữ liệu train của fold khi pre-train, để CV không bị rò rỉ.

### M9, M10

Chỉ làm nếu M1-M8 cho thấy view mới có ích.
- **M9** cần một model staging PSG chạy được trên 2 kênh trán và 2 kênh thái dương của Muse (lệch vị trí điện cực so với PSG chuẩn), rồi chưng cất sang torch,
  vì image Codabench không có lightgbm.
- **M10** cần dự đoán out-of-fold cho mọi bản ghi train, và solver phải chứa thêm các model T1/T2.

## 6. Kế hoạch chạy

1. **M0** ngay khi E12 của A9 + mixup xong (không cần train).
2. **Loạt P1:** M2, M3, M5, rồi M1 (cần cache cửa sổ sau N2), rồi M4. Mỗi biến thể 5 seed × (5 fold + test công khai), có lưu xác suất. Khoảng 2 giờ mỗi biến thể
   nếu chạy một mình; chạy 3 tiến trình song song.
3. **Loạt P2:** M6 (các view có sẵn trước, TCN sau), M7, M8.
4. **M11:** chọn ensemble cuối trên CV, đo thời gian suy luận, build solver, tự chấm bằng benchopt.

## 7. Bảng kết quả

| ID | Biến thể | Model đơn CV | Ensemble 5 seed riêng (CV / test) | `base` 3 + X 2 (CV / test) | `base` 5 + X 5 (CV / test) | Tương quan sai số với `base` | Kết luận |
|---|---|---|---|---|---|---|---|
| — | `base` 5 seed | 40.80 | 39.61 / 44.61 | | | 0.974 (giữa các seed) | đối chứng |
| — | `e11` | 40.97 | 39.58 / 44.03 | 39.32 / 43.88 | 39.35 / 44.13 | 0.969 | |
| — | `a9_ngs` | 40.43 | 39.37 / 44.49 | 39.27 / 44.04 | | 0.966 | |
| — | `e11_a9` | 40.48 | 39.36 / 44.88 | | | 0.963 | |
| M0 | trộn 9 view có sẵn (E12 + F1), `experiments/augment/ens_views.py` | | trọng số đều: 39.17 / 43.67 | | | | trọng số đều −0.49 ± 0.15 CV, −0.93 test; greedy theo view: nested CV 39.18 (−0.51 ± 0.18), test 43.89; chọn trọng số không hơn trọng số đều |
| M1 | task phụ thức/ngủ (λ 0.3) | 40.19 (−0.87 ± 0.20; base 40.96) | 3 seed CV: 39.29 (−0.60 ± 0.15 so với 3 `base`); 5 seed test: 43.87 (−0.34 ± 0.48). Test đơn seed 42: 44.8 (base 46.7), TB 5 seed −0.09 ± 0.62 | n + n: CV −0.37 ± 0.08, test −0.20 ± 0.24 (so với 2n `base`) | | | thắng ở CV, cả model đơn lẫn ensemble; bài kéo dài −1.05 ± 0.20 (không đếm giờ); test công khai chưa phân biệt được |
| M2 | task phụ N2 trong 1/2/5 phút (λ 0.3) | 40.73 (−0.40 ± 0.16) | CV −0.35 ± 0.12; test −0.62 ± 0.60 | CV −0.20 ± 0.07, test −0.39 ± 0.34 | | | nhỉnh nhẹ, trong mức dao động giữa các phiên của `base` (~0.5 s); chưa kết luận |
| M3 | task phụ dự báo feature kế tiếp (λ 0.3) | 41.51 (+0.45 ± 0.23) | CV +0.47 ± 0.19; test −0.22 ± 0.43 | CV +0.08 ± 0.10, test −0.16 ± 0.19 | | | không giúp (tệ hơn `base` ở CV) |
| M4 | M1 + M2 + M3 | 40.38 (−0.61 ± 0.22) | CV −0.44 ± 0.16; test 0.00 ± 0.47 | CV −0.32 ± 0.08, test −0.10 ± 0.24 | | | không hơn M1 một mình; lợi ích đến từ M1 |
| M5 | head hazard (cùng loss HL-Gauss có trọng số) | 40.89 (−0.33 ± 0.22) | CV −0.05 ± 0.16; test −0.07 ± 0.68 | CV −0.13 ± 0.09, test −0.12 ± 0.37 | | | trung lập (bin 0-40 s tốt hơn 13.7 nhưng bin 300-600 s tệ hơn 301.3) |
| M6a | bỏ CNN (feature + GRU) | 41.90 (+0.95 ± 0.29) | CV +0.70 ± 0.24; test +0.87 ± 0.91 | CV +0.09 ± 0.11, test +0.28 ± 0.47 | | | tệ hơn |
| M6b | GRU 2 lớp | 42.35 (+1.47 ± 0.27) | CV +1.54 ± 0.26; test +0.78 ± 0.49 | CV +0.52 ± 0.12, test +0.30 ± 0.25 | | | tệ nhất |
| M6c | LSTM | 41.86 (+0.98 ± 0.25) | CV +0.95 ± 0.21; test −0.08 ± 0.70 | CV +0.21 ± 0.10, test −0.22 ± 0.34 | | | tệ hơn ở CV |
| M6d | TCN causal (dilation 1-16, nhìn lại 5 phút) | 41.54 (+0.47 ± 0.25) | CV +0.52 ± 0.21; test −0.45 ± 0.82 | CV −0.09 ± 0.11, test −0.54 ± 0.44 | | | tệ hơn đơn lẻ, ít phụ thuộc đồng hồ nhất (bài kéo dài −0.37); view hơi khác |
| M6e | low-pass 30 Hz | 40.49 (−0.55 ± 0.21) | CV −0.59 ± 0.14; test −1.48 ± 0.51 | CV −0.34 ± 0.07, test −0.82 ± 0.32 | | | thắng ở CV và test, ổn định nhất sau M1 |
| M7 | adversarial theo người (hệ số 0.05) | 41.11 (+0.09 ± 0.17) | CV +0.06 ± 0.14; test −0.54 ± 0.39 | CV −0.02 ± 0.07, test −0.29 ± 0.18 | | | trung lập; khoảng cách seen/unseen chỉ thu hẹp 0.15 s (0.52 so với 0.67 của `base`), macro không tốt hơn |
| M8 | pre-train rồi fine-tune | | | | | | |

### Ghi chú 2026-10-27: kết quả M1-M7 (`experiments/augment/results/summary_mt.md`, `results/ens_mt_views.log`)

Mỗi biến thể: CV 5 fold × seed 0-2 và test công khai seed 42-46 (20 lần train), so cặp với `base` chạy lại cùng phiên (CV 40.96; `base` cùng cấu hình ra 40.43 ở phiên F6-F9, nên dao động giữa các phiên khoảng 0.5 s). Cột "Ensemble riêng" là n model của view (3 CV, 5 test) so với n model `base` lấy từ kho 20 seed; "n + n" là n view + n `base` so với 2n `base`.
- **Thắng:** M1 (thức/ngủ) −0.87 ± 0.20 ở model đơn, −0.60 ± 0.15 ở ensemble riêng, và bài kéo dài cũng tốt hơn (−1.05 ± 0.20), nên không có dấu hiệu học đếm giờ. M6e (low-pass 30 Hz) −0.55 ở CV và −1.48 ± 0.51 ở ensemble test. M4 giống M1 nhưng không hơn. M2 và M5 chỉ nhỉnh nhẹ.
- **Không giúp:** M3, M7, M6a-d (các kiến trúc khác đều tệ hơn đơn lẻ).
- **Làm view cho ensemble:** "n + n" của M1, M6e, M4 ở CV là −0.37, −0.34, −0.32 (± 0.07-0.08). Phép đối chứng kích thước ensemble cho thấy trộn bất kỳ cấu hình nào cũng được khoảng −0.3, nên mức này chưa vượt hiệu ứng đa dạng chung; so với các view cũ (a2_swap −0.22, e5c −0.16, e9b −0.11, a10 −0.11) thì M1, M6e, M4 nhỉnh hơn một chút.
- **Gộp cả 11 view M vào một pool** không tốt hơn `base` cùng cỡ (CV +0.02 đến +0.08; test −0.17 đến −0.26 ± 0.3) vì pool gồm cả các view tệ (M6a-c); thêm vào mix8 cũng không giúp ở CV (+0.05 đến +0.11 ± 0.07). Chọn M1, M6e, M2 sau khi đã nhìn kết quả là chọn trên chính dữ liệu này, nên cần nested CV trước khi tin.
- **Việc tiếp theo hợp lý:** (1) thử M1 kết hợp A9M (augmentation) và M1 kết hợp lp30; (2) quét λ của M1 (0.1, 1.0); (3) nested CV cho pool {M1, M6e, M2, view cũ}. Chưa làm.
