# Thí nghiệm feature engineering nên thử (Track 03, Muse)

Ngày 2026-10-21. Danh sách dựa trên:
- EDA ([eda_muse/EDA_Muse_va_phuong_phap.md](eda_muse/EDA_Muse_va_phuong_phap.md), mục 5-9 và 18);
- các thí nghiệm đã chạy của bài này ([CONTEXT.md](CONTEXT.md), [PREPROCESS_EXPERIMENTS.md](PREPROCESS_EXPERIMENTS.md), [AUGMENT_EXPERIMENTS.md](AUGMENT_EXPERIMENTS.md)).

F1 đã chạy ngày 2026-10-21 (`experiments/augment`, kết quả: `experiments/augment/results/summary_f1.md`); các mục khác chưa chạy.

## 0. Hiện trạng và cách so sánh

**Feature hiện có (217 / cửa sổ 5 s):**
- STFT `nfft` 256 (2 s), hop 64, trung bình 7 khung;
- log công suất và công suất tương đối của 6 band; tỉ số theta/alpha, sigma/beta, delta/beta;
- 1/f slope, sigma residual, spectral entropy, SEF50/95, alpha peak;
- độ biến thiên giữa các khung; log SD, line length;
- feature artifact (log max |x|, tỉ lệ clip, số kênh hỏng) lấy từ tín hiệu thô;
- 4 tương quan giữa kênh;
- phổ 1 Hz của cặp TP và cặp AF (88 cột).

Các feature này mang phần lớn lợi ích: CNN trên tín hiệu thô chỉ thêm dưới 1 s.

**Đã thử, không giúp:**

| Thử | Kết quả (CV, so cặp) |
|---|---|
| EMA 30 s − running mean (E6, 42 cột) | +1.64 ± 0.32 s, tệ hơn |
| 18 regime features | +0.59 ± 0.23 s, tệ hơn |
| Kênh bipolar + feature băng chậm / chuyển động mắt chậm (E8) | +0.02 đến +0.85 s |
| 16 feature clip (E2) | +0.46 s |
| Phổ tương đối (E7b), dải 0.5-40 Hz (E7c), STFT 4 s (E9a) | +0.20 đến +0.47 s |
| Elapsed time (với cây) | −0.1 ± 0.1 s, không giúp |

Bài học: GRU đã tự học ngữ cảnh nhiều phút, nên thêm feature ngữ cảnh làm sẵn (EMA, regime) chỉ làm nhiễu. **Hướng còn lại là thông tin mới bên trong cửa sổ 5 s**, hoặc làm gọn bộ feature hiện có để giảm overfit (model đạt epoch tốt nhất khoảng 12/25).

**Nền (`base`):** công thức của bản nộp E4: low-pass 45 Hz, E4 (1 s đầu = 0, mask cửa sổ đầu, random start), 217 feature + CNN + GRU, head `dist_w`. CV model đơn khoảng 40.8; ensemble 5 seed 39.61; test công khai ensemble 5 seed 44.61.

**Giao thức** (như các loạt trước, chấm offline):
1. **Model đơn:** CV 5 fold theo người × seed 0-2, so cặp trên từng bản ghi với `base` chạy lại cùng phiên; test công khai seed 42-46, báo cáo cột seed 42 cạnh trung bình 5 seed.
2. **Ensemble (mới, bắt buộc trước khi làm solver):** biến thể nào tốt hơn `base` ở model đơn thì chạy lại 5 seed có lưu xác suất (`run_augment.py --save-probs`, `ens_e12.py`). Lý do: ở E12, lợi ích −0.4 s của augmentation ở model đơn co lại còn −0.26 s khi lên ensemble.
3. **Chỉ số phụ:** MAE theo bin, bài cắt đầu bản ghi, bài kéo dài bản ghi.

**Ràng buộc riêng:**
- **Causal và chỉ dùng cửa sổ hiện tại**, hoặc trạng thái mang theo như bộ lọc IIR. Không dùng thống kê cả bản ghi, độ dài file, hay ngưỡng tính trên cả bản ghi.
- **Chạy được trong solver:** numpy hoặc torch, không thêm thư viện ngoài image Codabench (không có xgboost; có numpy, scipy, sklearn, torch). Thời gian suy luận phải nằm trong giới hạn 60 phút của image trên A100. Nên đo thời gian tính trên 1 cửa sổ trước khi chạy thí nghiệm.
- **Cache trước** như `experiments/batch_e5_e10/build.py`; kiểm tra feature của bản ghi bị cắt ngắn bằng tiền tố của bản ghi đầy đủ.

## 1. Bảng ưu tiên

| ID | Feature | Ưu tiên | Lý do (EDA hoặc bài học) | Chi phí |
|---|---|---|---|---|
| F1 | Rút gọn bộ feature (bỏ 88 cột phổ 1 Hz, bỏ công suất tương đối, chọn theo permutation importance) | P1 | model overfit nhanh (epoch tốt nhất khoảng 12/25); 88 cột phổ 1 Hz trùng thông tin với band power | rất thấp |
| F2 | Chỉ số độ phức tạp: Hjorth (mobility, complexity), Lempel-Ziv, permutation entropy, Higuchi fractal dimension, spectral flatness | P1 | độ phức tạp tín hiệu giảm khi buồn ngủ; chưa có feature nào loại này | thấp |
| F3 | Detector sự kiện trong cửa sổ: số lần chớp mắt (AF), burst spindle (sigma), sóng chậm lớn kiểu K-complex hoặc vertex | P1 | chớp mắt giảm khi buồn ngủ; spindle là dấu hiệu N2 (đỉnh 11.6 Hz sau N2, EDA mục 5); chưa có feature đếm sự kiện | trung bình |
| F4 | Tín hiệu tiếp xúc điện cực và trôi nền từ tín hiệu thô: mức DC, độ dốc trend, công suất < 0.5 Hz, công suất 50/60 Hz | P1 | trung bình cửa sổ và phần trôi chậm hiện bị bỏ (trừ trung bình); cử động và đổ mồ hôi làm trôi nền; nhiễu điện lưới cho biết tiếp xúc kém | rất thấp |
| F5 | Chuẩn hoá feature bằng quantile hoặc rank thay vì z-score kẹp ±8 | P1 | nhiều feature có đuôi dày (artifact) | rất thấp |
| F6 | Động học bên trong cửa sổ: phân vị (min, median, max) theo 7 khung STFT của alpha, theta, sigma, beta; "alpha dropout" (tỉ lệ khung alpha tụt mạnh) | P2 | alpha mất dần từng đợt là dấu hiệu N1; feature hiện chỉ lấy trung bình 7 khung và một SD | thấp |
| F7 | Kết nối giữa kênh: coherence alpha, theta, sigma giữa bán cầu và trước-sau; bất đối xứng alpha AF8−AF7; phase lag index | P2 | tương quan trước-sau dz +0.66 (EDA mục 6), mới chỉ có 4 tương quan băng rộng | thấp |
| F8 | Aperiodic fit tốt hơn (kiểu FOOOF): exponent và offset có knee, công suất đỉnh alpha và theta trên nền 1/f | P2 | 1/f slope là feature "đến muộn" mạnh (dz −1.03, nửa đường −75 s); fit hiện tại là đường thẳng bỏ 7-17 Hz | trung bình |
| F9 | Thay một phần feature tay bằng spectrogram học được: log-spectrogram (7 khung × 0.5-45 Hz) vào một CNN 2D nhỏ | P2 | feature mang phần lớn lợi ích; một encoder học trên phổ có thể tìm tổ hợp tốt hơn | trung bình |
| F10 | Nhịp tim từ nhiễu ECG ở kênh TP (nếu thấy được) | P3 | nhịp tim chậm lại khi vào ngủ; chưa biết Muse có bắt được ECG ổn định không, cần kiểm tra trước | cao |
| F11 | Embedding của foundation model EEG (REVE theo kênh, EDA mục 12) | P3 | thông tin mới nhưng chi phí suy luận và rủi ro lệch miền (PSG → Muse) lớn | cao |
| F12 | Biến đổi wavelet (DWT hoặc CWT) thay STFT | P3 | độ phân giải thời gian-tần số khác; nhưng STFT 1 s / 4 s (E9) đã không giúp | trung bình |

**Không thử:** elapsed time làm input (đã không giúp, và rủi ro nếu bộ sealed cắt khác); độ dài file, số mẫu, thống kê cả bản ghi; thêm feature ngữ cảnh làm sẵn kiểu EMA (E6 và regime features đã tệ hơn).

## 2. Chi tiết

### F1. Rút gọn bộ feature

- **F1a:** bỏ 88 cột phổ 1 Hz (còn 129 cột).
- **F1b:** bỏ thêm 24 cột công suất tương đối (thông tin trùng với log công suất và log tổng).
- **F1c:** chọn top-K theo permutation importance của GRU trên tập kiểm tra nội bộ, với K = 64 và 128. Importance phải tính lại trong từng fold, không dùng chung cho mọi fold, để tránh rò rỉ.

Kỳ vọng: nếu thắng thì nhờ giảm overfit. Nếu thua thì 88 cột phổ có mang thông tin riêng, đáng giữ.

### F2. Độ phức tạp tín hiệu

Mỗi kênh, trên tín hiệu đã lọc:
- **Hjorth mobility và complexity** (activity chính là log SD, đã có);
- **Lempel-Ziv complexity**, nhị phân hoá theo median của cửa sổ;
- **permutation entropy** (bậc 3-5, độ trễ 1-2 mẫu);
- **Higuchi fractal dimension**;
- **spectral flatness**.

Khoảng 20-24 cột. Lempel-Ziv và permutation entropy cần vòng lặp; nên viết bằng numpy vector hoá hoặc torch để solver chạy kịp.

### F3. Detector sự kiện

Mọi ngưỡng tính **trong cửa sổ** (theo median và MAD của chính cửa sổ, hoặc ngưỡng cố định µV), không theo cả bản ghi.

- **Chớp mắt:** lọc AF7 và AF8 ở 0.5-5 Hz; đếm đỉnh dương đồng thời ở cả hai kênh trán, biên độ > 80-100 µV, rộng 0.1-0.5 s. Ra số lần và biên độ trung bình.
- **Spindle:** RMS 11-15 Hz trên cửa sổ trượt 0.5 s; đếm đoạn vượt 2.5 × median trong 0.5-2 s. Ra số burst và tổng thời lượng.
- **Sóng chậm lớn (K-complex hoặc vertex wave):** biên độ đỉnh-đỉnh ở 0.5-2 Hz > 75 µV ở TP. Ra số lần.

Rủi ro: ngưỡng cố định nhạy với biên độ nền khác nhau giữa người (5-6 dB); nên thử cả ngưỡng tương đối.

### F4. Tiếp xúc điện cực và trôi nền

Mỗi kênh, từ tín hiệu **thô** (trước low-pass):
- trung bình cửa sổ (mức DC);
- độ dốc trend tuyến tính;
- công suất dưới 0.5 Hz;
- công suất quanh 50 Hz và 60 Hz;
- tỉ số công suất 50 Hz so với 30-45 Hz.

Khoảng 20 cột, tính rất rẻ. Lưu ý: EDA ghi có cờ QC 50/60 Hz trong `sessions.tsv`, nhưng đó là thống kê cả bản ghi nên không được dùng. Bản theo từng cửa sổ thì hợp lệ.

### F5. Chuẩn hoá feature

- **F5a:** quantile transform về phân phối chuẩn, fit trên train của fold.
- **F5b:** z-score với median và IQR thay cho mean và SD.

Hằng số lưu vào solver như hiện nay.

### F6-F12

- **F6:** với 4 band chính (alpha, theta, sigma, beta), lấy min, median và max của log công suất qua 7 khung, thay hoặc thêm vào cột SD giữa khung hiện có. "Alpha dropout" là tỉ lệ khung có alpha thấp hơn 0.5 × max alpha của cửa sổ. Khoảng 40 cột.
- **F7:** magnitude-squared coherence trung bình trong band, cho các cặp TP9-TP10, AF7-AF8, TP9-AF7 và TP10-AF8 × 3 band; alpha asymmetry = log alpha AF8 − log alpha AF7; PLI alpha. Khoảng 16 cột.
- **F8:** fit `log P = b − log(k + f^χ)` trên 1-40 Hz, có hoặc không có knee; công suất đỉnh alpha và theta trên nền aperiodic. Dùng `scipy.optimize` mỗi cửa sổ thì chậm; nên dùng lưới χ cố định hoặc fit tuyến tính hoá.
- **F9:** đưa log-spectrogram `(4 kênh, 7 khung, 90 bin)` vào một CNN 2D nhỏ, thay nhánh 88 cột phổ 1 Hz. Đây gần với thay đổi kiến trúc; nên chạy sau F1, vì F1a cho biết 88 cột đó có giá trị không.
- **F10:** kiểm tra trước: tự tương quan 0.7-2 Hz của TP9 và TP10 có đỉnh rõ ở bao nhiêu % cửa sổ. Chỉ làm feature nếu thấy được ở đa số bản ghi.
- **F11, F12:** chỉ làm nếu P1 và P2 không mang lại gì.

## 3. Kế hoạch chạy

1. **Loạt P1** (model đơn): `base`, F1a, F1b, F2, F3, F4, F5a. F1c cần chạy permutation importance trước nên đi sau. Khoảng 3 giờ với 3 tiến trình GPU.
2. **Loạt P2:** F6, F7, F8 (và F1c, F9 nếu F1a cho tín hiệu).
3. **Gộp và ensemble:** gộp các biến thể thắng, rồi chạy kiểm tra ensemble 5 seed (như E12). Chỉ làm solver mới nếu ensemble thắng `base` ở cả CV lẫn test công khai.

## 4. Bảng kết quả

| ID | Biến thể | Số cột | CV macro (model đơn) | Hiệu so với `base` ± SE | Test công khai seed 42 | Trung bình 5 seed | Ensemble 5 seed (CV / test) | Kết luận |
|---|---|---|---|---|---|---|---|---|
| — | `base` | 217 | 40.85 | | 45.4 | 45.0 | 39.61 / 44.61 (E12) | đối chứng cùng phiên |
| F1a | bỏ phổ 1 Hz | 129 | 41.27 | +0.44 ± 0.25 | 45.1 | 45.7 | | tệ hơn: 88 cột phổ có thông tin riêng |
| F1b | bỏ phổ 1 Hz và công suất tương đối | 105 | 41.42 | +0.57 ± 0.27 | 44.9 | 45.5 | | tệ hơn |
| F1c | top-K theo importance (trong từng fold) | 64 / 128 | 40.55 / 40.77 | −0.39 ± 0.23 / −0.21 ± 0.22 | 46.6 / 45.5 | 44.8 / 45.3 | | top-64 nhỉnh hơn trong CV (khoảng 1.7 SE), test công khai không rõ; chưa thắng |
| F2 | độ phức tạp (Hjorth, Lempel-Ziv, permutation entropy, Higuchi, spectral flatness) | +24 | 40.93 | +0.06 ± 0.21 | 45.5 (base 47.1) | 45.8 (base 45.6) | làm view: CV +0.00 ± 0.09, test +0.14 ± 0.31 | trung lập (test TB +0.22 ± 0.89) |
| F3 | detector sự kiện (chớp mắt, thoi ngủ, sóng chậm) | +8 | 40.70 | −0.09 ± 0.15 | 45.7 (base 47.1) | 46.1 (base 45.6) | làm view: CV −0.06 ± 0.08, test +0.37 ± 0.24 | trung lập (test TB +0.50 ± 0.68) |
| F4 | tiếp xúc điện cực và trôi nền (từ tín hiệu thô) | +20 | 40.62 | −0.27 ± 0.18 | 47.0 (base 47.1) | 47.0 (base 45.6) | làm view: CV −0.20 ± 0.09, test +0.47 ± 0.38 | CV nhỉnh hơn (1.5 SE; bài kéo dài −0.60 ± 0.19) nhưng test công khai tệ hơn +1.33 ± 0.71: mâu thuẫn, chưa nhận |
| F5a | quantile transform | 217 | 40.98 | +0.07 ± 0.24 | 47.1 (base 47.1) | 46.1 (base 45.6) | làm view: CV −0.08 ± 0.12, test +0.12 ± 0.32 | không giúp; bài kéo dài tệ hơn +0.57 ± 0.24 |
| F6 | động học trong cửa sổ (min/median/max theo 7 khung, alpha dropout) | +52 | 41.01 (base 40.43) | +0.58 ± 0.17 | 47.6 (base 46.7) | 45.8 (base 45.1) | | tệ hơn ở CV (3.4 SE); test TB +0.68 ± 0.91 |
| F7 | kết nối giữa kênh (coherence, PLI, bất đối xứng) | +16 | 40.88 (base 40.43) | +0.42 ± 0.18 | 44.8 (base 46.7) | 45.1 (base 45.1) | | tệ hơn ở CV (2.3 SE); test TB −0.03 ± 0.70; bài kéo dài +0.48 ± 0.18 |
| F8 | aperiodic fit kiểu FOOOF (exponent, offset, knee, đỉnh alpha/theta) | +20 | 40.88 (base 40.43) | +0.65 ± 0.21 | 43.1 (base 46.7) | 45.2 (base 45.1) | | tệ hơn ở CV (3.1 SE); test TB +0.15 ± 0.94. Seed 42 tốt (43.1) chỉ là nhiễu: 4 seed còn lại không tốt hơn |
| F9a | spectrogram (4×7×90) + CNN 2D, thay nhánh phổ 1 Hz | | 41.89 (base 40.43) | +1.65 ± 0.22 | 46.6 (base 46.7) | 45.4 (base 45.1) | | rõ ràng tệ hơn; gấp đôi thời gian, 18 GB GPU |
| F9b | spectrogram + CNN 2D, thêm vào 217 cột | | 41.27 (base 40.43) | +0.92 ± 0.18 | 46.7 (base 46.7) | 46.1 (base 45.1) | | tệ hơn ở CV (5 SE); test TB +1.01 ± 0.72 |

### Ghi chú 2026-10-24: F2-F5a làm "view" cho ensemble (`experiments/augment/ens_feat_views.py`, log `results/ens_feat_views.log`)

Cùng số model; xác suất đã lưu của các biến thể (3 seed CV, 5 seed test). Hiệu so với `base` (âm là tốt hơn):
- Nhóm 4 view feature ở cùng k = 4, 8, 12: CV −0.03, −0.04, +0.01 (±0.10); test công khai +0.88, +0.65, +0.71 (±0.46).
- Thêm 4 view feature vào nhóm 8 view cũ: CV +0.00, +0.05, +0.04 (±0.04); test công khai +0.21, +0.14, +0.39 (±0.2). Không giúp.
- Từng view (3 `base` + 3 view so với 6 `base`; mốc là các view cũ đã biết có ích): `a2_swap` −0.22 / −0.37, `e5c_dropout` −0.16 / −0.19, `e9b_nfft128` −0.11 / −0.29, `a10_covmix` −0.11 / +0.19 (CV / test). F2, F3, F5a gần 0; F4 −0.20 ở CV nhưng +0.47 ở test công khai.
Kết luận: không feature nào trong F2-F5a đáng đưa vào solver, cả khi dùng riêng lẫn làm view.

### Ghi chú 2026-10-25: F6-F9 (`experiments/augment/results/summary_feat2.md`)

`base` của phiên này là 40.43 ở CV (khác 40.85 của phiên F1 vì seed và phiên chạy khác nhau; luôn so cặp với `base` cùng phiên). F6 chạy lại từ đầu vì lần đầu bị CUDA OOM khi F9a đang giữ GPU.
- Không feature nào trong F6-F9 thắng `base`. Cả bốn đều tệ hơn ở CV (+0.42 tới +1.65, từ 2.3 SE trở lên); test công khai không phân biệt được (SE khoảng 0.5-0.9), trừ việc không có dấu hiệu tốt hơn.
- Thêm nhiều cột (F6 +52, F7 +16, F8 +20) làm MAE bin 300-600 s tăng (293.6 → 295.7-300.0) mà bin 0-40 s không đổi (14.1 → 14.2-14.3): thêm cột chủ yếu thêm nhiễu cho các cửa sổ xa.
- F9 (CNN 2D trên log-spectrogram) tệ nhất. Phổ học được không thay được 88 cột phổ 1 Hz với 540 bản ghi; thêm vào cũng không giúp.
- Kết hợp với F1 và F2-F5: 217 cột hiện tại gần như là mức tối ưu của kho feature. Hướng còn lại là thêm **thông tin mới** (dữ liệu ngoài, xem [EXTERNAL_DATA_EXPERIMENTS.md](EXTERNAL_DATA_EXPERIMENTS.md)) hoặc diversity ở mức ensemble, không phải thêm feature.
