# Thí nghiệm tăng cường dữ liệu (data augmentation) nên thử (Track 03, Muse)

Ngày 2026-10-19. Danh sách dựa trên:
- EDA ([eda_muse/EDA_Muse_va_phuong_phap.md](eda_muse/EDA_Muse_va_phuong_phap.md), mục 9, 10, 17);
- các thí nghiệm đã chạy của bài này ([PREPROCESS_EXPERIMENTS.md](PREPROCESS_EXPERIMENTS.md), [CONTEXT.md](CONTEXT.md));
- bài học của bài EEG khác trong [EXPERIMENTS_LOG.md](EXPERIMENTS_LOG.md).

Đã chạy A1-A8, A10, A11 ngày 2026-10-20 (code: [experiments/augment/run_augment.py](experiments/augment/run_augment.py), kết quả đầy đủ: [experiments/augment/results/summary.md](experiments/augment/results/summary.md)). Không biến thể nào thắng ở mức 2 SE trong CV; A8b, A2, A1b tốt hơn `base` ở cả CV lẫn test công khai. A9 (2026-10-21): xem cuối bảng mục 6.

## 0. Cách so sánh

**Nền (`base`):** cấu hình tốt nhất hiện tại:
- `cnn_feat_gru` với đầu vào low-pass 45 Hz và 217 feature;
- head phân phối `dist_w`;
- E4 `both` (1 s đầu = 0, cửa sổ đầu không tính loss, random start 0-3 phút).

CV hiện tại khoảng 40.5. Mỗi lượt chạy lại `base` trong cùng phiên làm đối chứng, vì hai lần chạy cùng cấu hình đã lệch nhau khoảng 0.3 s.

**Giao thức** (giống mọi thí nghiệm trước, chấm offline):
1. **CV:** 5 fold theo người × seed 0-2, macro = trung bình seen và unseen; so cặp trên từng bản ghi với `base`, sau khi lấy trung bình qua seed. Coi là thắng khi tốt hơn ít nhất 2 lần sai số chuẩn.
2. **Test công khai:** train 500 bản ghi, chấm 40 bản ghi, seed 42-46; báo cáo cột seed 42 (theo ban tổ chức) cạnh trung bình 5 seed.
3. **Các chỉ số phụ:**
   - MAE theo bin;
   - MAE trong phút đầu bản ghi;
   - bài cắt đầu bản ghi (đã có);
   - **bài kéo dài bản ghi (mới, xem A5):** ghép thêm vài phút thức của một bản ghi khác vào đầu mỗi bản ghi giữ ngoài, để đo model dựa vào "đồng hồ" bao nhiêu. Đây là rủi ro chính với bộ sealed nếu bản ghi ở đó dài hơn 25 phút.

**Ràng buộc riêng của bài này:**
- **Augmentation chỉ áp lúc train.** Mọi thứ đổi lúc suy luận đã là tiền xử lý, thuộc danh sách khác.
- **Không được làm lệch nhãn.** Nhãn là "số giây còn lại tới N2" của từng cửa sổ. Augmentation nào làm đổi thời gian (dịch, giãn, đảo thứ tự cửa sổ) đều phải tính lại nhãn, hoặc là bị cấm. Bài EEG kia cho thấy lệch nhãn chỉ 60 ms đã làm tụt mạnh (`lag2`: −0.03).
- **Hai nhánh phải nhất quán.** 217 feature được tính sẵn (cache) từ tín hiệu sạch. Augmentation trên dạng sóng chỉ đến được nhánh CNN, trừ khi tính lại feature (đắt) hoặc biến đổi feature tương ứng theo công thức. Vì vậy ưu tiên các phép có **công thức chính xác trong không gian feature** (nhóm P1).

## 1. Tham khảo từ EXPERIMENTS_LOG.md (bài EEG kia)

**Chỉ để lấy ý tưởng, không phải bằng chứng.** Bài kia là dữ liệu khác (58 kênh EEG, giải mã chú ý thính giác, cửa sổ vài giây, nhãn nhị phân), còn bài này là 4 kênh Muse, dự đoán thời gian tới N2, chuỗi nhiều phút. Một augmentation thất bại ở đó **không** có nghĩa là thất bại ở đây, và ngược lại; mọi mục dưới đây vẫn phải chạy thử trên dữ liệu này.

| Augmentation ở bài kia | Kết quả ở đó | Tương đương ở bài này |
|---|---|---|
| Che cụm 3-8 điện cực lân cận | ổn định nhất, +0.004 (4 seed) | channel dropout: **E5c** (đang chạy) |
| "Hai lần chuyển" (`sw2`): ghép đoạn tổng hợp tạo thêm chuyển trạng thái | +0.004 (4/4 seed dương), có lợi trên dữ liệu tổng hợp | ghép bản ghi để kéo dài phần thức: **A5** |
| Nhiễu gấp đôi (`noise02`) | trung lập ở đó | nhiễu Gauss: **A8** |
| Covariance mixing (`covmix`) | trung lập ở đó | **A10** |
| Nghiêng phổ | trung lập ở đó | **A11** |
| Bỏ một tín hiệu đầu vào (`featdrop`) | không nhất quán ở đó | feature dropout: **A4b** |
| Che cụm 50% (`pclus05`) | có hại ở đó | có thể thử channel dropout mạnh hơn (0.2-0.3) |
| Lệch thời gian ±60 ms (`lag2`) | có hại rõ (−0.03) | không phải do dữ liệu mà do nguyên tắc: làm lệch nhãn so với tín hiệu thì luôn sai; ở bài này nhãn được tính lại đúng (A3, A5) |

Điều đáng giữ lại từ bài kia là cách nghĩ, không phải kết quả: augmentation nhắm vào một lệch phân phối đo được (mất điện cực, thiếu sự kiện hiếm) thường đáng thử trước.

## 2. Đã làm hoặc đang làm

| Augmentation | Trạng thái | Kết quả |
|---|---|---|
| Random start 0-3 phút (E4 `rstart`) | xong, đã vào nền | −0.52 ± 0.20 s trong CV |
| Mask cửa sổ đầu (E4 `mask`) | xong, đã vào nền | −0.59 ± 0.15 s |
| Channel dropout p = 0.1 (E5c) | xong | +0.25 ± 0.20 s trong CV, không giúp |
| Làm trơn nhãn HL-Gauss σ = 7.5 s | có sẵn trong head `dist_w` | |

## 3. Bảng ưu tiên

| ID | Augmentation | Ưu tiên | Lý do (EDA hoặc bài học) | Chi phí |
|---|---|---|---|---|
| A1 | Gain ngẫu nhiên theo bản ghi và theo kênh | P1 | biên độ nền lệch 5-6 dB giữa người và giữa đêm (EDA mục 9) | thấp, có công thức chính xác trong feature |
| A2 | Hoán đổi bán cầu AF7↔AF8, TP9↔TP10 | P1 | gấp đôi dữ liệu "miễn phí"; tín hiệu sắp ngủ không phụ thuộc bán cầu | thấp, hoán vị chính xác |
| A3 | Jitter nhãn onset ±15 s / tăng σ làm trơn nhãn | P1 | N2 được chấm theo epoch 30 s nên onset thật lệch tới ±15 s | rất thấp |
| A4 | Nhiễu và dropout trên feature | P2 | feature một cửa sổ rất nhiễu (AUC ≤ 0.67), model overfit nhanh (epoch tốt nhất khoảng 11/25) | rất thấp |
| A5 | Kéo dài phần thức bằng ghép bản ghi | P1 | bản ghi công khai bị cắt ở khoảng 25 phút, sealed chưa biết | trung bình |
| A6 | Dịch tần số nhỏ (≤ 0.5 Hz) | P2 | đỉnh alpha dao động giữa người (EDA mục 9: ICC alpha 0.60) | cao (phải tính lại feature) |
| A7 | Mixup giữa các bản ghi | P3 | chưa có bằng chứng; trộn nhãn có thể làm mờ ranh giới bin | trung bình |
| A8 | Augmentation dạng sóng cho nhánh CNN (TimeReverse trong cửa sổ, nhiễu Gauss) | P2 | rẻ; model overfit nhanh nên điều chuẩn có thể giúp | thấp |
| A10 | Trộn hiệp phương sai giữa các bản ghi (`covmix`) | P2 | tương quan giữa kênh khác nhau giữa người và thiết bị | thấp |
| A11 | Nghiêng phổ ngẫu nhiên (đổi độ dốc 1/f nhỏ) | P3 | đặc trưng 1/f khác nhau giữa người; nhưng 1/f slope lại là feature dự đoán mạnh, nên dễ phá tín hiệu | cao (phải tính lại feature) |
| A9 | Gộp các augmentation đã thắng | sau cùng | | |

Ưu tiên ở bảng này chỉ dựa trên dữ liệu của bài này (lệch phân phối đo được, chi phí, rủi ro làm hỏng tín hiệu), không dựa trên kết quả của bài kia.

## 4. Chi tiết

### A1. Gain ngẫu nhiên

**Cách làm:** mỗi bản ghi mỗi epoch nhận một hệ số chung g ~ log-uniform ±3 dB (0.7 đến 1.4), cộng một hệ số riêng từng kênh ±1.5 dB. Áp vào cửa sổ thô đưa vào CNN, và biến đổi feature theo công thức chính xác:
- log công suất băng, log công suất tổng, phổ thô 1 Hz: cộng 2·log10(g) (chia cho độ lệch chuẩn của cột khi đã chuẩn hoá);
- `log_sd`, `log_linelen`, `log_maxabs`: cộng log10(g);
- công suất tương đối, các tỉ số, entropy, SEF, 1/f slope, tương quan: **không đổi**.

**Lưu ý:**
- `clip_frac` và `n_bad` phụ thuộc ngưỡng tuyệt đối, nên để nguyên (gain không tạo ra clipping mới trong tín hiệu thật).
- Gain theo bản ghi (giữ nhất quán trong cả chuỗi) là thứ mô phỏng khác biệt giữa người. Gain thay đổi theo từng cửa sổ thì không có cơ sở sinh lý và có thể phá tín hiệu "biên độ giảm dần" mà model đang dùng.

**Biến thể:** A1a chỉ theo bản ghi; A1b theo bản ghi + theo kênh.

### A2. Hoán đổi bán cầu

Với xác suất 0.5 mỗi bản ghi, đổi AF7↔AF8 và TP9↔TP10 ở cả cửa sổ thô lẫn feature theo kênh. Các feature tương quan được ánh xạ tương ứng: TP9-AF7 ↔ AF8-TP10, còn TP9-TP10 và AF7-AF8 giữ nguyên. Feature theo cặp (phổ thô TP, AF) không đổi.

Rủi ro: vạch nhiễu riêng của AF7 (21.33, 42.67 Hz) sẽ xuất hiện ở AF8. Nếu E7a (bỏ vạch AF7) thắng thì nên dùng chung.

### A3. Jitter nhãn

- **A3a:** mỗi bản ghi mỗi epoch, dịch onset một lượng δ ~ U(−15, 15) s. Nhãn mọi cửa sổ thành clip(y + δ, 0, 600), trọng số metric tính lại. Đây là độ bất định thật của nhãn, vì N2 được chấm theo epoch 30 s.
- **A3b:** thay vì jitter, tăng độ rộng làm trơn nhãn của head phân phối từ σ = 7.5 s lên 15 s.

Lưu ý: chấm điểm vẫn dùng nhãn gốc. Nếu A3 có hại ở bin 0-40 s (nơi 15 s là sai số đáng kể) thì nhỏ δ lại.

### A4. Nhiễu và dropout trên feature

- **A4a:** nhiễu Gauss σ = 0.1 (đơn vị đã chuẩn hoá) cộng vào 217 feature của mỗi cửa sổ.
- **A4b:** mỗi cửa sổ, mỗi feature bị đặt về 0 (giá trị trung bình) với xác suất 0.1.

Rất rẻ; model hiện overfit nhanh (epoch tốt nhất khoảng 11/25), nên điều chuẩn kiểu này có cơ sở để thử.

### A5. Kéo dài phần thức bằng ghép bản ghi

**Vì sao:** bộ công khai chọn lọc để N2 đến trong khoảng 25-30 phút, nên model có thể học đồng hồ. E4 random start và các bài cắt đầu mới chỉ kiểm tra chiều "bản ghi ngắn hơn". A5 thêm chiều ngược lại: bản ghi dài hơn.

**Cách làm (chỉ khi train):** với xác suất 0.3, chèn vào đầu bản ghi một đoạn 2-10 phút cửa sổ "thức xa" (nhãn 600, tức còn trên 10 phút) lấy từ một bản ghi khác, ưu tiên đêm khác của cùng người. Nhãn các cửa sổ cũ giữ nguyên (thời gian tới N2 không đổi); nhãn đoạn chèn là 600; trọng số tính lại.

**Rủi ro:** chỗ nối không liền mạch (bộ lọc và mức nền khác nhau). Vì nhãn đoạn chèn đều là 600, model có thể học "mọi thứ trước chỗ nối là xa". Nó cũng có thể chỉ giúp trên bài thử kéo dài (dữ liệu tổng hợp) mà không giúp trên bản ghi thật; cần nhìn cả hai.

**Bài thử kéo dài (dùng cho mọi biến thể):** ghép đoạn thức của một bản ghi giữ ngoài khác vào đầu mỗi bản ghi giữ ngoài, rồi chấm trên phần gốc. Chênh so với không ghép cho biết model phụ thuộc đồng hồ bao nhiêu.

### A6-A8, A10, A11

- **A6 dịch tần số:** dịch ±0.25-0.5 Hz theo bản ghi. Phải tính lại 217 feature mỗi batch (đắt: có thể tính trước vài bản dịch cố định, ví dụ −0.5, −0.25, +0.25, +0.5 Hz, rồi chọn ngẫu nhiên), hoặc chỉ áp cho nhánh CNN.
- **A7 mixup:** chỉ nên trộn hai bản ghi có nhãn giống nhau (cùng bin), nếu không sẽ làm mờ chính các ranh giới bin mà metric phạt nặng.
- **A8:** các augmentation dạng sóng chung (TimeReverse trong cửa sổ, nhiễu Gauss nhỏ) chỉ đến được nhánh CNN, mà nhánh này hiện đóng góp dưới 1 s, nên lợi ích tối đa có giới hạn. Trên Sleep Physionet, Rommel 2022 thấy `GaussianNoise` không giúp và `SmoothTimeMask` có hại cho NREM; đó là dữ liệu PSG khác, nên vẫn đáng thử trên Muse.
- **A10 covmix:** trộn ma trận hiệp phương sai giữa kênh của hai bản ghi (tô màu lại tín hiệu bằng R_B^(1/2) R_A^(−1/2) với một tỉ lệ ngẫu nhiên) cho nhánh CNN; feature tương quan cần tính lại theo đó. Hợp với E10 (căn chỉnh Euclid) nếu E10 thắng.
- **A11 nghiêng phổ:** nhân phổ với f^β, β nhỏ ngẫu nhiên theo bản ghi. Rủi ro lớn vì 1/f slope là một trong các feature dự đoán mạnh nhất; chỉ thử nếu A1-A6 không giúp.

## 5. Kế hoạch chạy

1. Một loạt P1: `base`, A1a, A1b, A2, A3a, A3b, A5. Mỗi biến thể 20 lần train (15 CV + 5 test công khai), khoảng 2.5 giờ với hai tiến trình GPU song song.
2. Loạt P2: A4a, A4b, A6, A8, A10 (và channel dropout mạnh hơn 0.2-0.3 nếu E5c thắng).
3. A9: gộp những biến thể thắng, chạy CV và test công khai.

## 6. Bảng kết quả

| ID | Biến thể | CV macro | Hiệu so với `base` ± SE | Bài kéo dài (hiệu so với `base`) | Test công khai seed 42 | Trung bình 5 seed | Kết luận |
|---|---|---|---|---|---|---|---|
| — | `base` | 40.69 | | +1.15 s so với bản ghi thường | 46.3 | 45.7 | đối chứng |
| A1a | gain theo bản ghi | 40.72 | −0.05 ± 0.20 | +0.42 ± 0.19 | 46.3 | 45.3 | trung lập |
| A1b | gain theo bản ghi + kênh | 40.65 | −0.22 ± 0.21 | +0.07 ± 0.19 | 45.8 | 44.7 | xu hướng tốt (CV và test cùng chiều), chưa chắc |
| A2 | hoán đổi bán cầu | 40.62 | −0.25 ± 0.21 | −0.18 ± 0.21 | 45.0 | 45.0 | xu hướng tốt (CV và test cùng chiều), chưa chắc |
| A3a | jitter onset ±15 s | 40.84 | +0.28 ± 0.16 | +0.20 ± 0.16 | 46.7 | 44.8 | CV tệ hơn, test tốt hơn: mâu thuẫn |
| A3b | σ làm trơn nhãn 15 s | 41.02 | +0.21 ± 0.16 | +0.31 ± 0.16 | 45.5 | 44.8 | CV tệ hơn, test tốt hơn: mâu thuẫn |
| A4a | nhiễu feature | 40.81 | +0.02 ± 0.16 | +0.33 ± 0.15 | 47.2 | 46.1 | không giúp |
| A4b | dropout feature | 40.57 | −0.14 ± 0.18 | +0.25 ± 0.16 | 47.0 | 45.5 | trung lập |
| A5 | kéo dài phần thức | 40.90 | +0.07 ± 0.18 | **−0.29 ± 0.17** | 47.9 | 47.1 | giúp bài kéo dài nhưng test công khai tệ hơn (+1.4) |
| A6 | dịch tần số ±0.25-0.5 Hz | 41.22 | **+0.68 ± 0.18** | +1.28 ± 0.19 | 46.0 | 45.3 | có hại (CV) |
| A8a | đảo thời gian trong cửa sổ | 40.69 | +0.03 ± 0.18 | +0.42 ± 0.18 | 45.6 | 46.2 | không giúp |
| A8b | nhiễu Gauss 0.1 × SD cho CNN | 40.48 | −0.25 ± 0.15 | −0.02 ± 0.14 | 45.6 | 44.8 | xu hướng tốt nhất (CV và test cùng chiều), chưa chắc |
| A10 | covmix | 40.66 | −0.06 ± 0.21 | +0.14 ± 0.20 | 44.9 | 45.7 | trung lập |
| A11 | nghiêng phổ | 40.96 | +0.27 ± 0.27 | +0.69 ± 0.26 | 46.4 | 45.8 | không giúp |
| A7 | mixup căn theo N2 | 40.99 | +0.32 ± 0.21 | +0.70 ± 0.19 | 45.6 | 44.1 | CV tệ hơn, test tốt hơn rõ (−1.58 ± 0.54): mâu thuẫn |
| A9 | noise + gainch + swap | 40.36 | −0.44 ± 0.25 | −0.26 ± 0.22 | 47.5 | 45.7 | CV tốt hơn, test công khai không đổi; ensemble 5 model: CV −0.26 ± 0.24, test −0.12 (E12) |
| A9m | noise + gainch + swap + mixup | 40.41 | −0.41 ± 0.23 | −0.02 ± 0.22 | 43.9 | 44.0 | model đơn tốt hơn ở cả CV và test (−1.57 ± 0.62). Ensemble 5 seed (E12, 2026-10-21): CV 39.77 so với 39.61 (+0.10 ± 0.22), test công khai 43.32 so với 44.61 (−1.29 ± 0.71): test tốt hơn, CV trung lập |
