# Lịch sử thí nghiệm

> **Cập nhật 2026-11-07:** Các điểm H trong lịch sử này dùng metric cũ, trước κ hiệu chỉnh chance và giới hạn cửa sổ đến switch tiếp theo. Xem `CONTEXT_3_RULES.md` mục 4; không so các giá trị cũ trực tiếp với kết quả chấm mới.

Tóm tắt theo thời gian. Bản chi tiết nhất, với mọi con số, là `CONTEXT_MEMORY_decoder-lodo-findings.md`.
Mọi điểm H dưới đây là trên bài chấm LODO (train 4 dataset, chấm dataset thứ 5, chuyển chú ý tổng hợp, HMM, bộ chấm chính
thức đã được viết lại bằng Python), trừ khi ghi "dữ liệu thật".

## Bảng tổng: các mốc điểm

| Ngày | Thay đổi | H |
|---|---|---|
| đến 30/9 | Baseline tuyến tính của ban tổ chức (`wf__mat`) | 0,682 |
| đến 30/9 | Mạng `vlaai_ws` + tăng cường `cluster` + thêm mục tiêu onset | 0,713–0,726 |
| 1/10 | Căn chỉnh Euclid nhân quả, mang trạng thái qua trial (`mat_reac`) | 0,742 |
| 2/10 | + Fuglsang 2020 làm dữ liệu train | 0,746 |
| 3/10 | + mục tiêu `dom` (mức trội đã chuẩn hoá, ý tưởng của người dùng) | 0,754 |
| 3/10 | + khởi tạo từ pretrain SparrKULee | 0,759 |
| 3/10 | + trọng số LDA cho evidence | 0,761 |
| 4/10 | + ghép với bộ phân loại trực tiếp 5 s, trộn 70/30 | 0,770 |
| 4/10 | + trung bình 4 seed mỗi loại | 0,773 |
| 4/10 | + p_stay 0,9997; lookahead chính xác (`DEC_OFFSET=3`) | 0,778 |
| 4/10 | + bộ phân loại 10 s | 0,781 (không hợp lệ: có mang trạng thái) |
| 5/10 | Đọc Terms: phải bỏ mang trạng thái qua trial | 0,772 |
| 5–6/10 | Căn chỉnh khởi động từ giá trị quần thể, trọng lượng 5 s (`eaP_n5_t60`) | 0,778 |
| 6/10 | Bộ phân loại 10 s chuyển sang 3 khối | 0,783 |
| 6/10 | Bỏ bộ 5 s, dùng 4 seed bộ 10 s 3 khối | **0,795** |

## Trước 4/10 (từ bộ nhớ, tóm lược)

- **EDA toàn bộ dữ liệu** (24/9): báo cáo PDF ở `reports/eda_full`, tài liệu nhập môn ở `reports/onboarding`. Phát hiện
  chính: giải mã không gian ở mức đoán mò khi giữ ngoài dataset; KUL-AV-GC người nghe không đổi người nói, chỉ đổi hướng
  ở giây 300; SNR giữa các dataset thấp.
- **Benchmark LODO** dựng trong `experiments/decoder_lodo` với mọi bộ giải mã của gói SuperHugeAAD.
- **Có ích:** mạng sâu hơn tuyến tính; tiền xử lý dùng file của ban tổ chức; z-score cả trial; bật skip connection của
  VLAAI; mục tiêu onset; căn chỉnh Euclid nhân quả; Fuglsang; mục tiêu `dom`; pretrain SparrKULee (nhỏ); trọng số LDA.
- **Không có ích:** chỉnh HMM (+0,002–0,006); mô hình Markov chuyển chế độ; cửa sổ decoder dài hơn 5 s; dải 1–15 Hz;
  SSMamba; warm-up; lấy mẫu cân bằng; cân bằng phổ; kênh gamma; kênh pha delta/theta; dữ liệu Broderick; Carta trong
  train; trộn SparrKULee 25 % vào batch; ADT và HappyQuokka; mục tiêu glimpse/mask; onset tương đối; hiệu envelope thô;
  làm trắng theo thời gian; chuẩn hoá phổ.
- **Dữ liệu thật lần đầu** (2/10): trên AASD mô hình chỉ đạt 51,6 % / H 0,63, gần mức ngẫu nhiên; Carta 0,61–0,62.

## 4/10

- **CRF train đầu-cuối** trên chuỗi có chuyển chú ý giả: không tăng.
- **Bộ phân loại trực tiếp** (EEG + hai envelope → A/B), phản đối xứng, có đối chứng chống đi tắt (EEG bằng 0, EEG dịch
  nửa trial, bỏ kênh trán, mô hình chỉ nhận envelope): sạch. Đứng riêng 0,756–0,762 (có pretrain, train ổn định).
- **Ba cách ghép** decoder + bộ phân loại: trọng số học bằng loss chuỗi, LDA, trộn cố định. LDA trên mọi nguồn thất bại
  (cửa sổ 5 s tự tương quan mạnh hơn); trộn cố định 70/30 ngang với học trọng số.
- **Thân transformer** cho bộ phân loại (ADT, HappyQuokka): bỏ theo yêu cầu người dùng.
- **Trung bình seed**: decoder +0,002–0,003 (các seed tương quan 0,94); bộ phân loại +0,007 (tương quan 0,80).
- **p_stay** cho bản ghép: tối ưu quanh 0,9997 trên dữ liệu tổng hợp.
- **Ngân sách lookahead chưa dùng hết**: cửa sổ evidence 1 s của decoder chỉ cần EEG đến t_end + 0,5 s; đóng nhãn với
  lookahead 0,5 thay vì 0,75 cho +0,002.
- **Kiểm tra rò rỉ đầu-cuối** (`leakage_test.py`): mọi pipeline dùng tối đa 0,969 s; bốn đối chứng âm bị bắt.
- **Bộ phân loại 10 s**: đứng riêng 0,768–0,770 (5 s: 0,759); 20 s kém hơn (0,763).
- **Không tăng:** evidence decoder đa thang; decoder ADT với env + onset + dom; nghiêng phổ; loss đối kháng.
- **Chấm bản ghép trên dữ liệu thật**: 0,62–0,66; p_stay 0,9997 kém nhất; bộ 10 s kém bộ 5 s trên AASD.

## 5/10

- **Đọc Terms từ Codabench** (qua API, trang thường không tải được). Phát hiện: chỉ được dùng dữ liệu của trial đang
  test → `mat_reac` không hợp lệ. Mất 0,007–0,010 điểm.
- **Bốn hướng người dùng yêu cầu chạy:**
  1. Căn chỉnh khởi động từ giá trị quần thể (`mat_reap`): lấy lại khoảng một nửa; giúp bộ 10 s, không giúp decoder.
  2. Phân tích theo fold AVGC: tỉ trọng bộ phân loại 15–30 % tốt nhất ở đó; bộ 10 s 4 khối không hơn bộ 5 s trên AVGC.
  3. Tự thích nghi trong trial bằng nhãn giả: bỏ. Ngay cả với nhãn thật cũng chỉ +0,006.
  4. HMM nhiều tốc độ chuyển: bỏ. Nó cư xử như một p_stay cỡ 0,98–0,99.
- **Loss đối kháng** theo dataset / người nghe: xoá được thông tin (bộ đoán về mức ngẫu nhiên) nhưng điểm không đổi.
- **Dò siêu tham số** ("dò hết mọi thứ"):
  - căn chỉnh Euclid (16 cấu hình, đo nhanh bằng bộ giải mã tuyến tính): trọng lượng khởi đầu 5 s tốt nhất;
  - khâu quyết định: phẳng 0,770–0,773 với p_stay ≥ 0,998 và tỉ trọng 20–60 %;
  - decoder (tốc độ học, weight decay, batch, dropout, nhiễu, che kênh, che cụm, số khối, số bộ lọc): không cái nào
    cải thiện bản ghép; tốc độ học 2e-4 cho +0,004 trên `mat_reap` nhưng mất khi sang `eaP_n5_t60`;
  - bộ phân loại 10 s: mọi tham số train đều làm kém đi; **3 khối là phát hiện duy nhất** (+0,005 đến +0,015);
  - bộ phân loại 5 s: tất cả trong mức nhiễu; 3 khối không giúp.

## 6/10

- **`eaP_n5_t60` xác nhận bằng mạng sâu**: decoder +0,006 / +0,009; USTC hết bị thiệt. 4 + 4 + 2 đạt 0,7782.
- **Bộ 10 s 3 khối**: 4 seed 0,7818 / 0,7740 / 0,7937 / 0,7703; 2 khối 0,7750; 6 khối và 128 bộ lọc kém hơn.
- **Bỏ bộ 5 s** tăng 0,007–0,010; **4 decoder + 4 bộ 10 s 3 khối = 0,7949**.
- **Số decoder không quan trọng**: 2 decoder cho điểm như 4; chỉ 4 bộ phân loại đã đạt 0,7932.
- Viết `README_BEST.md`.

## 7/10

- **Bản tốt nhất trên dữ liệu thật**: AASD 0,632–0,653, Carta 0,599–0,648; không hơn bản cũ. Kết luận: mức tăng gần đây
  chỉ khớp với kiểu chuyển chú ý tổng hợp.
- Hai bản ghép có bộ 5 s 3 khối (người dùng yêu cầu): 0,777–0,786, thấp hơn bản không có bộ 5 s.
- **Tăng cường mới cho bộ phân loại** (lệch thời gian, bỏ tín hiệu lời nói, hai lần chuyển trong một cửa sổ): đang chạy.

## Những dự đoán của Claude đã sai (để hiệu chỉnh mức tin)

- dom + orel + pretrain sẽ đạt 0,760–0,762 (thực tế 0,754).
- CRF thang cố định sẽ sửa được hiệu chỉnh (thực tế kém hơn).
- Bộ phân loại 3 s sẽ kém rõ (thực tế gần bằng 5 s).
- Decoder tốc độ học 2e-4 sẽ đưa bản ghép lên 0,780–0,782 (thực tế 0,7774, không tăng).
- Bản 4 seed sau khi bỏ mang trạng thái sẽ ở 0,774–0,777 (thực tế 0,7725–0,7753).
- Bộ giải mã tuyến tính dùng làm thước đo nhanh không luôn xếp hạng giống mạng sâu (giá trị quần thể giúp bộ 10 s mà
  không giúp decoder).

Bài học: một seed không đủ để tin, nhất là với bộ phân loại (dao động 0,02 giữa các seed); thay đổi nào cũng phải xác
nhận trên đúng tiền xử lý sẽ dùng.

## 23–28/10 (kiểm tra eeg-thao.zip, chiến lược switch thật)

- 23/10: giải nén `eeg-thao.zip` vào `eeg-thao_unzipped/` (không chạy mã, không nạp pickle của zip); phân tích tầng 2 `stem_ms96`.
  `eval_stem_external.py` chấm nó trên AASD/Carta (kết quả ở `results/research/stem_external.csv`): thấp hơn trung bình 4 logit.
- Kiểm tra đối xứng cột: 24 s đầu là hằng số "cột 0"; chẩn đoán trên switch thật cho thấy lệch cột ở AASD (trial 60 s) và Acc sát
  ngẫu nhiên ở Carta.
- Đo nhiễu lịch (`5010_schednoise_*`, `clf_reschedule.py`, `schedule_noise_score.py`, kết quả `results/research/schedule_noise.csv`).
- 28/10: ban tổ chức không trả lời các câu hỏi về dữ liệu test và nhắc không dựa vào cấu trúc dữ liệu (xem `CONTEXT_3_RULES.md`).
  Viết `REAL_SWITCH_STRATEGY.md`. Thí nghiệm A1 (`510x`), A2 (`52xx`), A3 (`53xx`), A4 (`5400`), `5500` và `hmm_real_crossfit.py`.
- Phép đo: độ trễ nhãn (≈ 4 s), tự tương quan bằng chứng (0,92–0,95), số lần đổi quyết định mỗi giờ so với thật.
- Dự đoán của Claude sai trong giai đoạn này: nói chỉnh HMM có thể cho +0,02–0,03 H (thực tế tối đa +0,01); nói mẹo cột 0 chỉ ở
  24 s đầu (ở AASD, trial 60 s, lệch cột còn lớn hơn).
- 28/10 (chiều): A3 xong, A4 và `5500_lodo_xreal` xong. Người dùng quyết định: ý tưởng không tốt thì dừng, chỉ ghi lại. Dừng A1, A2, A3,
  `stem_ms96`. Xếp thêm A4 công thức gốc (`5600`, `5601`) và A5 (bộ giải mã có dữ liệu thật, `57xx`, `58xx`).


## 29/10–07/11 (switch thật: hậu xử lý, tăng cường, mô hình nền tảng, tầng 2, BMMS, metric mới)

- 29–30/10: B1 semi-Markov (giữ), B2 BOCPD (dừng), B3 luật học được (giữ để nghiên cứu), C1 cross-fade, C2 trễ nhãn (dừng).
- 31/10–02/11: C3 lơ là chú ý, C4 babble (dừng), C5 montage, C6 co giãn thời gian (dừng), C7 cửa sổ vắt switch thật (dừng). Phát hiện Carta: cùng mã T thì cùng chuỗi nhãn ở mọi người.
- 02–03/11: mô hình nền tảng (CBraMod, LaBraM, EEGPT, BIOT, BrainOmni): sàng lọc tuyến tính yếu; làm backbone chỉ học được khi khoá hoặc LP-FT; lỗi lấy trung bình cột làm A/B hoán đổi được, sửa bằng `ColumnReadout`; mốc công bằng `orgbase` (chỉ dữ liệu BTC); H5 front khoá không có lợi; decoder LP-FT kém mốc; H1 pretrain kích thích chưa xong.
- 03–05/11: Transformer phản đối xứng tầng 2 trên bằng chứng nested, lịch switch đa dạng, đầu phụ tần suất switch, che lịch sử; trộn với 4+4. Audit đổi cột / tương lai / đối chứng âm.
- 04/11: recipe tăng cường 4 seed cho 4+4.
- 05–07/11: BMMS (envelope, tăng cường EEG, 3 đặc trưng + pretrain), đối chứng chỉ kích thích và DirectNet chỉ envelope.
- 07/11: người dùng cung cấp Evaluation Criteria mới (κ, cửa sổ dừng ở switch kế tiếp, gộp Acc hai tập test theo số mẫu); viết `scorer_kappa_next_inclusive.py`; bắt đầu chấm lại từ evidence.
- Lịch job mặc định (`runners/jobs/`) ngừng khoảng 13:00 03/11; từ đó job chạy qua queue `nested` (`runners/jobs_nested/`).
- Bài học: metric cũ cho ≈ 0,5–0,6 H với mô hình không dùng EEG; các chênh lệch ±0,01 trên switch thật ở metric cũ có thể đổi nghĩa dưới metric mới.
