# Luật cuộc thi và hệ quả cho pipeline

Nguồn: Codabench, cuộc thi 17856 (ICASSP 2027 EEG-sAAD Challenge), đọc ngày 2026-10-05. Bản sao cũ ở
`docs_challenge/` (`terms.txt`, `Data_Submission.txt`, `Evaluation_Criteria.txt`, `Timeline.txt`, `Start_your_competition.txt`, `Codes.txt`).

Cách lấy lại: trang web là ứng dụng JavaScript nên không tải trực tiếp được; dùng API
`https://www.codabench.org/api/competitions/17856/`, trả về JSON có trường `terms` và `pages`. Ban tổ chức có ghi chú là
họ đã sửa Terms, nên nên đọc lại trước khi nộp.

**Cập nhật 2026-11-07:** mục 4 bên dưới theo nội dung Evaluation Criteria đầy đủ do người dùng cung cấp trong phiên.
Trang/API Codabench khi kiểm tra trả trang xác thực bot, nên chưa đối chiếu trực tiếp được với code scorer mới của BTC.
Bản `docs_challenge/Evaluation_Criteria.txt` vẫn là bản chụp metric cũ, không dùng làm nguồn metric hiện tại.

## 1. Lịch

| Mốc | Thời gian (UTC) |
|---|---|
| Giai đoạn phát triển | 8/9 đến 8/11/2026, 23:55 |
| Kênh nộp thử định dạng (trên KUL-AV-GC) | 2 tuần cuối giai đoạn phát triển, tức từ khoảng 25/10 |
| Giai đoạn test, dữ liệu test được phát hành | 9/11 đến 8/12/2026, 23:55 |
| Công bố kết quả | 14/12/2026 |

- **Chỉ được nộp 2 lần ở giai đoạn test; lần nộp SAU CÙNG được tính, không phải lần tốt nhất.**
- Top 5 được mời viết bài 2 trang cho ICASSP 2027, và phải nộp toàn bộ mã train + suy luận để kiểm tra.

## 2. Hai tập test ẩn

| Tập | Máy ghi | Ngôn ngữ | Hướng nhìn | Quy mô |
|---|---|---|---|---|
| KUL-DLAAD | BioSemi 64 kênh | tiếng Hà Lan | được kiểm soát | 19 người, 8 trial mỗi người, khoảng 50 phút mỗi người (trial khoảng 6 phút) |
| NJU-SUSTech-sAAD-GC (mới ghi) | NeuroScan 64 kênh | tiếng Trung | được kiểm soát | 12 người, khoảng 60 phút mỗi người |

- Cả hai "will contain switches in attention". **Không ghi là thật hay tổng hợp.**
- Phát hành: EEG thô và đã tiền xử lý, envelope; không có nhãn.
- Trong dữ liệu train chỉ KUL-AV-GC kiểm soát hướng nhìn; USTC là dataset train duy nhất ghi bằng NeuroScan.

## 3. Luật ở giai đoạn test

| Luật (điều) | Nội dung |
|---|---|
| Nhân quả (6.4) | nhãn tại t chỉ dùng mẫu [0, t + 1000 ms] của **chính trial đó**, tính mọi độ trễ ở mọi khâu |
| Một trial (6.3) | không dùng dữ liệu của trial khác hay người khác khi suy luận |
| Không cập nhật mô hình (6.3) | cấm fine-tune, học không giám sát, tự giám sát trên dữ liệu test, **trừ trong phạm vi một trial và nhân quả** |
| Không dùng ID (4.4, 4.5, 9.1) | cấm dùng dataset ID, subject ID, trial ID dưới mọi hình thức; decoder chỉ nhận EEG và (tuỳ chọn) envelope |
| Một mô hình (9.1) | cấm dùng kiến trúc hay trọng số khác nhau cho các mẫu test khác nhau; mixture-of-experts chỉ được nếu tự chọn chuyên gia từ dữ liệu đầu vào, nhân quả |
| Nhãn nộp | 128 Hz cho mọi trial; được nộp nhãn người nói (envelope 1 hay 2) hoặc nhãn hướng (trái 0, phải 1) |

**Miễn trừ lookahead, mỗi thứ chỉ một lần trong một pipeline:**
- `filtfilt` với cùng bậc lọc như script của ban tổ chức (Butterworth bậc 2, 1–9 Hz);
- `removeBadChannel`; `repairBadSegment`;
- z-score trên toàn bộ một trial.

File tiền xử lý do ban tổ chức cấp được dùng nguyên trạng, kể cả khi quy trình tạo ra nó hơi vi phạm 1 giây.
Không có hạn chế nào với quá trình train. Dữ liệu ngoài được phép, miễn tuân thủ giấy phép của nó.

## 4. Cách chấm điểm cập nhật 2026-11-07

- **Acc thô**: tỉ lệ mẫu đúng của từng người, rồi trung bình đều giữa các người trong từng tập test. Acc vẫn hiện trên leaderboard để tham khảo.
- Hai tập test gộp Acc theo số dòng nhãn 128 Hz: NJUSUS2026 600,00 phút và DLAAD2021 499,20 phút; trọng số chính xác lần lượt là `600/1099,2 ≈ 0,5459` và `499,2/1099,2 ≈ 0,4541`. Tính κ **sau khi** gộp Acc hai tập; không áp trọng số test ẩn lên AASD/Carta hay trung bình 5 dataset LODO.
- **κ = max(0, 2·Acc − 1)**, trong đó Acc viết dưới dạng tỉ lệ 0–1. Acc ≤ 50% cho κ = 0.
- **L**: với switch tại `t₀`, tìm điểm chia tối ưu τ* trong `[t₀, min(t₀ + 100 s, t_next)]`; `t_next` là switch tiếp theo trong cùng trial, hoặc cuối trial. Điểm chia tối đa số dự đoán khớp nhãn cũ trước τ* và nhãn mới từ τ*; dự đoán nhãn mới phải giữ liên tiếp ≥ 0,5 s. Nếu không hợp lệ tiếp tục tìm; không phát hiện thì SDT = ∞ và điểm = 0. Switch phát hiện được có `SDT = |τ* − t₀|`, `ℓ = exp(−SDT/60)`. Mỗi người lấy trung vị ℓ các switch, rồi trung bình trên các người để ra L.
- **H = 2·κ·L/(κ + L)**; nếu κ = L = 0 thì H = 0. SDT giây chỉ là tham khảo: trung vị qua switch cho từng người, rồi trung vị qua người; không đưa trực tiếp SDT tổng hợp vào H.
- `reports/eda_full/scripts/scorer.py` là port đã kiểm chứng **metric cũ**, không phải bản kiểm chứng metric mới. `experiments/decoder_lodo/scorer_kappa_next_inclusive.py` là bản nghiên cứu theo mô tả mới: tính cả điểm cuối `t_next`, cho phép sustain qua điểm cuối tìm kiếm nhưng chặn qua cuối trial. BTC chưa xác nhận chi tiết ranh giới sustain/trial và so khớp với scorer chính thức; không gọi đây là điểm leaderboard đã xác thực.
- Các số H lịch sử khoảng 0,798 LODO / 0,64 real và mọi bảng cũ dùng `2·Acc·L/(Acc+L)` cùng cửa sổ tìm kiếm cũ. Cần chấm lại từ evidence; không đổi công thức trực tiếp trên H cũ vì L cũng có thể thay đổi.

## 5. Hệ quả cho pipeline của ta

| Điểm | Hệ quả |
|---|---|
| Luật một trial | tiền xử lý `mat_reac` (mang trạng thái căn chỉnh Euclid qua các trial của một người) **không hợp lệ**; dùng `eaP_n5_t60` hoặc `mat_rea` |
| Thích nghi | không được thích nghi theo người nghe qua nhiều trial; chỉ được trong một trial (đã thử, không lợi) |
| Lookahead | decoder đóng nhãn với lookahead 0,5 s; bộ phân loại và bản ghép 0,75 s; tổng dùng 0,969 s; kiểm tra bằng `experiments/decoder_lodo/leakage_test.py` mỗi khi đổi timing hay thêm khâu nhân quả |
| Z-score | chỉ một lần cho EEG và một lần cho envelope; `onset` và `dom` không được z-score cả trial lần nữa |
| Tham số quyết định | trọng số LDA, thang chuẩn hoá, phát xạ HMM, tỉ lệ trộn, p_stay: lấy từ dữ liệu train, cố định cho mọi mẫu |
| Giá trị quần thể của căn chỉnh | là tham số mô hình học từ dữ liệu train, không dùng ID hay dữ liệu test |
| Kênh | `causal_ea` xác định kênh có mặt bằng `x.std(0) > 0` trên cả trial; trong mã nộp nên truyền danh sách kênh trực tiếp |
| Hai lần nộp | chọn cấu hình an toàn, không dùng p_stay 0,9997 (kém nhất trên chuyển chú ý thật) |
| Kiểm tra mã | mã train và suy luận phải tái lập được kết quả |

## 6. Dữ liệu ngoài đang dùng và giấy phép

| Dữ liệu | Giấy phép | Dùng để |
|---|---|---|
| Fuglsang 2020 (Zenodo 3618205) | CC-BY-4.0 | train bổ sung; giá trị quần thể |
| SparrKULee (KU Leuven) | cần xin quyền truy cập | pretrain |
| AASD (Zenodo 17413336) | CC-BY-4.0 | chỉ đánh giá |
| Carta 2026 | xem `experiments/external_data/README.md` | chỉ đánh giá |
| Broderick 2018 (Dryad) | CC0 | đã thử, không dùng |

Thông tin đăng nhập SparrKULee chỉ nằm trong `/root/.netrc_sparrkulee`; không được đưa vào mã, git hay tài liệu.

## 7. Thư trả lời của ban tổ chức (2026-10-28)

Ban tổ chức không trả lời bất kỳ câu hỏi nào về dữ liệu test. Họ nhắc: **không dựa vào cấu trúc dữ liệu train để tinh chỉnh mô
hình** (metadata chỉ để biết điều kiện thí nghiệm và lấy hướng hoặc đường bao được chú ý); chỉ dùng quan hệ giữa EEG và kích thích;
mục tiêu là bộ giải mã sAAD thật sự tổng quát; "reverse-engineering the blind test set, relying on its inherent structure" có thể
vi phạm Terms và bài nộp bị bỏ. Họ có thể yêu cầu giải thích và kết quả tái lập.

Hệ quả: không dùng thứ tự cột, vị trí trong trial, lịch switch, ID, độ dài trial, số kênh theo dataset. Mọi mô hình mới phải qua
kiểm tra đối xứng cột và bất biến vị trí. Tập test có thể có switch thật hoặc synthetic; chưa rõ.
