"""Build label_report/N2_label_trial_issues.pdf from measured numbers.

Numbers come from aggregating all 540 sub-*/sub-*_sessions.tsv files of the public
Muse release (nm000287), computed inline in this script so every number in the
report is reproducible from the raw files.
"""

import glob
import pandas as pd
import numpy as np

from reportlab.lib import colors
from reportlab.lib.enums import TA_LEFT
from reportlab.lib.pagesizes import A4
from reportlab.lib.styles import ParagraphStyle
from reportlab.lib.units import mm
from reportlab.pdfbase import pdfmetrics
from reportlab.pdfbase.ttfonts import TTFont
from reportlab.platypus import (Image, KeepTogether, Paragraph, SimpleDocTemplate,
                                Spacer, Table, TableStyle)

ROOT = "/root/disk_3tb/Neural_Interfaces_2026_Track_3_Sleep_Onset"
DATA = f"{ROOT}/2026-competition/tracks/sleep_onset/data/neural_compet/Interaxon2026Muse/download/nm000287"
FIG = f"{ROOT}/label_report/figures"
OUT = f"{ROOT}/label_report/N2_label_trial_issues.pdf"

# ---------------------------------------------------------------- data ----
rows = []
for f in sorted(glob.glob(f"{DATA}/sub-*/sub-*_sessions.tsv")):
    d = pd.read_csv(f, sep="\t")
    d["subject"] = f.split("/")[-2]
    rows.append(d)
df = pd.concat(rows, ignore_index=True)
df["offgrid"] = df.n2_onset % 30 != 0

n_rec, n_sub = len(df), df.subject.nunique()
dur_q = df.recording_duration.quantile([0, .25, .5, .75, 1]) / 60
onset_q = df.n2_onset.quantile([0, .25, .5, .75, 1]) / 60
n_never_cap = int((df.n2_onset < 600).sum())
n_off = int(df.offgrid.sum())
off_train = int(df[df.offgrid].split.eq("train").sum())
off_test = int(df[df.offgrid].split.eq("test").sum())
off_rate_train = 100 * df[df.split == "train"].offgrid.mean()
off_rate_test = 100 * df[df.split == "test"].offgrid.mean()
qc50 = 100 * (df.qc_50hz_peak_channels > 0).mean()
qc60 = 100 * (df.qc_60hz_peak_channels > 0).mean()
qcamp = 100 * (df.qc_large_amplitude_channels > 0).mean()
sess_counts = df.groupby("subject").size().value_counts().sort_index()

ys = []
for r in df.itertuples():
    n_win = int(r.n2_onset // 5)
    t_stop = 5 * np.arange(1, n_win + 1)
    ys.append(np.clip(r.n2_onset - t_stop, 0, 600))
all_y = np.concatenate(ys)
n_windows = len(all_y)
cap_share = 100 * (all_y == 600).mean()
edges = [0, 40, 90, 300, 600]
idx = np.digitize(all_y, edges[1:-1])
bin_share = [100 * (idx == i).mean() for i in range(4)]

# ----------------------------------------------------------- styling ------
FONT_DIR = "/usr/share/fonts/truetype/dejavu/"
for name, file in (("Body", "DejaVuSans.ttf"), ("Body-Bold", "DejaVuSans-Bold.ttf"),
                   ("Body-Italic", "DejaVuSans-Oblique.ttf")):
    pdfmetrics.registerFont(TTFont(name, FONT_DIR + file))
pdfmetrics.registerFontFamily("Body", normal="Body", bold="Body-Bold", italic="Body-Italic")

INK, INK2 = colors.HexColor("#0b0b0b"), colors.HexColor("#52514e")
RULE, TINT, ACCENT, WARN = (colors.HexColor("#e1e0d9"), colors.HexColor("#f4f6fa"),
                            colors.HexColor("#184f95"), colors.HexColor("#fdf3e7"))

S = dict(
    title=ParagraphStyle("title", fontName="Body-Bold", fontSize=18, leading=22, textColor=INK, spaceAfter=3),
    sub=ParagraphStyle("sub", fontName="Body", fontSize=9.5, leading=13, textColor=INK2, spaceAfter=10),
    h1=ParagraphStyle("h1", fontName="Body-Bold", fontSize=12.5, leading=16, textColor=ACCENT,
                      spaceBefore=12, spaceAfter=4),
    body=ParagraphStyle("body", fontName="Body", fontSize=9.3, leading=13, textColor=INK, spaceAfter=5,
                        alignment=TA_LEFT),
    bullet=ParagraphStyle("bullet", fontName="Body", fontSize=9.3, leading=12.8, textColor=INK,
                          leftIndent=12, bulletIndent=1, spaceAfter=3),
    cell=ParagraphStyle("cell", fontName="Body", fontSize=8.3, leading=10.8, textColor=INK),
    cellb=ParagraphStyle("cellb", fontName="Body-Bold", fontSize=8.3, leading=10.8, textColor=INK),
    cap=ParagraphStyle("cap", fontName="Body-Italic", fontSize=7.8, leading=10, textColor=INK2, spaceAfter=8),
)
WIDTH = A4[0] - 36 * mm


def P(t, st="body"):
    return Paragraph(t, S[st])


def bullets(items):
    return [Paragraph(t, S["bullet"], bulletText="•") for t in items]


def table(rows_, widths, tint=()):
    data = [[c if not isinstance(c, str) else Paragraph(c, S["cellb" if i == 0 else "cell"])
             for c in row] for i, row in enumerate(rows_)]
    t = Table(data, colWidths=[w * WIDTH for w in widths], repeatRows=1)
    style = [("VALIGN", (0, 0), (-1, -1), "TOP"), ("TOPPADDING", (0, 0), (-1, -1), 3.2),
             ("BOTTOMPADDING", (0, 0), (-1, -1), 3.2), ("LEFTPADDING", (0, 0), (-1, -1), 5),
             ("RIGHTPADDING", (0, 0), (-1, -1), 5), ("LINEBELOW", (0, 0), (-1, -2), 0.4, RULE),
             ("LINEBELOW", (0, -1), (-1, -1), 0.7, INK2), ("BACKGROUND", (0, 0), (-1, 0), TINT),
             ("LINEBELOW", (0, 0), (-1, 0), 0.7, INK2)]
    for r in tint:
        style.append(("BACKGROUND", (0, r), (-1, r), WARN))
    t.setStyle(TableStyle(style))
    return t


def figure(name, caption, width=1.0):
    from PIL import Image as PILImage
    w, h = PILImage.open(f"{FIG}/{name}").size
    return KeepTogether([Image(f"{FIG}/{name}", width=width * WIDTH, height=width * WIDTH * h / w),
                         Spacer(1, 2), P(caption, "cap")])


def footer(canvas, doc):
    canvas.saveState()
    canvas.setFont("Body", 7.5)
    canvas.setFillColor(INK2)
    canvas.drawString(18 * mm, 10 * mm, "Track 03 Sleep Onset — N2 label, trial length and distribution issues")
    canvas.drawRightString(A4[0] - 18 * mm, 10 * mm, f"trang {doc.page}")
    canvas.restoreState()


# --------------------------------------------------------------- story ----
story = [
    P("Vấn đề nhãn N2 và phân phối trial — bộ dữ liệu Muse", "title"),
    P(f"Tính trực tiếp trên toàn bộ {n_rec} bản ghi / {n_sub} người của bộ Muse Sleep-Onset "
      f"(NEMAR nm000287), đọc từ {n_rec} file <font face='Body-Italic'>sub-*_sessions.tsv</font> "
      "gốc. Mọi con số trong báo cáo này đều được tính lại trực tiếp từ file nguồn, không lấy "
      "lại từ phân tích cũ.", "sub"),

    P("1. Nhãn N2 được tạo ra như thế nào, và vấn đề của nó", "h1"),
    *bullets([
        "<b>Mỗi bản ghi chỉ có đúng 1 nhãn:</b> thời điểm xuất hiện epoch N2 đầu tiên "
        "(<font face='Body-Italic'>n2_onset</font>), tính bằng giây từ lúc bắt đầu ghi. "
        "Không có hypnogram đầy đủ (không biết Wake/N1/N2/N3/REM ở các thời điểm khác), "
        "nên không thể kiểm tra chéo nhãn bằng chuỗi giai đoạn.",
        "<b>Phương pháp chấm không được công bố.</b> Trang NEMAR của bộ dữ liệu chỉ ghi "
        "\"mỗi bản ghi có một annotation N2-onset\", không nói rõ là người chấm tay theo "
        "chuẩn AASM hay một thuật toán tự động của thiết bị. Không có thông tin về số người "
        "chấm, độ đồng thuận giữa các người chấm, hay phiên bản thuật toán.",
        "<b>Không có cách xác minh độc lập.</b> Vì không có EEG thô kèm theo trong giai đoạn "
        "N2 được xem lại hay hypnogram đối chiếu, một bản ghi bị chấm sai vài epoch (tức "
        "lệch tới ±15-30 giây hoặc hơn) sẽ không bị phát hiện bằng bất kỳ cách kiểm tra "
        "tự động nào dựa trên chính dữ liệu này.",
    ]),

    P("2. Rò rỉ nhãn qua độ dài bản ghi (trial length leakage)", "h1"),
    P(f"Đây là vấn đề nghiêm trọng nhất. Kiểm tra trực tiếp: "
      f"<font face='Body-Italic'>recording_duration − n2_onset</font> cho giá trị "
      f"<b>duy nhất là 300.0</b> trên cả {n_rec} bản ghi, không có ngoại lệ. Nói cách khác:"),
    P("recording_duration = n2_onset + 300   (đúng tuyệt đối, 100% bản ghi)", "cap"),
    figure("fig01_onset_duration.png",
           "Trái: phân phối thời điểm N2 (median ~11.5 phút). Giữa: phân phối độ dài bản ghi "
           "(median ~16.5 phút). Phải: mọi điểm nằm đúng trên đường duration = onset + 300, "
           "không có sai số — xác nhận quan hệ tuyến tính tuyệt đối."),
    *bullets([
        f"<b>Hệ quả:</b> nếu model (hoặc pipeline tiền xử lý) được phép nhìn thấy "
        f"<font face='Body-Italic'>recording_duration</font> hoặc "
        f"<font face='Body-Italic'>sample_count</font> của TOÀN BỘ file — dù chỉ gián tiếp, "
        "ví dụ qua việc chuẩn hoá dùng thống kê của cả file, hay qua số frame tổng của batch "
        "— nó có thể suy ngược ra chính xác <font face='Body-Italic'>n2_onset</font> bằng "
        "phép trừ đơn giản. Đây là leakage tuyệt đối, không phải tương quan thống kê.",
        "<b>Nguồn gốc giả định:</b> nhiều khả năng ban tổ chức đã cắt đều 300 giây sau mỗi "
        "N2 để tạo bộ dữ liệu công khai (chuẩn hoá độ dài phần \"sau onset\"), nhưng vô tình "
        "để lại dấu vết tuyến tính hoàn hảo này trong metadata.",
        "<b>Cách phòng tránh bắt buộc:</b> pipeline suy luận online không bao giờ được đọc "
        "trước độ dài file hay tổng số sample trước khi dự đoán — chỉ được xử lý tuần tự "
        "từng cửa sổ 5 giây như lúc thi thật (streaming, không biết trước điểm kết thúc).",
    ]),

    P("3. Phân phối độ dài trial (trial length distribution)", "h1"),
    table([
        ["Thống kê", "Giá trị"],
        ["Số bản ghi", f"{n_rec}"],
        ["Độ dài (phút) — min / 25% / median / 75% / max",
         f"{dur_q[0]:.1f} / {dur_q[.25]:.1f} / {dur_q[.5]:.1f} / {dur_q[.75]:.1f} / {dur_q[1]:.1f}"],
        ["Thời điểm N2 (phút) — min / 25% / median / 75% / max",
         f"{onset_q[0]:.1f} / {onset_q[.25]:.1f} / {onset_q[.5]:.1f} / {onset_q[.75]:.1f} / {onset_q[1]:.1f}"],
        [f"Bản ghi có onset &lt; 600 s (không bao giờ chạm trần)", f"{n_never_cap} ({100*n_never_cap/n_rec:.1f}%)"],
    ], [0.62, 0.38]),
    P("Độ dài trial trải rất rộng (6-30 phút), kéo theo thời điểm N2 cũng trải rộng "
      "tương ứng (1-25 phút). Vì <font face='Body-Italic'>duration = onset + 300</font>, hai "
      "phân phối ở bảng trên về bản chất là MỘT phân phối dịch đi 300 giây — không phải hai "
      "nguồn thông tin độc lập.", "body"),

    P("4. Phân phối target sau khi cắt trần 600 s", "h1"),
    figure("fig02_target_dist.png",
           f"Trái: {bin_share[0]:.1f}% cửa sổ thuộc bin 0-40s nhưng mang 52.9% trọng số "
           f"metric (xem phần trước về cách tính trọng số). Phải: {cap_share:.1f}% trong tổng "
           f"{n_windows:,} cửa sổ đánh giá có target đúng bằng 600 — một cụm giá trị bất "
           "thường lớn do cơ chế cắt trần, không phải do phân phối tự nhiên của thời gian "
           "ngủ."),
    P(f"Lưu ý quan trọng: {cap_share:.1f}% là một khối giá trị trùng nhau tuyệt đối (y = "
      "600.000...) chứ không phải một mode tự nhiên của phân phối liên tục — đây là sản phẩm "
      "nhân tạo của việc cắt trần, cần được xử lý riêng (ví dụ như một lớp/bin riêng trong "
      "head phân phối) thay vì coi là một điểm dữ liệu hồi quy bình thường.", "body"),

    P("5. Nhóm bản ghi \"off-grid\" — một bất thường cấu trúc đáng ngờ", "h1"),
    figure("fig03_structure_quality.png",
           f"Trái: {sess_counts.to_dict()} — phân bố số đêm mỗi người (203 người, 1-5 đêm). "
           f"Giữa: tỉ lệ off-grid cao hơn hẳn ở tập test ({off_rate_test:.1f}%) so với train "
           f"({off_rate_train:.1f}%). Phải: tỉ lệ bản ghi có ít nhất một kênh bị gắn cờ "
           "nhiễu điện lưới hoặc biên độ lớn."),
    *bullets([
        f"<b>{n_off} trong {n_rec} bản ghi ({100*n_off/n_rec:.1f}%)</b> có "
        "<font face='Body-Italic'>n2_onset</font> KHÔNG chia hết cho 30 giây, trong khi phần "
        "còn lại (85.7%) đều là bội số đúng của 30. Đây là dấu hiệu nhãn được chấm trên một "
        "lưới epoch 30 giây cố định (đúng chuẩn AASM) ở đa số bản ghi, nhưng nhóm thiểu số "
        "lại lệch khỏi lưới đó.",
        f"<b>Lệch phân bố giữa train/test:</b> tỉ lệ off-grid ở tập test "
        f"({off_rate_test:.1f}%, {off_test}/40) cao gần gấp đôi tập train "
        f"({off_rate_train:.1f}%, {off_train}/500). Đây là một train/test shift đo được, "
        "đúng vào phần dữ liệu (bản ghi onset muộn) mà các cửa sổ ở bin 300-600s nhìn thấy.",
        "<b>Rủi ro:</b> nếu nhóm off-grid thực chất bị cắt bớt đoạn đầu (loại bỏ transient "
        "khởi động/artifact của vài phút đầu — một giả thuyết hợp lý nhưng chưa xác nhận "
        "được từ metadata), thì \"elapsed time kể từ đầu bản ghi\" sẽ mang ý nghĩa khác nhau "
        "giữa hai nhóm bản ghi, làm feature \"thời gian trôi qua\" kém tin cậy hơn tưởng.",
    ]),

    P("6. Cờ chất lượng tín hiệu (QC flags) — không phải nhãn nhưng ảnh hưởng gián tiếp", "h1"),
    table([
        ["Loại cờ QC", "% bản ghi có ≥1 kênh bị gắn cờ"],
        ["Nhiễu điện lưới 50 Hz", f"{qc50:.1f}%"],
        ["Nhiễu điện lưới 60 Hz", f"{qc60:.1f}%"],
        ["Biên độ bất thường lớn", f"{qcamp:.1f}%"],
    ], [0.7, 0.3]),
    P(f"Hơn một nửa số bản ghi ({qc60:.0f}%) có ít nhất một kênh bị nhiễu điện lưới 60 Hz — "
      "đây không phải lỗi nhãn N2, nhưng là nguồn nhiễu hệ thống cần lọc trước khi trích "
      "feature phổ, nếu không sẽ làm méo các band power dùng để dự đoán.", "body"),

    P("7. Tổng hợp rủi ro cần xử lý", "h1"),
    table([
        ["Vấn đề", "Mức độ", "Cách xử lý"],
        ["duration = onset + 300 (leakage tuyệt đối)", "Nghiêm trọng",
         "Không bao giờ cho model thấy độ dài file hay tổng sample trước khi dự đoán"],
        ["30.2% target dồn đúng tại 600 (cắt trần)", "Trung bình",
         "Xử lý như một lớp/bin riêng (\"≥600s\"), không coi là điểm hồi quy liên tục"],
        ["22.5% bản ghi off-grid, lệch tỉ lệ train/test", "Trung bình",
         "Theo dõi điểm riêng cho nhóm off-grid; cẩn trọng với feature elapsed-time"],
        ["Phương pháp chấm N2 không công bố", "Không khắc phục được",
         "Chấp nhận sai số nhãn cỡ epoch (~30s) là sàn không thể vượt qua"],
        ["54% bản ghi nhiễu điện lưới 60Hz", "Nhẹ",
         "Lọc notch hoặc tránh band tần số quanh 50/60 Hz khi trích feature"],
    ], [0.4, 0.15, 0.45], tint=(1,)),
]

doc = SimpleDocTemplate(OUT, pagesize=A4, leftMargin=18 * mm, rightMargin=18 * mm,
                        topMargin=16 * mm, bottomMargin=17 * mm,
                        title="Vấn đề nhãn N2 và phân phối trial — Muse Track 03")
doc.build(story, onFirstPage=footer, onLaterPages=footer)
print("wrote", OUT)
