"""Merge the results of the augmentation batch (several result folders) into results/summary.md, paired against `base`."""
import glob
import os
import sys
import time

import numpy as np
import pandas as pd

HERE = os.path.dirname(os.path.abspath(__file__))
args = sys.argv[1:]
OUT = "summary.md"
if args and args[0].startswith("--out="):
    OUT, args = args[0][6:], args[1:]
dirs = args or sorted(d for d in glob.glob(os.path.join(HERE, "results_*")) if "smoke" not in d and "a9" not in d and "e12" not in d)


def load(name, sub=""):
    ps = [os.path.join(d, sub, name) for d in dirs]
    return pd.concat([pd.read_csv(p) for p in ps if os.path.exists(p)])


fold, per = load("scores_by_fold.csv"), load("scores_by_recording.csv")
pub, pubper = load("scores_by_fold.csv", "public"), load("scores_by_recording.csv", "public")
known = ["base", "a1a_gain", "a1b_gainch", "a2_swap", "a3a_jitter", "a3b_sigma15", "a4a_fnoise", "a4b_fdrop", "a5_extend",
         "a6_fshift", "a7_mixup", "a8a_trev", "a8b_noise", "a10_covmix", "a11_tilt", "f2_complex", "f3_events", "f4_contact", "f5_quantile", "f6_dynamics", "f7_connect", "f8_aperiodic", "f9a_spec2d", "f9b_spec2d_add"]
order = [v for v in known if v in set(fold.variant)] + sorted(v for v in set(fold.variant) if v not in known)
cv = fold[fold.split == "cv"]


def paired(df, col, v, idx=("fold", "group", "rec")):
    p = df.pivot_table(index=list(idx), columns="variant", values=col, aggfunc="mean")
    if v == "base" or "base" not in p or v not in p:
        return "", ""
    d = (p[v] - p["base"]).dropna()
    return f"{d.mean():+.2f} ± {d.std() / np.sqrt(len(d)):.2f}", f"{100 * (d < 0).mean():.0f}%"


L = ["# Augmentation (A1-A11): kết quả", "", f"Tạo lúc {time.strftime('%Y-%m-%d %H:%M')}. W-bMAE bằng giây, thấp hơn là tốt hơn. Nền: low-pass 45 Hz + E4 "
     "(1 s đầu = 0, cửa sổ đầu không tính loss, random start 0-3 phút) + 217 feature + head `dist_w`. Augmentation chỉ áp lúc train. "
     "CV 5 fold theo người × seed 0-2; test công khai seed 42-46. So cặp với `base` (chạy lại cùng phiên) trên từng bản ghi, đã lấy trung bình "
     "qua seed. **Bài kéo dài**: ghép tối đa 5 phút phần thức đầu của một bản ghi giữ ngoài khác vào trước mỗi bản ghi giữ ngoài, chỉ chấm "
     "phần gốc; cột \"Kéo dài − thường\" là mức tụt khi bản ghi dài hơn (càng gần 0 càng ít phụ thuộc đồng hồ).", "",
     "## CV 5 fold", "",
     "| Biến thể | Seen | Unseen | **Macro** | Hiệu so với `base` ± SE | Tốt hơn ở | Kéo dài | Kéo dài − thường | Kéo dài: hiệu so với `base` | Cắt đầu | MAE phút đầu | Epoch tốt nhất |",
     "|---|---|---|---|---|---|---|---|---|---|---|---|"]
pcv = per[per.split == "cv"]
for v in order:
    g = cv[cv.variant == v]
    t = g.pivot_table(index=["fold", "seed"], columns="group", values="wbmae"); m = t.mean(1)
    e = g.pivot_table(index=["fold", "seed"], columns="group", values="wbmae_extend").mean(1)
    c = g.pivot_table(index=["fold", "seed"], columns="group", values="wbmae_cropstart").mean(1)
    n_pairs = int((g.groupby(["fold", "seed"]).group.nunique() == 2).sum())
    diff, better = paired(pcv, "wbmae", v)
    ediff, _ = paired(pcv, "wbmae_extend", v)
    tag = f" ({n_pairs}/15)" if n_pairs < 15 else ""
    L.append(f"| {v}{tag} | {t['seen'].mean():.2f} | {t['unseen'].mean():.2f} | **{m.mean():.2f} ± {m.std():.2f}** | {diff} | {better} | "
             f"{e.mean():.2f} | {e.mean() - m.mean():+.2f} | {ediff} | {c.mean():.2f} | {g.mae_first60s.mean():.1f} | {g.best_epoch.mean():.0f} |")
L += ["", "MAE theo bin (CV, gộp mọi cửa sổ giữ ngoài):", "", "| Biến thể | 0-40 s | 40-90 s | 90-300 s | 300-600 s |", "|---|---|---|---|---|"]
for v in order:
    g = cv[cv.variant == v]
    L.append(f"| {v} | " + " | ".join(f"{g[c].mean():.1f}" for c in ("mae_0_40", "mae_40_90", "mae_90_300", "mae_300_600")) + " |")
L += ["", "## Test công khai (train 500 bản ghi, chấm 40 bản ghi; SE khoảng 4 s; một lần chạy lẻ dao động khoảng ±2 s)", "",
      "| Biến thể | seed 42 | seed 43 | seed 44 | seed 45 | seed 46 | Trung bình | Hiệu TB so với `base` ± SE | Kéo dài (TB) | **Seed 42** |",
      "|---|---|---|---|---|---|---|---|---|---|"]
for v in order:
    g = pub[pub.variant == v].sort_values("seed")
    if len(g):
        diff, _ = paired(pubper, "wbmae", v, idx=("rec",))
        L.append(f"| {v} | " + " | ".join(f"{x:.1f}" for x in g.wbmae) + " |" + " |" * (5 - len(g)) +
                 f" {g.wbmae.mean():.1f} | {diff} | {g.wbmae_extend.mean():.1f} | **{g.wbmae.iloc[0]:.1f}** |")
os.makedirs(os.path.join(HERE, "results"), exist_ok=True)
open(os.path.join(HERE, "results", OUT), "w").write("\n".join(L) + "\n")
print("\n".join(L))
