Ë
    �gàj%l  ã                   óì  — d Z ddlZddlZddlZddlZddlmZ ddlZddl	Z	ddl
mc mZ ddlZddlZddlZddlZddlZddlZddlZddlmZmZ ddlmZm Z m!Z!m"Z"m#Z#m$Z$m%Z% ddlm&Z&m'Z'm(Z( ddl)m*Z* ddl+m,Z,m-Z- d	Z.d
Z/ej`                  jc                  e dd«      Z2ej`                  jc                  e dd«      Z3ej`                  jc                  e dd«      Z4ej`                  jc                  e de.› d�«      Z5ej`                  jc                  e dd«      Z6ej`                  jc                  e dd«      Z7ej`                  jc                  e dd«      Z8dZ9dZ:d\  Z;Z<dZ= e>ej~                  j�                  dd«      «      ZA e>ej~                  j�                  dd«      «      ZBej†                  ZCd„ ZDd„ ZEd „ ZFd.d!„ZGd"„ ZH e	j’                  «       d.d#„«       ZJd$„ ZKd%„ ZLd&„ ZMd'„ ZNd(„ ZOd)„ ZPd*„ ZQd+„ ZRd,„ ZSeTd-k(  r eS«        yy)/už  Knowledge distillation: frozen ens_all teachers -> vlaai_ws 10 s front-end.

Teacher = equal average of published logit_tf_v2 checkpoints
  stem_ms96, ms_w96, ms_w192, recipe_hp48  (ens_all; no teacher retrain).
Student = DirectNet vlaai_ws, window 10 s, prep eaP_n5_t60, sw2, SparrKULee init.
Loss = Î± * T^2 * BCE(student/T, sigmoid(teacher/T)) + (1-Î±) * BCE(student, hard)
  with Î±=0.6, T=2. Fuglsang windows have no teacher soft label -> hard BCE only.

~1000 steps/fold (4 epochs x 250). Score LODO 5 + AASD + Carta at p_stay 0.994
scale 0.8; also causal tau-30 high-pass of student evidence (honest linear_hp30).

usage:
  STEPS=1000 python kd_ensemble_front.py
é    N)ÚSimpleNamespace)ÚDS_KEYSÚSEED)ÚCFGÚEXPÚFSÚ	fold_fileÚ
load_trialÚrows_ofÚsave_pickle)ÚDÚDEVÚ_targets)Údraw_switch_times)Úload_externalÚlog_toÚ)direct_clf__eaP_n5_t60_w10b3_ptSPK_kd_ensz}/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/models/pretrain_spk_direct_clf_w10_b3_s0.ptÚmodelsÚlogit_tf_v2Úkd_ens_frontÚexperimentszkd_ensemble_front.logÚresultsz.jsonÚmulti_agent_optzresults_kd.mdÚresearchzall5_direct_clf_kd_ens_s0.ptÚ_w10b3_ptSPK_kd_ens))Ú	stem_ms96Úmsé`   é@   é   T)Úms_w96r   r   r   r    F)Úms_w192r   éÀ   é0   r    F)Úrecipe_hp48Úhpr$   é    r    F)g+‡ÙÎï?gš™™™™™é?é   ÚKD_ALPHAz0.6ÚKD_TEMPz2.0c                 ó   — t        | d¬«       t        j                  t        j                  j	                  t
        «      d¬«       t        t
        d«      5 }|j                  | dz   «       d d d «       y # 1 sw Y   y xY w)NT)Úflush©Úexist_okÚaÚ
)ÚprintÚosÚmakedirsÚpathÚdirnameÚLOG_PATHÚopenÚwrite)ÚtextÚfhs     ú,/root/disk_3tb/eeg-thao/kd_ensemble_front.pyÚlog_liner<   A   sO   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘¤Ó)°DÕ9Ü	Œh˜Ô	 Ø
�‰�˜‘Ô÷ 
×	Ñ	ús   ÁA4Á4A=c                  óì  — t        dt        z  «      t        _        t        j                  t        j                  z
  t        j
                  z
  t        j                  t        z
  ct        _        t        _        g d¢t        d<   i t        d   ¥t        d   d   ¥ddi¥t        d	<   t        t        d
   «      t        d<   dt        d<   t        t        d<   dt        d<   t        j                  dgdg«       y )Né
   )ÚenvÚonsetÚdomÚtargetsÚdnn_augmentÚaug_variantsÚclusterÚclf_p_switch2ç      à?ÚaugmentÚseedÚ
train_seedé   Úmodel_blocksÚ
max_epochséú   Ústeps_per_epochzmodel_blocks=3zclf_p_switch2=0.5)Úintr   ÚDCÚWÚFUTÚHOPÚPOS0ÚLABr   r   Ú
MAX_EPOCHSÚdecodersÚapply_overrides© ó    r;   Ú	configurer\   H   s¸   € Üˆr”B‰w‹<„B„DÜ—d‘dœRŸV™V‘m¤b§f¡fÑ,¬b¯d©d´R©i€O„B„GŒRŒVÚ*„A€i�LØa”c˜-Ñ(Ða¬C°Ñ,?À	Ñ,JÐaÈOÐ]`Ña„A€i�LÜœ#˜f™+Ó&„A€l�OØ„A€nÑÜ „A€l�OØ„AÐÑÜ×ÑÐ.Ð/Ð2EÐ1FÕGr[   c            
      ó@   — t        dddt        t        dt        d¬«      S )NÚvlaai_wsrG   FÚ
eaP_n5_t60Ú )ÚbackboneÚp_switchÚzero_eegÚ
min_epochsÚ	init_fromÚprepÚtagÚtrial_switch)r   rW   ÚINITÚTAGrZ   r[   r;   Ú	namespacerk   T   s!   € ÜØ c°EÄjÜ˜\¬sÀôð r[   c                 ó   — t         j                  j                  t        dd«      }t	        |«      j                  «       j                  «       }g }|D ]_  }d|v rHd|v rD|j                  d«      }t        |«      dk\  r%d| › d�|d<   |�	d|› d�|d	<   dj                  |«      }|j                  |«       Œa t	        |d
«      j                  dj                  |«      |r|d   j                  d«      s	dz   «       y dz   «       y )Nr   z	CLAIMS.mdz| kd |zKD from frozen ensembleÚ|é   Ú r(   é   Úwr0   éÿÿÿÿr`   )r2   r4   Újoinr   r7   ÚreadÚ
splitlinesÚsplitÚlenÚappendr8   Úendswith)ÚstatusÚnoter4   ÚrowsÚoutÚlineÚpartss          r;   Ú
mark_claimr€   [   sê   € Ü�7‰7�<‰<œÐ.°Ó<€DÜ�‹:�?‰?Ó×'Ñ'Ó)€DØ
€CÛˆØ�tÑÐ 9¸TÑ AØ—J‘J˜s“OˆEÜ�5‹z˜QŠØ˜v˜h a˜=��a‘ØÐ#Ø!" 4 &¨˜{�E˜!‘HØ—x‘x “�Ø�
‰
�4Õð ô 	ˆˆsƒO×Ñ˜$Ÿ)™) C›.±DÀÀbÁ×ARÑARÐSWÔAX¨DÑaÕbÐ^`ÑaÕbr[   c                 óÆ  — t         j                  j                  t        | › d|› d�«      }t         j                  j	                  |«      st        |«      ‚t        j                  |dd¬«      }	t        t        j                  |	d   «      j                  d   «      }
t        j                  |
||||¬«      }|j                  |	d	   «       |j                  |«      j!                  «       }|j#                  «       D ]  }|j%                  d«       Œ t        j                  |	d   t        j&                  «      }t        j                  |	d
   t        j&                  «      }|||||fS )Nú__held-ú.ptÚcpuF©Úmap_locationÚweights_onlyÚmur   )Úd_modelÚnlayersÚstemÚstateÚsd)r2   r4   rs   ÚTEACHER_DIRÚexistsÚFileNotFoundErrorÚtorchÚloadrP   ÚnpÚasarrayÚshapeÚVÚLogitTransformerÚload_state_dictÚtoÚevalÚ
parametersÚrequires_grad_Úfloat32)ÚnameÚfamilyÚwindowr‰   rŠ   r‹   ÚheldÚdevicer4   ÚblobÚc_inÚnetÚprˆ   r�   s                  r;   Úload_teacherr§   k   s  € Ü�7‰7�<‰<œ¨ v¨W°T°F¸#Ð%>Ó?€DÜ�7‰7�>‰>˜$ÔÜ Ó%Ð%Ü�:‰:�d¨¸UÔC€DÜŒr�z‰z˜$˜t™*Ó%×+Ñ+¨AÑ.Ó/€DÜ
×
Ñ
˜T 6°7ÀGÐRVÔ
W€CØ×Ñ˜˜W™Ô&Ø
�&‰&�‹.×
Ñ
Ó
€CØ�^‰^ÖˆØ	×Ñ˜Õð ä	�‰�D˜‘J¤§
¡
Ó	+€BÜ	�‰�D˜‘J¤§
¡
Ó	+€BØ��B˜ Ð&Ð&r[   c                 óÆ  — |�t        |«      nt        t        «      }g }t        D ]¤  \  }}}}}	}
t        |||||	|
| |«      \  }}}}}|D �ci c]  }|||   |   “Œ }}t	        j
                  ||||||«      }|j                  |«       ~|j                  dk(  rt        j                  j                  «        t        d|› d| › d|› �«       Œ¦ i }|D ]‰  }i ||<   |d   |   D ]w  }t        j                  |d   |   |   t        j                  d¬«      }|d	d D ]  }|||   |   z  }Œ |t        |«      z  j!                  t        j"                  «      ||   |<   Œy Œ‹ |S c c}w )
zPEqual average of the four frozen teachers (ens_all) for the given held-out fold.NÚcudaz
  teacher z held-z inferred on r   T)ÚdtypeÚcopyé   )Úlistr   ÚTEACHERSr§   r–   Ú	infer_allrx   Útyper‘   r©   Úempty_cacher<   r“   ÚarrayÚfloat64rw   Úastyper�   )r¡   Úfeatr¢   Údatasetsr   rž   rŸ   r    r‰   rŠ   r‹   r¥   rˆ   r�   ÚfamÚwinÚdsÚtableÚstreamsr}   ÚkeyÚaccÚothers                          r;   Úbuild_ens_softr¿   {   s|  € ð "*Ð!5Œt�HŒ~¼4Ä»=€HØ€Eß8@Ñ4ˆˆf�f˜g w°Ü ,¨T°6¸6À7ÈGÐUYÐ[_ÐagÓ hÑˆˆR��S˜#Ù-5Ó6©X r��T˜#‘Y˜r‘]Ñ"¨XˆÐ6Ü—+‘+˜c 5¨"¨b°#°vÓ>ˆØ�‰�WÔØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$Ü�:˜d˜V 6¨$¨¨}¸X¸JÐGÕHð 9Að €CÛˆØˆˆB‰Ø˜‘8˜B”<ˆCÜ—(‘(˜5 ™8 B™<¨Ñ,´B·J±JÀTÔJˆCØ˜q˜r›�Ø�u˜R‘y ‘~Ñ%‘ð #à¤# e£*Ñ,×4Ñ4´R·Z±ZÓ@ˆC�‰G�CŠLñ	  ð ð €Jùò 7s   ÁEc           	      ó¤  — d\  }}| D ]Ã  }|d   }d}|j                  «       D ]  \  }}||v sŒ||   } n |€|dz  }Œ5t        |d   «      }	t        |	t        j                  z  «      }
t        j                  |t
        j                  «      }t        |«      |
k  r&t        j                  |d|
t        |«      z
  fd¬«      }|d|
 |d	<   |dz  }ŒÅ ||fS )
zUAttach evidence-rate teacher soft logits; Fuglsang / missing keys stay without _soft.)r   r   r¼   Nr¬   Úeegr   Úedge)ÚmodeÚ_soft)	Úitemsrw   rP   rQ   rT   r“   r”   r�   Úpad)ÚtrialsÚ
soft_by_dsÚn_okÚn_missÚtrr¼   Úfoundr¹   rº   Úeeg_nÚn_evÚsofts               r;   Úattach_softrÐ   ”   sã   € à�L€Dˆ&ÛˆØ�‰iˆØˆØ#×)Ñ)Ö+‰IˆB�Ø�eŠ|Ø˜c™
�Ùð ,ð ˆ=Ø�a‰KˆFØä�B�u‘I“ˆÜ�5œBŸF™F‘?Ó#ˆÜ�z‰z˜%¤§¡Ó,ˆÜˆt‹9�tÒÜ—6‘6˜$  D¬3¨t«9Ñ$4Ð 5¸FÔCˆDØ˜5˜D�kˆˆ7‰Ø�‰	‰ð# ð$ �ˆ<Ðr[   c                 óü	  — t        j                  | D �cg c]!  }t        |d   «      t        j                  z
  ‘Œ# c}«      }t        j
                  |d«      j                  t        «      }|j                  t        | «      |||j                  «       z  ¬«      }	|	t        _        t        j                  |t        j                  dft         j                  «      }
t        j                  |t        j                  f| d   d   j                  dd z   t         j                  «      }t        j                  |t         j                  «      }t        j                  |t         j                   t         j                  «      }|�t#        j$                  d«      xs i ni }t'        |j%                  d	d«      «      }|j%                  d
d«      }|j%                  dd«      }t)        |	«      D �]¨  \  }}t'        |j+                  d||   dz   «      «      }| |   }|r:t'        t        j,                  ||j+                  | |dz   «      z   d||   «      «      n|}|d   ||t        j                  z    |d   ||t        j                  z    c|
|<   ||<   t'        |d   |t        j.                  z      «      }d}|j1                  «       |k  �rt'        |j+                  t2        dz  t        j                  t2        dz  z
  «      «      }|||d…ddd…f   |||d…f<   |t        j.                  k  rd|z
  }| }|r¦|j1                  «       |k  r“t        j                  t2        dz  z
  |z
  dt2        z  kD  rlt'        |j+                  |dt2        z  z   t        j                  t2        dz  z
  «      «      }|||d…ddd…f   |||d…f<   |t        j.                  k  rd|z
  }| }|r<|j1                  «       |k  r)d||dd…dd…|j+                  |j                  d   «      f<   |dk(  rdnd||<   d|v s�Œ=t'        t        j,                  |t        j.                  z   t        j4                  z  dt        |d   «      dz
  «      «      }t        |d   |   «      }|r| }|||<   �Œ« |�|j7                  |
|«      }
|rd|
dd t9        j:                  |
«      t9        j:                  |«      t9        j:                  |«      t9        j:                  |«      fS c c}w )zKLike DC.windows but also returns soft teacher targets (nan if unavailable).rÁ   r   )r¦   é:   Ú_Sr¬   NrH   Úclf_lag_jitterÚclf_p_feat_dropç        rF   ÚattFr    rr   ç      ð?rÄ   )r“   r²   rw   rQ   rR   Úmaximumr´   ÚfloatÚchoiceÚsumÚ
windows_kdÚlast_tiÚemptyr�   r•   ÚfullÚnanr   ÚgetrP   Ú	enumerateÚintegersÚcliprV   Úrandomr   rT   Ú_augmentr‘   Ú
from_numpy)rÇ   ÚnÚrngÚaugÚp_swrc   ÚtÚlensr¦   ÚtiÚXÚSÚyrÏ   ÚAÚlagÚp_fdÚp_sw2ÚjÚiÚsrË   Ús2ÚcolÚflippedÚtauÚtau2ÚfiÚtlogits                                r;   rÝ   rÝ   ¬   s  € ä�8‰8±6Ó:±6¨a”S˜˜5™“]¤R§T¡TÓ)°6Ñ:Ó;€DÜ
�
‰
�4˜Ó×"Ñ"¤5Ó)€AØ	�‰”C˜“K  a¨!¯%©%«'¡kˆÓ	2€BØ„JÔÜ
�‰�!”R—T‘T˜2�¤§
¡
Ó+€AÜ
�‰�!”R—T‘T�˜V A™Y t™_×2Ñ2°1°2Ð6Ñ6¼¿
¹
ÓC€AÜ
�‰�”B—J‘JÓ€AÜ�7‰7�1”b—f‘fœbŸj™jÓ)€DØ$' OŒ�‰ˆyÓ	Ò	™R¸€AÜ
ˆa�e‰eÐ$ aÓ(Ó
)€CØ�5‰5Ð" CÓ(€DØ�E‰E�/ 3Ó'€EÜ˜"—‰ˆˆ1Ü�—‘˜Q  Q¡¨!¡Ó,Ó-ˆØ�A‰YˆÙJMŒS”—‘˜˜SŸ\™\¨3¨$°°a±Ó8Ñ8¸!¸TÀ!¹WÓEÔFÐSTˆØ˜‘Y˜q ¤R§T¡T¡Ð*¨B¨t©H°R¸¼R¿T¹T¹	Ð,Bˆ
ˆˆ!‰ˆa�‰dÜ�"�U‘)˜A¤§¡™JÑ'Ó(ˆØˆØ�:‰:‹<˜$ÓÜ�c—l‘l¤2¨¡7¬B¯D©D´2¸±7©NÓ;Ó<ˆCØ˜1˜c™d¡D b D˜=Ñ)ˆAˆa�‘ˆg‰JØ”b—f‘fŠ}Ø˜#‘g�Ø%˜+�Ù˜Ÿ™›¨Ò-´"·$±$¼¸q¹±.À3Ñ2FÈÌRÉÒ2OÜ˜3Ÿ<™<¨¨a´"©f©´b·d±d¼RÀ1¹W±nÓEÓF�Ø  4¡5©$¨B¨$ Ñ/��!�T‘U�(‘Øœ2Ÿ6™6’>Ø˜c™'�CØ")˜k�GÙ�C—J‘J“L 4Ò'Ø47ˆAˆa’’A�s—|‘| A§G¡G¨B¡KÓ0Ð0Ñ1Ø˜Q’h‰s Cˆˆ!‰Ø�b‹=Ü”R—W‘W˜a¤"§&¡&™j¬R¯V©VÑ3°Q¼¸B¸w¹KÓ8HÈ1Ñ8LÓMÓNˆBÜ˜2˜g™; r™?Ó+ˆFÙØ ˜�ØˆD�‹Gð7 ð8 €Ø�L‰L˜˜CÓ ˆÙØˆ‰!ˆÜ×Ñ˜QÓ¤×!1Ñ!1°!Ó!4´e×6FÑ6FÀqÓ6IÜ×Ñ˜TÓ"ð$ð $ùòY ;s   ”&S9c                 ó˜  — t        j                  | |«      }t        j                  |«      }|j	                  «       rst        j
                  ||   |z  «      }t        j                  | |   |z  |«      |dz  z  }||z  d|z
  |z  z   }	t        |j                  «       j                  «       «      }
n|}	|j                  «       dz  }d}
|	|||
fS )Nr    rØ   rÖ   r   )
ÚFÚ binary_cross_entropy_with_logitsr‘   ÚisfiniteÚanyÚsigmoidrP   rÜ   ÚitemÚdetach)Úlogitrò   rÏ   ÚalphaÚtempÚhardÚmaskr¦   Úsoft_ceÚlossÚn_softs              r;   Úkd_lossr  Þ   s¾   € Ü×-Ñ-¨e°QÓ7€DÜ�>‰>˜$Ó€DØ‡x�x„zÜ�M‰M˜$˜t™* tÑ+Ó,ˆÜ×4Ñ4°U¸4±[À4Ñ5GÈÓKÈtÐWXÉyÑYˆØ�w‰ #¨¡+°Ñ!5Ñ5ˆÜ�T—X‘X“Z—_‘_Ó&Ó'‰àˆØ—+‘+“- #Ñ%ˆØˆØ��w Ð&Ð&r[   c                 óŠ  — | d   d   j                   d   }t        j                  dt        d   «      }t	        j
                  |«       t        j                  d||j                  «      j                  t        «      }|j                  rNddlm}  ||j                  «      }|j                  t	        j                  |t        d¬	«      «        |d
|› �«       t         j"                  j%                  t         j"                  «      }	t        j&                  t        j(                  t        j*                  df\  |	_        |	_        |	_        |	_        t2        j4                  j7                  |«      }
t9        |t        d   |
d |j:                  |j<                  «      \  }}}}t        j>                  jA                  |jC                  «       t        d   t        d   ¬«      }t        j>                  jD                  jG                  |ddt        d   ¬«      }t2        jH                  dd }}}tK        t        d   «      D �]Q  }tM        jL                  «       g g g g f\  }}}}}|jO                  «        tK        t        d   «      D �]§  }t9        | t        d   |
|	|j:                  |j<                  «      \  }}}}|j                  t        «       |j                  t        «      |j                  t        «      |j                  t        «      f\  }}}} |||«      }tQ        |||tR        tT        «      \  } }!}"}#|jW                  d¬«       | jY                  «        t        jZ                  j\                  j_                  |jC                  «       d«       |ja                  «        |jc                  te        | jg                  «       «      «       |jc                  te        |!jg                  «       «      «       |jc                  |#rte        |"jg                  «       «      nd«       |jc                  |#«       �Œª |ji                  «        t	        jj                  «       5  t	        jl                  tK        dto        |«      d«      D �$cg c]K  }$ |||$|$dz    j                  t        «      ||$|$dz    j                  t        «      «      jq                  «       ‘ŒM c}$«      }%|}&tQ        |%||&tR        tT        «      \  }'}(})}|%dkD  je                  «       |k(  je                  «       js                  «       jg                  «       }*d d d «       te        (jg                  «       «      }+||jt                  k\  r|ja                  |+«        |d|d›dt3        jr                  |«      d›dt3        jr                  |«      d›d t3        jr                  |«      d›d!t3        jr                  |«      t        d   z  d"›d#|+d›d te        '«      d›d$*d%›d&tM        jL                  «       |z
  d'›d(�«       |+|d)z
  k  rS|+d|jw                  «       jy                  «       D �,�-ci c]$  \  },}-|,|-j{                  «       j}                  «       “Œ& }},}-}}�Œ.||jt                  k\  s�Œ?|d*z  }|t        d+   k\  s�ŒR n |j                  |«       |ji                  «        ||fS c c}$w # 1 sw Y   �Œ�xY wc c}-},w ),Nr   rÓ   rr   rJ   rI   rÒ   )Úresolve_modelFr…   z  initialised from Úval_windowsÚlrÚweight_decay)r  r  ÚminrG   Úlr_patience)rÃ   ÚfactorÚpatiencerM   rO   Ú
batch_sizeT)Úset_to_noneg      @rÖ   é   z
    epoch Ú02dz train ú.4fz (hard z kd z soft_frac ú.2fz) val hard z acc ú.3fz (ú.0fzs)g-Cëâ6?r¬   r  )?r•   r   râ   r   r‘   Úmanual_seedrQ   Ú	DirectNetra   r™   r   re   Ú
common_expr  r˜   r’   rX   ÚDNNDecÚ__new__rR   rS   rT   ÚfutÚhopÚCr“   ræ   Údefault_rngrÝ   rb   rc   ÚoptimÚAdamWr›   Úlr_schedulerÚReduceLROnPlateauÚinfÚrangeÚtimeÚtrainr  ÚALPHAÚTEMPÚ	zero_gradÚbackwardÚnnÚutilsÚclip_grad_norm_Ústeprx   rÚ   r  rš   Úno_gradÚcatrw   r„   Úmeanrd   Ú
state_dictrÅ   r  Úclone).r3  ÚvalÚlogr/   ÚFsrI   r¥   r  r4   rë   ÚrsÚXvÚSvÚyvÚsoftvÚoptÚschÚbestÚbadrŒ   ÚepÚt1ÚtlÚthÚtsÚnsÚ_rð   rñ   rò   rÏ   r	  r  r  r  r  rø   ÚlvÚsoft_cpuÚloss_vÚhard_vÚsoft_vÚvaÚvlÚkÚvs.                                                 r;   Úfit_kdr]  í   sN  € Ø	ˆq‰�$‰×	Ñ	˜bÑ	!€BÜ�5‰5�œs 6™{Ó+€DÜ	×Ñ�dÔÜ
�,‰,�r˜2˜qŸz™zÓ
*×
-Ñ
-¬cÓ
2€CØ‡{‚{Ý,Ù˜QŸ[™[Ó)ˆØ×ÑœEŸJ™J t¼#ÈEÔRÔSÙÐ! $ Ð(Ô)Ü
�/‰/×
!Ñ
!¤(§/¡/Ó
2€CÜ%'§T¡T¬2¯6©6´2·6±6¸2Ð%=Ñ"€C„Eˆ3Œ7�C”G˜SœUÜ	�‰×	Ñ	˜tÓ	$€BÜ" 3¬¨-Ñ(8¸"¸dÀAÇJÁJÐPQ×PZÑPZÓ[Ñ€BˆˆB�Ü
�+‰+×
Ñ
˜CŸN™NÓ,´°4±ÄqÈÑGXÐ
Ó
Y€CÜ
�+‰+×
"Ñ
"×
4Ñ
4°S¸uÈSÔ[\Ð]jÑ[kÐ
4Ó
l€CÜ—v‘v˜q $ˆuˆ#€DÜ”A�l‘O×$ˆÜ!ŸY™Y›[¨"¨b°"°bÐ8ÑˆˆB��B˜Ø�	‰	ŒÜ”qÐ*Ñ+×,ˆAÜ& u¬a°©o¸rÀ3ÈÏ
É
ÐTU×T^ÑT^Ó_‰MˆAˆq�!�TØŸD™D¤›I t q§t¡t¬C£y°!·$±$´s³)¸T¿W¹WÄS»\ÐI‰MˆAˆq�!�TÙ˜˜1“IˆEÜ*1°%¸¸DÄ%ÌÓ*NÑ'ˆD�$˜ Ø�M‰M dˆMÔ+Ø�M‰MŒOÜ�H‰H�N‰N×*Ñ*¨3¯>©>Ó+;¸SÔAØ�H‰HŒJØ�I‰I”e˜DŸI™I›KÓ(Ô)Ø�I‰I”e˜DŸI™I›KÓ(Ô)Ø�I‰I©v”e˜GŸL™L›NÔ+¸3Ô?Ø�I‰I�fÖð -ð 	�‰Œ
Ü�]‰]�_Ü—‘Ü%*¨1¬c°"«g°sÔ%;ó=Ù%; ñ    1 Q¨¡W × 0Ñ 0´Ó 5°r¸!¸AÀ¹G°}×7GÑ7GÌÓ7LÓM×QÑQÕSØ%;ñ=ó >ˆBàˆHÜ(/°°B¸Ä%ÌÓ(NÑ%ˆF�F˜F AØ˜‘6—.‘.Ó" bÑ(×/Ñ/Ó1×6Ñ6Ó8×=Ñ=Ó?ˆB÷ ô �6—;‘;“=Ó!ˆØ�—‘ÒØ�H‰H�RŒLÙˆj˜˜C˜ ¬¯©°«°CÐ'8¸ÄÇÁÈÃÈCÐ?Pð QÜ—'‘'˜"“+˜cÐ" +¬b¯g©g°b«k¼!¸L¹/Ñ.IÈ#Ð-Nð OØ˜3�x˜t¤E¨&£M°#Ð#6°e¸B¸s¸8À2ÄdÇiÁiÃkÐTVÑFVÐWZÐE[Ð[]ð_ô 	`ð ��t‘ÒØ! 1ÈÏÉÓIY×I_ÑI_ÔIaÔ&bÑIaÁÀÀA q¨!¯(©(«*×*:Ñ*:Ó*<Ñ'<ÐIa�uÑ&b�#ŠDØ�1—<‘<ÔØ�1‰HˆCØ”a˜
‘mÔ#ÙðE %ðF ×Ñ˜ÔØ‡H�H„JØ�ˆ9Ðùò'=÷ ‰_üó 'cs&   Ñ(Z2Ñ/AZ-Ò?A%Z2Ø1)Z?Ú-Z2Ú2Z<	c                 ó  — t         j                  j                  t        d   t	        j
                  | «      z   «      }g g }}t        D ]�  }|| k(  rŒ	t        |«      }	|j                  t        |	j                  j                  «       «      «      }
|	j                  «       D ]7  \  }}|d   |
k(  r|n|j                  t        |j                  |d   «      «       Œ9 Œ‘ |t        dg|j                  |«      z  }||z   D ]  }t!        |«      |d<   Œ t#        ||z   |«      \  }} |d| › dt%        |«      › dt%        |«      › d	|› d
|› d�«       t'        j&                  «       }t)        ||||«      \  }}t'        j&                  «       |z
  }t+        j,                  t.        d¬«       t1        j2                  |j5                  «       t*        j6                  j9                  t.        d| › d�«      «       ~~t         j                  j                  t:        t	        j
                  | «      z   «      }i dD �ci c]  }|i “Œ }}}t        | «      j                  «       D �]•  \  }}t        |j                  |d   «      }t!        |«      |d   |d   j=                  t>        «      t?        |d   «      f\  }}}}tA        ||dz  «      }|jC                  dd«       t        jD                  |tF        «      dd}}}|D ]0  } tI        |dz
  t?        tK        | dz  «      «      «      }!||||! | |!}}Œ2 |||d  |t        jL                  |dz
  t        jJ                  t        jN                  t%        |«      «      tP        z  |d   z   dz  «      j=                  t>        «      «         }"t        jR                  |"d d …d d f   |d d …d d d…f   |«      }#tU        jV                  |||#«      \  }$}%||"z  t        jX                  |%tT        jZ                  z
  d«         }&t%        |$«      dz  }'t]        |$dz  |$ dz  |&j=                  t         j^                  «      |%tP        z  |d   z   j=                  t         j`                  «      |$d |'dz   jc                  |'d«      je                  d«      dz  |$d |'dz   jc                  |'d«      je                  d«       dz  |&d |'dz   jc                  |'d«      je                  d«      dkD  j=                  t         j^                  «      d¬«      ||d   <   |jg                  «       }(d|(d d …th        f<   d|fd t        jj                  |«      fd!t        jl                  |t%        |«      dz  d«      fd"|(ffD ]y  \  })}*tU        jV                  ||*|d#¬$«      \  }+},||)   jo                  |d%   g «      j                  |+dkD  |t        jX                  |,tT        jZ                  z
  d«         dk(  k(  «       Œ{ �Œ˜ |jq                  «       D ��-�.ci c]Ï  \  }}-|t]        ts        t        jd                  t        jt                  |-jw                  «       D �.cg c]  }.t        jt                  |.«      ‘Œ c}.«      «      «      ts        t        jx                  |-jw                  «       D �.cg c]*  }.t        jd                  t        jt                  |.«      «      ‘Œ, c}.«      «      ¬&«      “ŒÑ }/}-}}.t]        d'|j                  | |t'        j&                  «       |z
  tT        jz                  tT        jZ                  z   tP        z  |d(|/t]        t|        t~        t€        D �0cg c]  }0|0d   ‘Œ	 c}0¬)«      ¬*«
      }1tƒ        t]        d+|i|1¬,«      t…        || «      «        |d| › d-|1d.   d/›d0�d1j9                  d2„ |/jq                  «       D «       «      z   «       ~t†        jˆ                  d3k(  rt0        jŠ                  j�                  «        y y c c}w c c}.w c c}.w c c}.}-}w c c}0w )4NrI   Úsubjectr¼   ÚFuglsang2020rÓ   ú  fold held-out=ú: z	 train / z val; soft labels z trials, missing z (Fuglsang expected)Tr-   úheld-rƒ   )Únormalrc   Ú	shift_eegÚ
no_frontalrÁ   r×   ré   é€   r   r    Fr¬   Út0rr   é(   rG   )Úr0Úr1r×   Út_endÚr0_10Úr1_10Úatt10Úpre_switchedrÖ   rd  rc   re  rf  r(   )r;  Úsubj_uid)ÚpooledÚsubject_medianÚ
direct_clfrÒ   ©r
  r  Úteachers)
Údecoderrf   Úheld_outÚfit_sÚtotal_sÚlookahead_sÚbest_valÚchannelsÚcontrolsÚkdÚcausal)ÚevidenceÚinfoz	 done in rz  r"  zs: controls z  c              3   ó8   K  — | ]  \  }}|› d |d   d›�–— Œ y­w)ro   rr  r!  NrZ   )Ú.0r[  r\  s      r;   Ú	<genexpr>zrun_fold_kd.<locals>.<genexpr>c  s)   è ø€ ÐJÑ9I±°°A�q�c˜˜1˜X™; sÐ+Ô,Ñ9Iùs   ‚r©   )Gr“   ræ   r+  r   r   Úindexr   rÛ   Úsortedr_  ÚuniqueÚiterrowsrx   r
   rf   r   r   rÐ   rw   r2  r]  r2   r3   ÚCKPT_DIRr‘   Úsaver?  r4   rs   r   r´   rP   r   rä   ÚzerosÚboolr  ÚroundÚminimumÚaranger   ÚwhererQ   ÚlogitsrÙ   rT   ÚdictÚint8r�   Úreshaper>  r«   ÚFRONTALÚ
zeros_likeÚrollÚ
setdefaultrÅ   rÚ   ÚconcatenateÚvaluesÚmedianrS   r4  r5  r®   r   r	   r   r°   r©   r±   )2r¡   ÚexprB  r/   rÈ   rê   r3  rA  r¹   r|   ÚvsrS  ÚrrË   rÉ   rÊ   rh  r¥   rK  Út_fitÚsrngr[  ÚevÚctlrñ   Úxr×   ÚT128ÚtimesÚst128ÚcurÚprevÚttÚs0ÚstÚSswÚlgÚstartsÚtruthÚn10Úxfrž   ÚxcÚl1Ús1Údr\  r~  rí   r‚  s2                                                     r;   Úrun_fold_kdr·  &  sô  € Ü
�)‰)×
Ñ
¤ F¡¬g¯m©m¸DÓ.AÑ AÓ
B€CØ�Rˆ3€EßˆØ�Š:ØÜ�r‹{ˆØ�Z‰Zœ˜tŸ|™|×2Ñ2Ó4Ó5Ó6ˆØ—M‘M–O‰DˆAˆqØ�i‘L BÒ&‰S¨E×9Ñ9¼*ÀQÇVÁVÈQÈuÉXÓ:VÕWñ $ð ð 
Œ]˜NÐ+¨Q¯V©V°SÓ9Ñ9€EØ�cŒkˆÜ˜B“<ˆˆ4Šð ä˜u s™{¨JÓ7�L€Dˆ&ÙÐ
˜4˜& ¤3 u£: ,¨i¼¸C»°zð BØ�fÐ-¨f¨XÐ5Ið	Kô Lä	�‰‹€BÜ�u˜c 3¨Ó*�I€CˆÜ�I‰I‹K˜"Ñ€EÜ‡K�K” 4Õ(Ü	‡J�Jˆs�~‰~Ó¤§¡§¡¬h¸%À¸vÀSÐ8IÓ!JÔKØˆsÜ�9‰9× Ñ ¤¬¯©°dÓ(;Ñ!;Ó<€DØÑ"SÓTÑ"S˜Q�1�b‘5Ð"SˆÐT€BÜ˜“×&Ñ&×(‰ˆˆ1Ü˜Ÿ™  %¡Ó)ˆÜ" 2›,¨¨5©	°2°e±9×3CÑ3CÄCÓ3HÌ#ÈaÐPSÉfË+ÐU‰ˆˆ1ˆc�4Ü! $¨¨s©
Ó3ˆØ�‰�a˜ÔÜŸ8™8 D¬$Ó/°¸�DˆsˆÛˆBÜ�T˜A‘Xœs¤5¨¨c©£?Ó3Ó4ˆBØ ˆE�$�rˆNØ˜ �‰Cð ð ˆˆdˆeˆØ”2—:‘:˜d Q™h¬¯©´"·)±)¼CÀ»FÓ2CÄbÑ2HÈ2ÈdÉ8Ñ2SÐWZÑ1ZÓ([×(bÑ(bÔcfÓ(gÓhÑiˆÜ�h‰h�rš!˜T 4˜-Ñ(¨!ªA©t°¨t¨G©*°aÓ8ˆÜ—Y‘Y˜s A sÓ+‰
ˆˆFØ�r‘œ2Ÿ:™: f¬r¯v©v¡o°qÓ9Ñ:ˆÜ�"‹g˜‰mˆÜØ�A‰v˜2˜# ™' u§|¡|´B·G±GÓ'<ØœB‘;  D¡Ñ)×1Ñ1´"·*±*Ó=Ø�Y�c˜B‘h�-×'Ñ'¨¨RÓ0×5Ñ5°aÓ8¸1Ñ<Ø�i�s˜R‘x�=×(Ñ(¨¨bÓ1×6Ñ6°qÓ9Ð9¸AÑ=Ø˜˜# ™(Ð#×+Ñ+¨C°Ó4×9Ñ9¸!Ó<¸sÑB×JÑJÌ2Ï7É7ÓSØôˆˆ1ˆU‰8‰ð �V‰V‹XˆØˆŠ1Œgˆ:‰Ø" A˜¨´R·]±]À1Ó5EÐ(FØ%¤r§w¡w¨q´#°a³&¸A±+¸qÓ'AÐBÀ\ÐSUÐDVóX‰HˆD�"ä—Y‘Y˜s B¨°Ô2‰FˆB�Ø�‰I× Ñ   :¡°Ó3×:Ñ:¸BÀ¹FÈÌBÏJÉJÐWYÔ\^×\bÑ\bÑWbÐdeÓLfÑHgÐklÑHlÑ;mÕnòXð3 )ð>  ŸI™IœKõ)á'‘D�A�qð ”4œu¤R§W¡W¬R¯^©^ÐXY×X`ÑX`ÔXbÓ<cÑXbÐST¼R¿^¹^ÈAÕ=NÐXbÑ<cÓ-dÓ%eÓfÜ',¬R¯Y©YÐ\]×\dÑ\dÔ\fÓ7gÑ\fÐWX¼¿¹ÄÇÁÈqÓ@QÕ8RÐ\fÑ7gÓ-hÓ'iôkñ kà'ð ò )ô ˜¨1¯6©6¸DÈÔW[×W`ÑW`ÓWbÐegÑWgÜŸV™V¤b§f¡f™_´Ñ2¸TÈBÐYaÜœe¬$ÍÓ9QÉÀ1¸!¸A»$ÈÑ9QÔRôT€Dô ”˜x¨˜n°4Ô8¼)ÀCÈÓ:NÔOÙÐ
˜4˜& 	¨$¨y©/¸#Ð)>¸lÐKØ
�)‰)ÑJ¸¿¹Ô9IÓJÓ
Jñ	Kô LàÜ
‡x�x�6ÒÜ�
‰
×ÑÕ ð ùòQ Uùò< =dùÚ7gùô)ùò
 :Rs1   È)
_(×<A_7Ø?_- Ù4_7Ú/_2Ú>_7Ü>_>"ß-
_7c                 óÌ  — i }t         D ]Ø  }i ||<   | |   j                  «       D ]»  \  }}|d   |d   z
  j                  t        j                  «      }t        j                  |dd…df   dd¬«      dd…df   }t        |«      ||   |<   |dz  j                  t        j                  «      ||   |   d<   | dz  j                  t        j                  «      ||   |   d<   Œ½ ŒÚ i }	t         D ]æ  }t        j                  t         D �
�cg c]H  }
|
|k7  rA||
   j                  «       D ]+  }|d   |d   z
  t        j                  |d	   dk(  d
d«      z  ‘Œ- ŒJ c}}
«      }t        |j                  «       «      t        |j                  «       «      }}t        j                   |||||t"        z  ft$        ¬«      }||	|<    |d|› d|d   d›d|d   d›�«       Œè t        t        j                  t         D �
cg c]
  }
|	|
   d   ‘Œ c}
«      «      }t        t        j                  t         D �
cg c]
  }
|	|
   d   ‘Œ c}
«      «      } |d|d›d|d›�«       |	||fS c c}}
w c c}
w c c}
w )zOCausal tau-30 high-pass of student signed evidence; emissions from corpus only.rj  rk  Nç      >@ç      Ð?©rý   r)  r   r    r×   rØ   ç      ð¿©ÚemisÚp_stayz  HP30 LODO ú  H ÚHr  ú  Acc ÚAccr   z  HP30 LODO MEAN  H )r   rÅ   r´   r“   r³   ÚV4Úhighpassr“  r�   rš  r›  r‘  rÚ   r>  Ústdrñ   Úscore_datasetÚSCALEÚP_STAY)r¢  ÚlarB  Úhp_evr¹   r¼   ÚeÚsignedr&   Úperr¶  ró   rˆ   r�   rŸ  ÚmHÚmAs                    r;   Ú
score_hp30rÑ  i  sI  € à€EßˆØˆˆb‰	Ø˜‘f—l‘l–n‰FˆC�Ø˜‘g  $¡Ñ'×/Ñ/´·
±
Ó;ˆFÜ—‘˜V¢A t G™_°$¸DÔAÂ!ÀQÀ$ÑGˆBÜ! !›WˆE�"‰I�c‰NØ$&¨¡F§?¡?´2·:±:Ó#>ˆE�"‰I�c‰N˜4Ñ Ø%' C¨!¡G×#3Ñ#3´B·J±JÓ#?ˆE�"‰I�c‰N˜4Ò ñ %ð ð €CßˆÜ�N‰NÝ%,ôTÙ%, °°R²ÀÀqÁÇÁÖAR¸Að ˜t™W q¨¡wÑ.´"·(±(¸1¸U¹8Àq¹=È#ÈtÓ2TÓTØARð UØ%,òTó Uˆä�q—v‘v“x“¤%¨¯©«£.ˆBˆÜ�O‰O˜B  r°°R¼%±ZÐ0@ÌÔPˆØˆˆB‰Ùˆl˜2˜$˜d 1 S¡6¨# ,¨f°Q°u±X¸c°NÐCÕDð ô 
Œr�w‰w­WÓ5©W¨˜˜A™˜s›¨WÑ5Ó6Ó	7€BÜ	Œr�w‰w­wÓ7©w¨!˜˜A™˜u›¨wÑ7Ó8Ó	9€BÙÐ
˜r #˜h f¨R°¨HÐ5Ô6Ø��Bˆ;ÐùóTùò 6ùÚ7s   ÄAIÇ1IÈ'I!c                 óî  ‡‡:— t         j                  t         j                  z   t        z  }t	        j
                  t        d«      \  }}i }t        D ]ô  Št        j                  t        D ��cg c]H  }|‰k7  rA||   j                  «       D ]+  }|d   |d   z
  t        j                  |d   dk(  dd«      z  ‘Œ- ŒJ c}}«      }t        |j                  «       «      t        |j                  «       «      }
}	t	        j                  ‰|||	|
t         z  ft"        ¬«      }||‰<    | d	‰› d
|d   d›d|d   d›d|d   d›d|d   d›�
«       Œö t        t        j                  t        D �cg c]
  }||   d   ‘Œ c}«      «      }t        t        j                  t        D �cg c]
  }||   d   ‘Œ c}«      «      } | d|d›d|d›�«       t%        ||| «      \  }}}t        j                  t        D ��cg c]C  }||   j                  «       D ]+  }|d   |d   z
  t        j                  |d   dk(  dd«      z  ‘Œ- ŒE c}}«      }t        |j                  «       «      t        |j                  «       «      }
}	 | d|	d›d|
d›dt         › �«       t&        j(                  j+                  |j,                  t/        t0        d   «      ¬«       t3        j4                  t6        d¬«       dD �ci c]1  }|t2        j8                  j;                  t6        d|› t<        › d�«      “Œ3 }}t?        d „ |j                  «       D «       «      �r—t2        j8                  jA                  tB        «      rzt        jD                  d!d"d#«      jG                  tH        «      }|jK                  tM        jN                  tB        tH        d$¬%«      «       |jQ                  «         | d&tB        › �«       �ntM        jR                  tL        jT                  jW                  «       rd'nd(«      }t2        j8                  j;                  tX        d)«      }g }t        D ]  }t2        j8                  j;                  |d*|› d+�«      }t2        j8                  jA                  |«      sŒGt[        |d,«      5 }|j]                  t_        jN                  |«      «       d d d «       Œ� ta        |«      d-k  r2tc        jd                  «       }t        D �cg c]  }tg        |||«      ‘Œ }}i }t        D ]_  Ši |‰<   |d   ‰   D ]M  Š:ti        ˆˆ:fd.„|D «       «      ta        |«      z  }t        jj                  |t        jl                  «      |‰   ‰:<   ŒO Œa t        jn                  jq                  tr        d/   d0z   «      }g g }}t        D ]‰  Štu        ‰«      } |jw                  ty        | jz                  j}                  «       «      «      }!| j                  «       D ]7  \  }}|d1   |!k(  r|n|j]                  t�        |j,                  |d2   «      «       Œ9 Œ‹ |tƒ        d3g|j,                  | «      z  }||z   D ]  }"t…        |"«      |"d4<   Œ t‡        ||z   |«      \  }#}$ | d5ta        |«      › d6ta        |«      › d7|#› d8|$› �«       t‰        ||| |«      \  }}%tM        jŠ                  |j�                  «       tB        «        | d9tB        › d:|%d›�«       ~~|j�                  «       D �]¯  \  Š}&t2        j8                  jA                  |&«      rŒ'i }'t'        j�                  ‰«      }( | d;‰› d<ta        |(«      › d=�«       t“        |(«      D �]  \  })}"t        j”                  ||"d>   t…        |"«      «      \  }*}+|"d   j—                  t˜        «      t        jš                  |+t         j                  z
  d«         },t�        |*d?z  |* d?z  |,j—                  t        jž                  «      |+t        z  |"d@   z   j—                  t        jl                  «      |"dA   |"dB   |"d1   ¬C«      |'|"d2   <   |)dDz   dEz  dk(  s|)dDz   ta        |(«      k(  sŒù | dF‰› dG|)dDz   › dHta        |(«      › �«       �Œ t[        |&dI«      5 }t_        j                   |'|«       d d d «        | dJ|&› �«       �Œ² ~tH        j¢                  d'k(  rtL        jT                  j¥                  «        i }-|j�                  «       D �]À  \  Š}&t[        |&d,«      5 }t_        jN                  |«      }'d d d «       t'        j¦                  '|	|
t         z  t"        dK«      }t'        j¨                  |'«      }.i }/|'j�                  «       D ]®  \  Š:}|d   |d   z
  j—                  t        jª                  «      }0t­        j®                  |0d d …d f   dLdM¬N«      d d …df   }1t�        |«      }2|1d?z  j—                  t        jl                  «      |2d<   |1 d?z  j—                  t        jl                  «      |2d<   |2|/‰:<   Œ° g }3t        D ]•  }||   j                  «       D ]}  }|d   |d   z
  j—                  t        jª                  «      }4|3j]                  t­        j®                  |4d d …d f   dLdM¬N«      d d …df   t        j                  |d   dk(  dd«      z  «       Œ Œ— t        j                  |3«      }5t        |5j                  «       «      t        |5j                  «       «      }7}6t'        j¦                  |/|6|7t         z  t"        dK«      }8t'        j¨                  |/«      }9t�        dTi |¤|.dO   t�        dTi |8¤dO|9dO   i¤ŽdPœ¤Ž|-‰<    | dQ‰› d
|d   d›d|d   d›d|d   d›d|d   d›dR|.dO   d›�«        | dS‰› d
|8d   d›d|8d   d›dR|9dO   d›�«       �ŒÃ ||-|	|
|||||f	S c c}}w c c}w c c}w c c}}w c c}w # 1 sw Y   �ŒŸxY wc c}w # 1 sw Y   �ŒXxY w# 1 sw Y   �ŒâxY w)UNr€  rj  rk  r×   r   rØ   r¼  r½  z  PRESET LODO rÀ  rÁ  r  rÂ  rÃ  r   z  L ÚLr!  z  SDT ÚSDTz  PRESET LODO MEAN  H z  external emissions mu z sd ú scale rB   )rf   rB   Tr-   )ÚAASDÚ	Carta2026Úext_clf_z_evidence.pklc              3   ó\   K  — | ]$  }t         j                  j                  |«       –— Œ& y ­w©N)r2   r4   r�   )r„  r¦   s     r;   r…  zscore_preset.<locals>.<genexpr>˜  s#   è ø€ Ð
<Ñ*; QŒr�w‰w�~‰~˜aÓ Ô Ñ*;ùs   ‚*,rÒ   rK   r^   Fr…   z	  loaded r©   r„   Úsoft_ensrc  ú.pklÚrbrp   c              3   ó.   •K  — | ]  }|‰   ‰   –— Œ y ­wrÚ  rZ   )r„  r¦   r¹   r¼   s     €€r;   r…  zscore_preset.<locals>.<genexpr>°  s   øè ø€ Ð=±*¨Q˜a ™e C�j±*ùs   ƒrI   éc   r_  r¼   r`  rÓ   z  all-5 train z / val z; soft z miss z  saved z best val hard z  external rb  z trialsrÁ   r    rh  Úatt128Ún128)rj  rk  r×   rl  rà  rá  r_  r¬   ri  z    ro   Ú/Úwbz  wrote g      è?r¹  rº  r»  Úacc1)rä  Úhp30z  PRESET EXT z  acc1 z  HP30   EXT rZ   )XrQ   rS   rT   r   rñ   Ú
load_foldsÚEXP_NAMEr   r“   rš  r›  r‘  rÚ   r>  rÆ  rÇ  rÈ  rÉ  rÑ  ÚEÚCONFÚupdaterf   r­   r   r2   r3   ÚEXT_DIRr4   rs   rj   r  r�   ÚALL5_PTr$  r™   r   r˜   r‘   r’   rš   r¢   r©   Úis_availablerŠ  r7   rx   Úpicklerw   r–   Úbuild_featuresr¿   rÜ   r”   r�   ræ   r+  r   r   rÛ   r‡  r_  rˆ  r‰  r
   r   r   rÐ   r]  r‹  r?  rÅ   Ú
ext_trialsrã   r’  r´   rP   rÙ   r“  r”  Údumpr°   r±   ÚscoreÚplainr³   rÄ  rÅ  );rB  r/   rÊ  r¢  rS  rÎ  r¶  rÌ  ró   rˆ   r�   rŸ  rÏ  rÐ  Úhp_perÚhp_mHÚhp_mAr¹   Úev_pathsr¥   r¢   Ú
soft_cacheÚ
soft_partsÚhÚspr:   rµ   Úsoft_allr½   rê   r3  rA  r|   rž  rË   rÉ   rÊ   rK  r4   ÚEVrÇ   rø   r®  r¯  r°  Úextró  ÚEV_hprÍ  r&   ÚeeÚ	hp_signedrù   ÚA_hpÚmu_hpÚsd_hpÚr_hpÚplain_hpr¼   s;                    `                                        @r;   Úscore_presetr  ‚  s~
  ù€ Ü
�&‰&”2—6‘6‰/œRÑ	€BÜ�L‰Lœ 8Ó,�E€BˆØ
€CßˆÜ�N‰NÝ%,ôQÙ%, °°R²ÀÀAÁÇÁÆ¸Að ˜t™W q¨¡wÑ.´"·(±(¸1¸U¹8Àq¹=È#ÈtÓ2TÓTØAOð UØ%,òQó Rˆä�q—v‘v“x“¤%¨¯©«£.ˆBˆÜ�O‰O˜B  B¨b°"´u±*Ð-=ÄfÔMˆØˆˆB‰Ùˆn˜R˜D  Q s¡V¨C L°°q¸±xÀ°nÀDÈÈ3ÉÐPSÈÐTZÐ[\Ð]bÑ[cÐdgÐZhÐiÕjð ô 
Œr�w‰w­WÓ5©W¨˜˜A™˜s›¨WÑ5Ó6Ó	7€BÜ	Œr�w‰w­wÓ7©w¨!˜˜A™˜u›¨wÑ7Ó8Ó	9€BÙÐ
   C ¨¨r°#¨hÐ7Ô8Ü% b¨"¨cÓ2Ñ€FˆE�5Ü
�‰Ý")ôDÙ")˜B°2°b±6·=±=¶?¨að ˜4™ 1 T¡7Ñ*¬b¯h©h°q¸±xÀ1±}ÀcÈ4Ó.PÓPØ3Bð QØ")òDó 	E€Aä�1—6‘6“8‹_œe A§E¡E£G›nˆ€BÙÐ
" 2 c (¨$¨r°#¨h°g¼e¸WÐEÔFÜ‡F�F‡M�M�q—v‘v¤t¬A¨i©LÓ'9€MÔ:Ü‡K�K” $Õ'ÙWlÓmÑWlÐQS�”B—G‘G—L‘L¤¨H°R°D¼¸¸]Ð*KÓLÑLÐWl€HÐmÜ
Ñ
<¨(¯/©/Ô*;Ó
<Õ<Ü�7‰7�>‰>œ'Ô"Ü—,‘,˜r 1 jÓ1×4Ñ4´SÓ9ˆCØ×Ñ¤§
¡
¬7ÄÐSXÔ YÔZØ�H‰HŒJÙ�)œG˜9Ð%Ö&ô —\‘\¬E¯J©J×,CÑ,CÔ,E¡&È5ÓQˆFÜŸ™Ÿ™¤h°
Ó;ˆJØˆJß�Ü—W‘W—\‘\ *°°a°S¸¨oÓ>�Ü—7‘7—>‘> "Õ%Ü˜b $œ¨2Ø"×)Ñ)¬&¯+©+°b«/Ô:÷ (˜ð ô
 �:‹ Ò"Ü×'Ñ'Ó)�ÝGNÓOÁwÀ!œn¨Q°°fÕ=Àw�
ÐOØˆHß�Ø!�˜‘Ø% a™=¨Ô,�CÜÔ=±*Ó=Ó=ÄÀJÃÑO�CÜ(*¯
©
°3¼¿
¹
Ó(C�H˜R‘L Ò%ñ -ð ô
 —)‘)×'Ñ'¬¨F©°bÑ(8Ó9ˆCØ˜R�3ˆEß�Ü˜r“{�Ø—Z‘Z¤ t§|¡|×':Ñ':Ó'<Ó =Ó>�Ø ŸM™MžO‘D�A�qØ˜i™L¨BÒ.‘S°E×AÑAÄ*ÈQÏVÉVÐUVÐW\ÑU]ÓB^Õ_ñ ,ð ð
 ”] NÐ#3°Q·V±V¸SÓAÑAˆEØ˜c”k�Ü# B›<��4’ð "ä& u¨s¡{°HÓ=‰LˆD�&Ù�.¤ U£ ¨G´C¸³H°:¸WÀTÀFÈ&ÐQWÐPXÐYÔZÜ˜u c¨3°Ó2‰IˆC�Ü�J‰J�s—~‘~Ó'¬Ô1Ù�(œ7˜) ?°4¸°*Ð=Ô>Ø�sØ Ÿ™×(‰HˆB�Ü�w‰w�~‰~˜dÔ#ØØˆBÜ—\‘\ "Ó%ˆFÙ�+˜b˜T ¤C¨£K =°Ð8Ô9Ü" 6×*‘��2ÜŸY™Y s¨B¨u©I´xÀ³|ÓD‘
��FØ˜5™	×(Ñ(¬Ó-¬b¯j©j¸Ä"Ç&Á&¹È!Ó.LÑM�Ü $Ø˜A‘v 2 #¨¡'¨u¯|©|¼B¿G¹GÓ/DØ!¤B™;¨¨D©Ñ1×9Ñ9¼"¿*¹*ÓEØ˜h™<¨b°©jÀ"ÀYÁ-ô!Q��2�e‘9‘ð ˜‘E˜R‘< 1Ò$¨¨A©´°V³Ó(<Ù˜$˜r˜d ! A¨¡E 7¨!¬C°«K¨=Ð9Ö:ð +ô �d˜DÔ! RÜ—‘˜B Ô#÷ "á�(˜4˜&Ð!Ö"ð# )ð$ Ü�8‰8�vÒÜ�J‰J×"Ñ"Ô$Ø
€CØ—N‘N×$‰ˆˆDÜ�$˜Ô Ü—‘˜R“ˆB÷ ä�G‰G�B˜˜B¤™J¬°Ó5ˆÜ—‘˜“ˆØˆØ—h‘h–j‰FˆC�Ø˜‘g  $¡Ñ'×/Ñ/´·
±
Ó;ˆFÜ—‘˜V¢A t G™_°$¸DÔAÂ!ÀQÀ$ÑGˆBÜ�a“ˆBØ˜Q™—‘¤r§z¡zÓ2ˆBˆt‰HØ˜˜a™×'Ñ'¬¯
©
Ó3ˆBˆt‰HØˆE�#ŠJð !ð ˆ	ßˆAØ˜‘U—\‘\–^�Ø�t‘W˜q ™wÑ&×.Ñ.¬r¯z©zÓ:�Ø× Ñ Ü—K‘K ¢! T '¡
°¸$Ô?ÂÀ1ÀÑEÜ—h‘h˜q ™x¨1™}¨c°4Ó8ñ9õ:ñ $ð ô �~‰~˜iÓ(ˆÜ˜TŸY™Y›[Ó)¬5°·±³Ó+<ˆuˆÜ�w‰w�u˜e U¬U¡]´F¸DÓAˆÜ—7‘7˜5“>ˆÜñ A˜ð A  v¡Ü Ñ? 4Ñ?¨h°vÑ.>Ò?óAˆˆB‰áˆm˜B˜4˜t A c¡F¨3 <¨v°a¸±h¸s°^À4ÈÈ#ÉÈsÀ|ð TØ�U‘8˜C�. ¨¨f©°cÐ':ð<ô 	=áˆm˜B˜4˜t D¨¡I¨c ?°&¸¸e¹ÀSÐ8IÈÐQYÐZ`ÑQaÐbeÐPfÐgÖhð; %ð< ��R˜˜R  V¨U°EÐ9Ð9ùó_Qùò 6ùÚ7ùóDùò n÷  (™üò P÷L "Ñ!ú÷ ÑúsJ   Á+An0Å#n6Æn;Ç,Ao 
Ë6oÒ	%oÓ"oá0oã4o*ïo	ïo'	ï*o4	c                 ó  — t        ddddd¬«      }t        dd¬	«      }d
ddt        › dt        › dt        › dt        › dt
        › d�dddddg}	t        D ]Y  }
| |
   }||
   \  }}d}|
|v rd||
   d   d›d||
   d   d›�}|	j                  d|
› d|d   d›d|d   d›d|d›d|d›d |› d �«       Œ[ |	d!|d›d"|d›d#�dd$|d›d%|d›d&�dd'dd(d)d*|d+   d   d›d|d+   d   d›d|d+   d,   d   d›d|d+   d,   d   d›d-�	d.|d/   d   d›d|d/   d   d›d|d/   d,   d   d›d|d/   d,   d   d›d0�	dd1t        › d2t        › d3t        › d4t        › d5�	dgz  }	t        t        d6«      j                  d7j                  |	«      «       t        S )8N)g�•C‹lé?g¤p=
×ƒR@)g­ú\mÅþì?gfffffvV@)gj¼t“ì?g…ëQ¸•T@)gé·¯çê?g®GázÞS@)g9ÖÅm4€í?g×£p=
—U@)ÚAVGCÚDTUÚKULÚUHDÚUSTC)gÙÎ÷Sã¥é?g
×£p=ºR@)gšž^ë?gö(\�ÂT@)r	  r  z# results_kdr`   u¾   Path: **KD** (not soft-H). Frozen ens_all teachers (stem_ms96 + ms_w96 + ms_w192 + recipe_hp48 held-* checkpoints, no retrain) distilled into vlaai_ws 10 s (`eaP_n5_t60`, sw2, SPK init). Î±=ú, T=z, u   Ã—250 steps/fold. HMM p_stay rÕ  Ú.z## LODO (preset)z:| Held-out | KD H | KD Acc % | stem H/Acc | SWA AVGC/UHD |z|---|---:|---:|---|---|z SWA r   r  râ  r¬   r   z| z | rÁ  rÃ  z | stem z |z| **mean** | **z** | **z** | stem 0.8677/82.42 | |zStudent hp30 LODO mean H ú Acc z& (cf. linear_hp30 train 0.7899/69.21).z## External (preset)zC| Set | KD H | KD Acc % | KD hp30 H/Acc | linear_hp30 | stem_ms96 |z|---|---:|---:|---|---|---|z	| AASD | rÖ  rå  z  | 0.6422/53.12 | 0.6158/51.54 |z| Carta2026 | r×  z  | 0.6520/60.54 | 0.5695/51.03 |zCheckpoints: `z/`, `z`. Folds: `z
`. JSON: `ú`.rq   r0   )r“  r4  r5  rW   rÉ  rÈ  r   rx   rŠ  rì  rç  ÚOUT_JSONr7   ÚOUT_MDr8   rs   )rÎ  rþ  rÏ  rÐ  rô  rõ  rö  r‹   ÚswaÚlinesr¹   rŸ  ÚshÚsaÚextras                  r;   Úwrite_resultsr  ù  su  € Ü�_¨/¸Ø#¨/ô;€Dä
�O¨Ô
9€CàØ
ð	ô ˆW�Dœ˜˜b¤ ð -Ü�X˜W¤U G¨1ð		.ð
 	ØØ
ØDØ!ð€E÷ ˆØ�‰GˆØ�b‘‰ˆˆBØˆØ�‰9Ø˜C ™G A™J sÐ+¨1¨S°©W°Q©Z¸Ð,<Ð=ˆEØ�‰�r˜"˜˜S  3¡¨ ¨C°°%±¸¨~¸XÀbÈÀXÈQÈrÐRUÈhÐVXÐY^ÐX_Ð_aÐbÕcð ð 
Ø
˜"˜S˜ ¨¨C¨Ð0JÐKØ
Ø
# E¨# ;¨e°E¸#°;ð ?0ð 	1à
ØØ
ØMØ%Ø
�C˜‘K Ñ$ SÐ)¨¨S°©[¸Ñ-?ÀÐ,DÀCØˆv‰;�vÑ˜sÑ# CÐ
(¨¨#¨f©+°fÑ*=¸eÑ*DÀSÐ)Ið J(ð	)ð ˜˜[Ñ)¨#Ñ.¨sÐ3°3°s¸;Ñ7GÈÑ7NÈsÐ6SÐSVØˆ{Ñ˜FÑ# CÑ(¨Ð
-¨Q¨s°;Ñ/?ÀÑ/GÈÑ/NÈsÐ.Sð T(ð	)ð 	Ø
œ˜
 %¬ y°¼H¸:ÀZÔPXÈzÐY[Ð\Ø
ð%ñ €Eô( 	Œ�Ó×Ñ˜DŸI™I eÓ,Ô-Ü€Mr[   c                  ó 
  — t        «        t        t        «      } t        «       }t	        dd«       t        j                  t
        j                  j                  «       rdnd«      } | dt        › d|› dt        › dt        › d	t        › d
�«       t        D ���cg c]^  ^}}t        D ]Q  }t        j                   j#                  t        j                   j%                  t&        |› d|› d�«      «      s|› d|› d�‘ŒS Œ` }}}}|rt)        d|d d › d�«      ‚ | dt        D �cg c]  }|d   ‘Œ	 c}› �«       t+        j,                  «        t/        j0                  «       }t        D �]7  }	t3        t        |	«      }
t        j                   j#                  |
«      r | d|	› d|
› �«       ŒBt5        |	||«      }t        j                   j%                  t6        d«      }t        j8                  |d¬«       t;        t        j                   j%                  |d|	› d�«      d«      5 }t=        j>                  ||«       d d d «       t        D �ci c]  }||	k7  sŒ	|||   “Œ }}tA        |	t        | ||«       ~~|jB                  dk(  s�Œt
        j                  jE                  «        �Œ: tG        | |«      \	  }}}}}}}}}tI        dUi dt        “dd“dd“dd “d!tJ        d!   “d"d#“d$tL        “d%d&“d'd(“d)t        “d*tJ        d*   “d+tI        t        t        t        D �cg c]  }|d   ‘Œ	 c}¬,«      “d-tJ        d-   “d.d/“d0tJ        d0   “d1tI        tN        tP        ||t        D �ci c]  }|||   “Œ
 c}|t        D �ci c]  }|||   “Œ
 c}||¬2«	      “d3|“d4|“Ž}t        j8                  t        j                   jS                  tT        «      d¬«       t;        tT        d5«      5 }tW        j>                  ||d6tX        ¬7«       d d d «       t[        |||||||«      }t        j                   j%                  t\        d8d9«      }d:t        › d;t        › d<|d=›d>|d?›d@|dA   dB   d=›dC|dA   dD   d?›dE|dF   dB   d=›dC|dF   dD   d?›dG|dH   dB   d=›dC|dH   dD   d?›dIt^        › dJ�}t;        |dK«      5 }|ja                  |«       d d d «       dL|d=›d>|d?›dM|dF   dB   d=›dC|dF   dD   d?›dN|dH   dB   d=›dC|dH   dD   d?›dO|› dP�}t	        dQ|«        | dRtT        › dS|› �«        | dT«       y c c}}}w c c}w # 1 sw Y   �ŒéxY wc c}w c c}w c c}w c c}w # 1 sw Y   �ŒLxY w# 1 sw Y   Œ xY w)VNÚrunningz$GPU train under flock; results_kd.mdr©   r„   z=== z KD ens->vlaai_ws device u    Î±=z T=z epochs z ===r‚   rƒ   z/missing teacher checkpoints (abort to soft-H): rp   z...z  teachers OK: r   ra  z	: cached rÛ  Tr-   rc  rÜ  rã  Ú
experimentr4   ÚKDrw  rt  rf   r_   rB   rb   rG   re   ra   r^   Úwindow_sg      $@rM   rO   r  ru  rJ   Úextra_trainr`  rH   Úpreset)	r¿  ÚscaleÚemis_muÚemis_sdÚlodoÚexternalÚ	hp30_lodoÚhp30_mean_HÚhp30_mean_AccÚmean_HÚmean_Accrq   r¬   )ÚindentÚdefaultr   zALREADY_TRIED.mdu'   - **KD ens_all â†’ vlaai_ws 10 s** (Î±=r  z`, eaP_n5_t60, sw2, SPK init; teachers stem_ms96+ms_w96+ms_w192+recipe_hp48 held-*): LODO mean H r  r  r   z (AVGC r	  rÁ  râ  rÃ  z); AASD rÖ  z; Carta r×  z . Do not rerun this KD recipe. `z`.
r/   zLODO mean H z. AASD z. Carta z. `r  Údonezwrote z and z=== done ===rZ   )1r\   r   r6   rk   r€   r‘   r¢   r©   rí  rç  r4  r5  rW   r®   r   r2   r4   r�   rs   rŽ   Ú
SystemExitÚNÚload_allr–   rï  r	   r¿   rŠ  r3   r7   rî  rñ  r·  r°   r±   r  r“  r   ri   rÉ  rÈ  r5   r  ÚjsonrÚ   r  r   r  r8   )rB  r/   r¢   ré   rS  rú  Úmissingrí   rµ   r¡   r4   rÏ   rø  r:   r¹   Ú
soft_trainrÎ  rþ  rˆ   r�   rÏ  rÐ  rô  rõ  rö  r¶  r}   ÚrpathÚtriedÚaddendumr{   s                                  r;   Úmainr7  *  s†  € Ü„KÜ
”Ó
€CÜ‹€AÜˆyÐ@ÔAÜ�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÙˆ$ŒxˆjÐ1°&°¸¼e¸WÀCÌÀvÈXÔV`ÐUaÐaeÐfÔgå08õ V± u q¨1Ç'¸QÜ—g‘g—n‘n¤R§W¡W§\¡\´+À!ÀÀGÈAÈ3ÈcÐ?RÓ%SÔTð ��G˜A˜3˜cÒ"À'Ð"°€Gò VáÜÐJÈ7ÐSUÐTUÈ;È-ÐWZÐ[Ó\Ð\Ùˆ/­Ó2© A˜1˜Q›4¨Ñ2Ð3Ð4Ô5Ü‡J�J„LÜ×ÑÓ€Dß�ˆÜœ 4Ó(ˆÜ�7‰7�>‰>˜$ÔÙÐ" 4 &¨	°$°Ð8Ô9ØÜ˜d D¨&Ó1ˆÜ—W‘W—\‘\¤(¨JÓ7ˆ
Ü
�‰�J¨Õ.Ü”"—'‘'—,‘,˜z¨U°4°&¸Ð+=Ó>ÀÔEÈÜ�K‰K˜˜bÔ!÷ Få-4ÓC©W r¸¸d»
�b˜$˜r™(‘l¨Wˆ
ÐCÜ�Dœ( C¨¨JÔ7Ø�*Ø�;‰;˜&Ô Ü�J‰J×"Ñ"Ö$ð ô 6BÀ#ÀqÓ5IÑ2€Cˆˆb�"�b˜"˜f e¨UÜ
ò ÝðÙ"&ðÙ0<ðÙCOðä�)’ðá'*ðå6:ðáEOðñ ðõ #-ðô ?@Ð@QÒ>Rðô ”e¤$ÅÓ1IÁ¸1°!°A³$ÀÑ1IÕJð	ô
 �\’?ðñ
 1?ðô
 IJÈ)Êðô œ6¬¸ÀBÝ-4Ó5©W¨˜!˜S ™V™)¨WÑ5ÀÝ5<Ó=±W°˜q &¨¡)™|°WÑ=Ø %°Uõ<ðñ ðñ ð€Cô ‡K�K”—‘—‘¤Ó)°DÕ9Ü	Œh˜Ô	 Ü�	‰	�#�r !¬UÕ3÷ 
ä˜#˜s B¨¨F°E¸5ÓA€Eä�G‰G�L‰LœÐ/Ð1CÓD€Eà
1´%°¸¼T¸Fð Cà˜#�h˜e B s 8¨7°3°v±;¸sÑ3CÀCÐ2HÈÈ#ÈfÉ+ÐV[ÑJ\Ð]`ÐIað bØ�F‘˜CÑ  Ð% Q s¨6¡{°5Ñ'9¸#Ð&>ð ?Ø�[Ñ! #Ñ& sÐ+¨1¨S°Ñ-=¸eÑ-DÀSÐ,Ið J)Ü)/¨°ð	6ð ô 
ˆe�SÔ	˜RØ
�‰�Ô÷ 
à˜2˜c˜( %¨¨3 x¨w°s¸6±{À3Ñ7GÈÐ6LÈAÈcÐRXÉkÐZ_ÑN`ÐadÐMeð fØ˜Ñ% cÑ*¨3Ð/¨q°°[Ñ1AÀ%Ñ1HÈÐ0MÈSÐQVÐPWÐWYð[€Däˆv�tÔÙˆ&”�
˜% ˜wÐ'Ô(ÙˆÕùôoVùò 3÷ FÑEüâCùò 2Jùò 6ùÚ=÷
 
Ñ	ú÷ 
Ð	úsO   ÂA#T
ÄT
ÈTÈ?
T#É
T#ÌT(ÍT-Í(T2ÏT7ÒUÔT 	Ô7UÕUÚ__main__rÚ  )UÚ__doc__r1  r2   rî  r2  Útypesr   Únumpyr“   r‘   Útorch.nn.functionalr8  Ú
functionalr  rX   Údirect_classifierrQ   Úensemble_clf_nestedr/  Úensemble_clf_transformer_v2r–   Úensemble_clf_transformer_v4rÄ  Úeval_externalrè  rò  rñ   Úcommonr   r   r%  r   r   r   r	   r
   r   r   r   r   r   Ú	e1_switchr   Úrun_experimentr   r   rç  ri   r4   rs   rŽ   rŠ  r6   r  r  rë  rì  rj   r®   rÉ  rÈ  rW   rÚ   Úenvironrâ   r4  r5  r–  r<   r\   rk   r€   r§   r<  r¿   rÐ   rÝ   r  r]  r·  rÑ  r  r  r7  Ú__name__rZ   r[   r;   Ú<module>rH     sÛ  ðñó Û 	Û Û Ý !ã Û ß Ð ã Û Û Û 'Û (Û Û ß  ß P× PÑ Pß %Ñ %Ý 'ß 0à6€ð	/€à�g‰g�l‰l˜3 ¨-Ó8€Ø�7‰7�<‰<˜˜X ~Ó6€Ø�7‰7�<‰<˜˜]Ð,CÓD€Ø�7‰7�<‰<˜˜Y¨8¨*°EÐ(:Ó;€Ø	�‰�‰�cÐ,¨oÓ	>€Ø
�'‰'�,‰,�s˜I zÓ
2€Ø
�'‰'�,‰,�s˜HÐ&DÓ
E€Ø€ð€ð �€ˆØ€
Ùˆb�j‰j�n‰n˜Z¨Ó/Ó0€ÙˆR�Z‰Z�^‰^˜I uÓ-Ó.€Ø
�*‰*€òò	Hòócò 'ð  €‡�ƒòó ðò0ò0/$òd'ò6òr@!òFò2t:òn.òb?ðD ˆzÒÙ…Fð r[   