Ë
    h2ãj¦w  ã                  óœ  — d Z ddlmZ ddlZddlZddlZddlZddlmZ ddl	Z
ddlZddlmc mZ ddlZddlZddlZddlZddlZddlmZmZ ddlmZmZmZm Z m!Z!m"Z" ddlm#Z#m$Z$m%Z% ddl&m'Z' dd	l(m)Z)m*Z* d
Z+dZ,dZ-dZ.ej^                  ja                  edd«      Z1ej^                  ja                  ede+› d�«      Z2ej^                  ja                  edd«      Z3ej^                  ja                  edde,› d�«      Z4ej^                  ja                  edd«      Z5ej^                  ja                  edd«      Z6d\  Z7Z8dZ9 e:ejv                  jy                  dd«      «      Z= e:ejv                  jy                  dd«      «      Z> e:ejv                  jy                  dd«      «      Z? e:ejv                  jy                  dd «      «      Z@ eAejv                  jy                  d!d"«      «      ZBd#ZC e:ejv                  jy                  d$d«      «      ZDd%ZE G d&„ d'eF«      ZGd(„ ZHd)„ ZId*„ ZJd+„ ZKd6d,„ZLd7d-„ZMd.„ ZNd/„ ZO	 	 d8d0„ZPd9d1„ZQd2„ ZRd3„ ZSd4„ ZTeUd5k(  r eT«        yy):u}  Zero-init causal temporal MHSA residual after SPK-init vlaai_ws.

EEG+speech backbone remains SPK-remapped vlaai_ws; only add identity residual
attention on the post-block feature map:
  h = bb(x);  h' = h + MHSA_out_proj(LN(h))
with out_proj zero-init â‡’ identity @ step 0. SPK warm-start remaps bb.* â†’ bb.bb.*.

DISTINCT from: speech-resid-spk FiLM, SE/graph/channel-mask, Conformer full
replace, FIR/Morlet/FBCNet, stem ALiBi/RoPE, tip post-process.

Prep eaP_n5_t60, sw2, 10s Ã— 3 blocks. Swap+chance abort â‰¥0.685@50.
If learns: LODO5 + AASD/Carta Acc @0.994/0.8 (+hp30).

usage:
  GLIMPSE_THR=norm python temp_attn_spk_lodo.py
é    )ÚannotationsN)ÚSimpleNamespace)ÚDS_KEYSÚSEED)ÚCFGÚEXPÚFSÚ	fold_fileÚ
load_trialÚrows_of)ÚDÚDEVÚ_targets)Údraw_switch_times)Úload_externalÚlog_toz3direct_clf__eaP_n5_t60_w10b3_ptSPK_tempattn_aug-sw2z_w10b3_ptSPK_tempattn_aug-sw2Útemp_attn_spkz}/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/models/pretrain_spk_direct_clf_w10_b3_s0.ptÚexperimentsztemp_attn_spk_lodo.logÚresultsz.jsonÚresearchÚmodelsÚall5_direct_clfú.ptÚmulti_agent_optzresults_temp_attn_spk.md)g+‡ÙÎï?gš™™™™™é?g      $@Ú
MAX_EPOCHSÚ4Ú
MIN_EPOCHSÚBATCHÚ64ÚABORT_STEPSÚ50Ú
ABORT_LOSSz0.685é:   Ú
ATTN_HEADSg¤p=
×ÃJ@c                  ó   — e Zd ZdZy)ÚChanceStuckErroru4   Train loss stuck near chance â€” abort per protocol.N)Ú__name__Ú
__module__Ú__qualname__Ú__doc__© ó    ú-/root/disk_3tb/eeg-thao/temp_attn_spk_lodo.pyr&   r&   A   s   „ Ú>r,   r&   c           
     óJ  — ddl m}  ||«      }t        j                  |t        d¬«      }i }|j                  «       D ]'  \  }}|j                  d«      r||d|dd z   <   Œ#|||<   Œ) | j                  |d¬	«      \  }	}
 |d
|› dt        |	«      › dt        |
«      › d�«       |	|
fS )uJ   Map published DirectNet SPK weights into TempAttnVLAAI (bb.* â†’ bb.bb.*).r   )Úresolve_modelF©Úmap_locationÚweights_onlyzbb.zbb.bb.é   N©Ústrictu     SPKâ†’temp_attn_spk from z (strict=False; missing z unexpected Ú))	Ú
common_expr/   ÚtorchÚloadr   ÚitemsÚ
startswithÚload_state_dictÚlen)ÚnetÚ	init_pathÚlogr/   ÚpathÚsdÚmappedÚkÚvÚmissingÚ
unexpecteds              r-   Úload_spk_into_temp_attnrH   E   s¼   € å(Ù˜Ó#€DÜ	�‰�D¤s¸Ô	?€BØ€FØ—‘–
‰ˆˆ1Ø�<‰<˜ÔØ'(ˆF�8˜a  ˜eÑ#Ò$àˆF�1ŠIð	 ð
 ×-Ñ-¨f¸UÐ-ÓCÑ€GˆZÙÐ
% d VÐ+CÄCÈÃLÀ>ð RÜ˜*“oÐ& að	)ô *à�JÐÐr,   c                 óü  — t        t        t        z  «      t        _        t        j                  t        j
                  z
  t        j                  z
  t        j                  t        z
  ct        _        t        _        g d¢t        d<   i t        d   ¥t        d   d   ¥ddi¥t        d<   t        t        d	   «      t        d
<   dt        d<   dt        d<   dt        d<   t        t        d<   t        t        d<   dt        d<   dt        d<   t        t        d<   dt        d<   t        t        d<   dt        d<   t        t        j                   j#                  dd«      «      t        d<   t%        j&                  dgdg«       y ) N)ÚenvÚonsetÚdomÚtargetsÚdnn_augmentÚaug_variantsÚclusterÚclf_p_switch2ç      à?ÚaugmentÚseedÚ
train_seedr3   Úmodel_blocksç        Úmodel_dropouté@   Úmodel_kernelsÚmodel_n_rawÚmodel_headsÚmodel_attn_dropÚmodel_attn_dropoutÚ
max_epochséú   Ústeps_per_epochÚ
batch_sizeé   ÚpatienceÚVAL_WINDOWSÚ512Úval_windowszmodel_blocks=3zclf_p_switch2=0.5)ÚintÚWINDOW_Sr	   ÚDCÚWÚFUTÚHOPÚPOS0ÚLABr   r   ÚN_EEGr$   r   r   ÚosÚenvironÚgetÚdecodersÚapply_overridesr+   r,   r-   Ú	configurerv   V   s'  € ÜŒxœ"‰}Ó„B„DÜ—d‘dœRŸV™V‘m¤b§f¡fÑ,¬b¯d©d´R©i€O„B„GŒRŒVÚ*„A€i�LØa”c˜-Ñ(Ða¬C°Ñ,?À	Ñ,JÐaÈOÐ]`Ña„A€i�LÜœ#˜f™+Ó&„A€l�OØ„A€nÑØ„A€oÑØ„A€oÑÜ„A€mÑÜ!„A€mÑØ„AÐÑØ!„AÐÑÜ „A€l�OØ„AÐÑÜ„A€l�OØ„A€j�MÜœ2Ÿ:™:Ÿ>™>¨-¸Ó?Ó@„A€mÑÜ×ÑÐ.Ð/Ð2EÐ1FÕGr,   c            	     óF   — t        t        ddt        t        dt        ¬«      S )NrR   FÚ
eaP_n5_t60)ÚbackboneÚp_switchÚzero_eegÚ
min_epochsÚ	init_fromÚprepÚtag)r   ÚBACKBONEr   ÚINITÚTAGr+   r,   r-   Ú	namespacerƒ   k   s   € ÜÜ C°%ÄJÜ˜\¬sôð r,   c                óâ	  — t        j                  d«       t        «        t        j                  t
        dt        «      j                  t        «      j                  «       }t        j                  «       5  t        j                  dt        j                  t
        t        ¬«      }t        j                  dt        j                  dt        ¬«      }t        j                  dt        j                  dt        ¬«      }t        j                  ||gd¬«      } |||«      } |||j                  d«      «      }t        ||z   j!                  «       j#                  «       «      }|j%                  |||«      }	|j%                  |||«      }
t        |	|
z
  j!                  «       j#                  «       «      }|j%                  t        j&                  |«      ||«      }|j%                  t        j&                  |«      ||«      }t        ||z
  j!                  «       j#                  «       «      }t        |j(                  j*                  j,                  j.                  j!                  «       j1                  «       «      }|j(                  j*                  j,                  j2                  �Ot        |j(                  j*                  j,                  j2                  j!                  «       j1                  «       «      nd}t        j4                  |||gd	«      }|j)                  |«      }t7        |t8        t:        f«      r|d   n|}|j(                  j)                  |«      }t7        |t8        t:        f«      r|d   n|}t        ||z
  j!                  «       j1                  «       «      }ddd«       t=        d
„ |j?                  «       D «       «      }t=        d„ t;        |j(                  j@                  j?                  «       «      t;        |j(                  j*                  j?                  «       «      z   D «       «      } | d|› d|› dd›dd›dd›dd›dd›dd›dtB        › �«       ~t        jD                  dk(  rt         jF                  jI                  «        |dkD  rtK        d|› �«      ‚|dk  rtK        d|d›d�«      ‚|dkD  s|dkD  rtK        d|› d|› �«      ‚|dkD  rtK        d |› �«      ‚|||fS # 1 sw Y   �ŒOxY w)!uR   Speaker-order must change logit; zero out_proj â‡’ TempAttn.bb â‰¡ inner vlaai_ws.r   r3   é   ©Údeviceé   )ÚdimNrW   éÿÿÿÿc              3  ó<   K  — | ]  }|j                  «       –— Œ y ­w©N©Únumel©Ú.0Úps     r-   Ú	<genexpr>z*swap_and_identity_check.<locals>.<genexpr>Ž   ó   è ø€ Ð6Ñ%5 �!—'‘'—)Ñ%5ùó   ‚c              3  ó<   K  — | ]  }|j                  «       –— Œ y ­wrŒ   r�   r�   s     r-   r’   z*swap_and_identity_check.<locals>.<genexpr>�   s   è ø€ ð 3ñ %2˜q�—‘—ñ %2ùr”   zswap-test params z (temp_attn z) anti_err z.3ez swap_delta ú.4fz zero_eeg_delta z |out_proj| Ú+z bb_id_err ú heads=Úcudagñhãˆµøä>zantisymmetry broken: ç-Cëâ6?u   swap-deltaâ‰ˆ0 (r6   g:Œ0âŽyE>zzero-init out_proj broken: |w|=z |b|=z*zero-out_proj TempAttn.bb != inner vlaai: )&r8   Úmanual_seedrv   rj   Ú	DirectNetrp   r€   Útor   ÚevalÚno_gradÚrandnrk   ÚstackÚflipÚfloatÚabsÚmeanÚgÚ
zeros_likeÚbbÚattnÚout_projÚweightÚmaxÚbiasÚcatÚ
isinstanceÚtupleÚlistÚsumÚ
parametersÚlnr$   Útyper™   Úempty_cacheÚRuntimeError)r@   r>   ÚEÚAÚBÚS_abÚy_abÚy_baÚanti_errÚgabÚgbaÚdeltaÚgab0Úgba0Údelta0Úout_wÚout_bÚxÚy_wÚy_iÚid_errÚn_paramÚn_attns                          r-   Úswap_and_identity_checkrÍ   r   sí  € ä	×Ñ�aÔÜ„KÜ
�,‰,”u˜a¤Ó
*×
-Ñ
-¬cÓ
2×
7Ñ
7Ó
9€CÜ	�‰�Ü�K‰K˜œ2Ÿ4™4¤¬sÔ3ˆÜ�K‰K˜œ2Ÿ4™4 ¬3Ô/ˆÜ�K‰K˜œ2Ÿ4™4 ¬3Ô/ˆÜ�{‰{˜A˜q˜6 qÔ)ˆÙ�1�d‹|ˆÙ�1�d—i‘i “lÓ#ˆÜ˜$ ™+×*Ñ*Ó,×1Ñ1Ó3Ó4ˆØ�e‰e�A�q˜!‹nˆØ�e‰e�A�q˜!‹nˆÜ�s˜S‘y—o‘oÓ'×,Ñ,Ó.Ó/ˆØ�u‰u”U×%Ñ% aÓ(¨!¨QÓ/ˆØ�u‰u”U×%Ñ% aÓ(¨!¨QÓ/ˆÜ˜˜t™×(Ñ(Ó*×/Ñ/Ó1Ó2ˆÜ�c—f‘f—k‘k×*Ñ*×1Ñ1×5Ñ5Ó7×;Ñ;Ó=Ó>ˆØ@CÇÁÇÁ×@TÑ@T×@YÑ@YÐ@e”�c—f‘f—k‘k×*Ñ*×/Ñ/×3Ñ3Ó5×9Ñ9Ó;Ô<Ðknˆä�I‰I�q˜!˜Q�i Ó$ˆØ�f‰f�Q‹iˆÜ" 3¬´¨Ô6ˆc�!Šf¸CˆØ�f‰f�i‰i˜‹lˆÜ" 3¬´¨Ô6ˆc�!Šf¸CˆÜ˜˜c™	—‘Ó(×,Ñ,Ó.Ó/ˆ÷- 
ô. Ñ6 S§^¡^Ô%5Ó6Ó6€GÜñ 3¤D¨¯©¯©×)=Ñ)=Ó)?Ó$@Ü˜Ÿ™Ÿ™×.Ñ.Ó0Ó1ò%2ó 3ó 3€FáÐ
˜G˜9 L°°¸ÀHÈSÀ>ð RØ˜C�[Ð 0°¸°¸LÈÈsÈÐSTÐUZÐ[^ÐT_ð `Ø˜C�L ¬
 |ð	5ô 6ð 	Ü
‡x�x�6ÒÜ�
‰
×ÑÔ Ø�$‚ÜÐ2°8°*Ð=Ó>Ð>Øˆt‚|ÜÐ-¨e°C¨[¸Ð:Ó;Ð;Øˆt‚|�u˜t’|ÜÐ<¸U¸GÀ5ÈÈÐPÓQÐQØ�‚}ÜÐGÈÀxÐPÓQÐQØ�&˜(Ð"Ð"÷Q 
‰ús   Á4L#S$Ó$S.c                óò  — | d   d   j                   d   }t        j                  dt        d   «      }t	        j
                  |«       t        j                  t        ||j                  «      j                  t        «      }|j                  rt        ||j                  |«       t        d„ |j                  «       D «       «      }t        d„ |j                  «       D «       «      }	 |d|› d	|	› d
|j                  › dt        d   › dt         › �
«       t"        j$                  j'                  t"        j$                  «      }
t        j(                  t        j*                  t        j,                  t        f\  |
_        |
_        |
_        |
_        t4        j6                  j9                  |«      }t        j:                  |t        d   |d |j<                  |j>                  «      \  }}}t        j@                  jC                  |j                  «       D �cg c]  }|jD                  sŒ|‘Œ c}t        d   t        d   ¬«      }t        j@                  jF                  jI                  |ddt        d   ¬«      }t4        jJ                  dd }}}g }d}tM        t        d   «      D �]4  }tO        jN                  «       g }}|jQ                  «        tM        t        d   «      D �]œ  }t        j:                  | t        d   ||
|j<                  |j>                  «      D �cg c]  }|j                  t        «      ‘Œ c}\  }}}tS        jT                   |||«      |«      }|jW                  «        |jY                  «        t        jZ                  j\                  j_                  |j                  «       d«       |ja                  «        tc        |je                  «       «      } |jg                  | «       |dz  }|s�Œ|th        k  s�Œ!|jg                  | «       |th        k(  s�Œ=tc        t5        jj                  |«      «      }! |dth        › d|!d›dtl        › d�«       |!tl        k\  s�Œ�to        d|!d›d tl        › d!th        › d"�«      ‚ |jq                  «        t	        jr                  «       5  t	        jt                  tM        dtw        |«      d#«      D �"cg c]K  }" |||"|"d#z    j                  t        «      ||"|"d#z    j                  t        «      «      jy                  «       ‘ŒM c}"«      } d d d «       tc        tS        jT                   |«      «      }#tc        | dkD  jc                  «       |k(  jc                  «       jk                  «       «      }$||jz                  k\  r|ja                  |#«       t	        jr                  «       5  tc        |j|                  j~                  j€                  j‚                  je                  «       j…                  «       «      }%d d d «        |d$|d%›d&t5        jj                  |«      d›d'|#d›d(|$d)›d*%d›d+tO        jN                  «       |z
  d,›d-�«       |#|d.z
  k  rS|#d|j‡                  «       j‰                  «       D �&�'ci c]$  \  }&}'|&|'je                  «       j‹                  «       “Œ& }}&}'}}�Œ||jz                  k\  s�Œ"|dz  }|t        d/   k\  s�Œ5 n |€M|j‡                  «       j‰                  «       D �&�'ci c]$  \  }&}'|&|'je                  «       j‹                  «       “Œ& }}&}'|j�                  |«       |jq                  «        ||fS c c}w c c}w c c}"w # 1 sw Y   �Œ>xY w# 1 sw Y   �ŒexY wc c}'}&w c c}'}&w )0Nr   Ú_SrŠ   rU   rT   c              3  ó<   K  — | ]  }|j                  «       –— Œ y ­wrŒ   r�   r�   s     r-   r’   zfit_net.<locals>.<genexpr>©   r“   r”   c              3  óV   K  — | ]!  }|j                   sŒ|j                  «       –— Œ# y ­wrŒ   )Úrequires_gradrŽ   r�   s     r-   r’   zfit_net.<locals>.<genexpr>ª   s   è ø€ ÐIÑ%5 ¸¿»�!—'‘'—)Ñ%5ùs   ‚)”)z  TempAttn-VLAAI params z (trainable z) backbone=z batch rb   r˜   rg   ÚlrÚweight_decay)rÓ   rÔ   ÚminrR   Úlr_patience)ÚmodeÚfactorrd   r_   ra   g      @é   z    chance-probe step z mean_loss r–   z (abort if >=r6   zABORT_CHANCE: mean loss z >= z after z steps (near chance)é   z
    epoch Ú02dz train z	 val BCE z acc ú.3fz ||out_proj|| ú (ú.0fzs)rš   rd   )GÚshaper   rs   r   r8   r›   rj   rœ   rp   ry   r�   r   r}   rH   r²   r³   r$   rt   ÚDNNDecÚ__new__rk   rl   rm   ÚfutÚhopÚCÚnpÚrandomÚdefault_rngÚwindowsrz   r{   ÚoptimÚAdamWrÒ   Úlr_schedulerÚReduceLROnPlateauÚinfÚrangeÚtimeÚtrainÚFÚ binary_cross_entropy_with_logitsÚ	zero_gradÚbackwardÚnnÚutilsÚclip_grad_norm_Ústepr£   ÚdetachÚappendr    r¥   r"   r&   rž   rŸ   r®   r=   Úcpur|   r¨   r©   rª   r«   ÚnormÚ
state_dictr:   Úcloner<   )(rð   Úvalr@   ÚaÚcheck_chanceÚFsrT   r>   rË   Ún_trainÚaugÚrsÚXvÚSvÚyvr‘   ÚoptÚschÚbestÚbadÚstateÚearlyÚglobal_stepÚepÚt1ÚtlÚ_ÚzÚXÚS_ÚyÚlossÚlvÚmean50ÚiÚvlÚvaÚonormrD   rE   s(                                           r-   Úfit_netr  ¢   s  € Ø	ˆq‰�$‰×	Ñ	˜bÑ	!€BÜ�5‰5�œs 6™{Ó+€DÜ	×Ñ�dÔÜ
�,‰,”u˜b !§*¡*Ó
-×
0Ñ
0´Ó
5€CØ‡{‚{Ü  Q§[¡[°#Ô6ÜÑ6 S§^¡^Ô%5Ó6Ó6€GÜÑI S§^¡^Ô%5ÓIÓI€GÙÐ
" 7 )¨<¸°yð AØ—J‘J�<˜w¤q¨¡Ð&7°w¼z¸lð	Lô Mä
�/‰/×
!Ñ
!¤(§/¡/Ó
2€CÜ%'§T¡T¬2¯6©6´2·6±6¼5Ð%@Ñ"€C„Eˆ3Œ7�C”G˜SœUÜ	�‰×	Ñ	˜tÓ	$€BÜ—‘˜C¤ =Ñ!1°2°t¸Q¿Z¹ZÈÏÉÓT�J€BˆˆBÜ
�+‰+×
Ñ
Ø—N‘NÔ$Ó8Ñ$ˆq¨¯«ŠÐ$Ñ8ÜˆT‰7¤ >Ñ!2ð ó 4€Cô �+‰+×
"Ñ
"×
4Ñ
4Ø�% ¬a°Ñ.>ð 5ó @€Cä—v‘v˜q $ˆuˆ#€DØ€EØ€KÜ”A�l‘O×$ˆÜ—‘“˜bˆBˆØ�	‰	ŒÜ”qÐ*Ñ+×,ˆAÜ+-¯:©:Ø”q˜‘¨¨C°·±¸Q¿Z¹Zô,Ió Jñ ,I a˜Ÿ™œS�	ð ,Iñ J‰HˆAˆr�1ä×5Ñ5±c¸!¸R³jÀ!ÓDˆDØ�M‰MŒOØ�M‰MŒOÜ�H‰H�N‰N×*Ñ*¨3¯>©>Ó+;¸SÔAØ�H‰HŒJÜ�t—{‘{“}Ó%ˆBØ�I‰I�bŒMØ˜1ÑˆKÛ ¬{Ô :Ø—‘˜RÔ Ø¤+Ô-Ü"¤2§7¡7¨5£>Ó2�FÙÐ0´°¸[ÈÐPSÈð U'Ü'1 l°!ð5ô 6à¤Ô+Ü.Ø6°v¸c°lÀ$ÄzÀlÐRYÜ*˜mÐ+?ðAóBð Bð% -ð* 	�‰Œ
Ü�]‰]�_Ü—‘ä˜q¤# b£'¨3Ô/ó1á/�Añ �B�q˜˜S™�M×$Ñ$¤SÓ)¨2¨a°°C±¨=×+;Ñ+;¼CÓ+@ÓA×EÑEÕGØ/ñ1ó 2ˆB÷ ô ”1×5Ñ5°b¸"Ó=Ó>ˆÜ�R˜!‘V—N‘NÓ$¨Ñ*×1Ñ1Ó3×8Ñ8Ó:Ó;ˆØ�—‘ÒØ�H‰H�RŒLÜ�]‰]�_Ü˜#Ÿ&™&Ÿ+™+×.Ñ.×5Ñ5×<Ñ<Ó>×CÑCÓEÓFˆE÷ áˆj˜˜C˜ ¬¯©°«°CÐ'8¸	À"ÀSÀÈÈrÐRUÈhð WØ! #˜; b¬¯©«°rÑ)9¸#Ð(>¸bðBô 	Cà��t‘ÒØ! 1ÈÏÉÓIY×I_ÑI_ÔIaÔ&bÑIaÁÀÀA q¨!¯(©(«*×*:Ñ*:Ó*<Ñ'<ÐIa�uÑ&b�#ŠDØ�1—<‘<ÔØ�1‰HˆCØ”a˜
‘mÔ#ÙðU %ðV €}Ø36·>±>Ó3C×3IÑ3IÔ3KÔLÑ3K©4¨1¨a��A—H‘H“J×$Ñ$Ó&Ñ&Ð3KˆÑLØ×Ñ˜ÔØ‡H�H„JØ�ˆ9Ðùòm 	9ùòJùò,1÷ ‰_ú÷ ‰_üó
 'cùó MsJ   È]È]Ì]	Ò(]Ó A]Ô]Ö-A] Ù9)]-Û3)]3Ý]Ý]	Ý ]*	c                óà  — t         j                  j                  t        d   t	        j
                  | «      z   «      }g g }}t        D ]�  }|| k(  rŒ	t        |«      }	|j                  t        |	j                  j                  «       «      «      }
|	j                  «       D ]7  \  }}|d   |
k(  r|n|j                  t        |j                  |d   «      «       Œ9 Œ‘ |t        dg|j                  |«      z  }||z   D ]  }t!        |«      |d<   Œ  |d| › dt#        |«      › dt#        |«      › d	|rd
nd› �«       t%        j$                  «       }t'        |||||¬«      \  }}t%        j$                  «       |z
  }~~t)        j*                  t,        d¬«       t(        j.                  j1                  t,        d| › d�«      }t3        j4                  |j7                  «       |«        |d|› �«       t         j                  j                  t8        t	        j
                  | «      z   «      }i dD �ci c]  }|i “Œ }}}t        | «      j                  «       D �]Ÿ  \  }}t        |j                  |d   «      }t!        |«      |d   |d   j;                  t<        «      t=        |d   «      f\  }}}}t?        ||dz  «      }|jA                  dd«       t        jB                  |tD        «      dd}}}|D ]0  }tG        |dz
  t=        tI        |dz  «      «      «      } ||||  | | }}Œ2 |||d  |t        jJ                  |dz
  t        jH                  t        jL                  t#        |«      «      tN        z  |d   z   dz  «      j;                  t<        «      «         }!t        jP                  |!d d …d d f   |d d …d d d…f   |«      }"tS        jT                  |||"«      \  }#}$||!z  t        jV                  |$tR        jX                  z
  d«         }%t#        |#«      dz  }&t[        |#dz  |# dz  |%j;                  t         j\                  «      |$tN        z  |d   z   j;                  t         j^                  «      |#d |&dz   ja                  |&d«      jc                  d«      dz  |#d |&dz   ja                  |&d«      jc                  d«       dz  |%d |&dz   ja                  |&d«      jc                  d«      dkD  j;                  t         j\                  «      d¬«      ||d   <   |je                  «       }'d |'d d …tR        jf                  f<   d!|fd"t        jh                  |«      fd#t        jj                  |t#        |«      dz  d«      fd$|'ffD ]y  \  }(})tS        jT                  ||)|d%¬&«      \  }*}+||(   jm                  |d'   g «      j                  |*dkD  |t        jV                  |+tR        jX                  z
  d«         dk(  k(  «       Œ{ �Œ¢ |jo                  «       D ��,�-ci c]Ï  \  }},|t[        tq        t        jb                  t        jr                  |,ju                  «       D �-cg c]  }-t        jr                  |-«      ‘Œ c}-«      «      «      tq        t        jv                  |,ju                  «       D �-cg c]*  }-t        jb                  t        jr                  |-«      «      ‘Œ, c}-«      «      ¬(«      “ŒÑ }.},}}-t[        d)|j                  | |t%        j$                  «       |z
  tR        jx                  tR        jX                  z   tN        z  |tz        t|        t~        |.¬*«      }/dd+l@mA}0  |0t[        d,|i|/¬-«      t…        || «      «        |d| › d.|/d/   d0›d1|d2›d3�d4j1                  d5„ |.jo                  «       D «       «      z   «       ~t†        jˆ                  d6k(  rt2        jŠ                  j�                  «        y y c c}w c c}-w c c}-w c c}-},}w )7NrT   ÚsubjectÚkeyÚFuglsang2020rÏ   ú  fold held-out=ú: z	 train / z val chance_probe=ÚonÚoff©r  T©Úexist_okzheld-r   ú  saved )Únormalr{   Ú	shift_eegÚ
no_frontalÚeegÚattÚné€   r   rˆ   FrÙ   Út0rŠ   é(   rR   )Úr0Úr1r0  Út_endÚr0_10Úr1_10Úatt10Úpre_switchedrW   r,  r{   r-  r.  é   )rø   Úsubj_uid)ÚpooledÚsubject_medianÚ
direct_clf)Údecoderr~   Úheld_outÚfit_sÚtotal_sÚlookahead_sÚbest_valÚchannelsry   Ú
attn_headsÚcontrols)Úsave_pickleÚcausal)ÚevidenceÚinfoz	 done in rD  rÞ   zs best_val r–   Ú z  c              3  ó8   K  — | ]  \  }}|› d |d   d›�–— Œ y­w)rN  r>  rÜ   Nr+   )r�   rD   rE   s      r-   r’   zrun_fold.<locals>.<genexpr>.  s)   è ø€ ÐJÑ9I±°°A�q�c˜˜1˜X™; sÐ+Ô,Ñ9Iùs   ‚r™   )Grå   ræ   rç   r   r   Úindexr   ÚchoiceÚsortedr!  ÚuniqueÚiterrowsrú   r   r~   r   r   r=   rï   r  rq   ÚmakedirsÚCKPT_DIRrA   Újoinr8   Úsaverý   r   Úastyperh   r   ÚintegersÚzerosÚboolrÕ   ÚroundÚminimumÚaranger	   Úwhererj   ÚlogitsÚmaximumrm   ÚdictÚint8Úfloat32Úreshaper¥   ÚcopyÚFRONTALr§   ÚrollÚ
setdefaultr:   r£   ÚconcatenateÚvaluesÚmedianrl   rp   r€   r$   r7   rJ  r
   r   rµ   r™   r¶   )1ÚheldÚexpr@   r   r  Úrngrð   rÿ   ÚdsÚrowsÚvsr  ÚrÚtrr3  r>   r  Út_fitÚckptÚsrngrD   ÚevÚctlÚSfeatrÇ   r0  ÚT128ÚtimesÚst128ÚcurÚprevÚttÚs0ÚstÚSswÚlgÚstartsÚtruthÚn10ÚxfÚnameÚxcÚl1Ús1ÚdrE   rI  rM  rJ  s1                                                    r-   Úrun_foldr�  ë   sâ  € Ü
�)‰)×
Ñ
¤ F¡¬g¯m©m¸DÓ.AÑ AÓ
B€CØ�Rˆ3€EßˆØ�Š:ØÜ�r‹{ˆØ�Z‰Zœ˜tŸ|™|×2Ñ2Ó4Ó5Ó6ˆØ—M‘M–O‰DˆAˆqØ�i‘L BÒ&‰S¨E×9Ñ9¼*ÀQÇVÁVÈQÈuÉXÓ:VÕWñ $ð ð 
Œ]˜NÐ+¨Q¯V©V°SÓ9Ñ9€EØ�cŒkˆÜ˜B“<ˆˆ4Šð áÐ
˜4˜& ¤3 u£: ,¨i¼¸C»°zð BÙ ,™°%Ð8ð	:ô ;ä	�‰‹€BÜ˜˜s C¨¸ÔF�I€CˆÜ�I‰I‹K˜"Ñ€EØˆsÜ‡K�K” 4Õ(Ü�7‰7�<‰<œ E¨$¨¨sÐ"3Ó4€DÜ	‡J�Jˆs�~‰~Ó Ô&Ùˆ(�4�&ÐÔÜ�9‰9× Ñ ¤¬¯©°dÓ(;Ñ!;Ó<€DØÑ"SÓTÑ"S˜Q�1�b‘5Ð"SˆÐT€BÜ˜“×&Ñ&×(‰ˆˆ1Ü˜Ÿ™  %¡Ó)ˆÜ& r›l¨B¨u©I°r¸%±y×7GÑ7GÌÓ7LÌcÐRSÐTWÑRXËkÐYÑˆˆq�#�tÜ! $¨¨s©
Ó3ˆØ�‰�a˜ÔÜŸ8™8 D¬$Ó/°¸�DˆsˆÛˆBÜ�T˜A‘Xœs¤5¨¨c©£?Ó3Ó4ˆBØ ˆE�$�rˆNØ˜ �‰Cð ð ˆˆdˆeˆØ”2—:‘:Ø�1‰H”b—h‘h¤§	¡	¬#¨a«&Ó 1´BÑ 6¸¸D¹Ñ AÀSÑHÓI×PÑPÔQTÓUóWñ Xˆä�h‰h�rš!˜T 4˜-Ñ(¨%²±4°R°4°©.¸%Ó@ˆÜ—Y‘Y˜s A sÓ+‰
ˆˆFØ�r‘œ2Ÿ:™: f¬r¯v©v¡o°qÓ9Ñ:ˆÜ�"‹g˜‰mˆÜØ�A‰v˜2˜# ™' u§|¡|´B·G±GÓ'<ØœB‘;  D¡Ñ)×1Ñ1´"·*±*Ó=Ø�Y�c˜B‘h�-×'Ñ'¨¨RÓ0×5Ñ5°aÓ8¸1Ñ<Ø�i�s˜R‘x�=×(Ñ(¨¨bÓ1×6Ñ6°qÓ9Ð9¸AÑ=Ø˜˜# ™(Ð#×+Ñ+¨C°Ó4×9Ñ9¸!Ó<¸sÑB×JÑJÌ2Ï7É7ÓSØôˆˆ1ˆU‰8‰ð �V‰V‹XˆØˆŠ1Œb�j‰jˆ=ÑØ" A˜¨´R·]±]À1Ó5EÐ(FØ%¤r§w¡w¨q´#°a³&¸A±+¸qÓ'AÐBÀ\ÐSUÐDVóX‰HˆD�"ä—Y‘Y˜s B¨°AÔ6‰FˆB�Ø�‰I× Ñ   :¡°Ó3×:Ñ:Ø�a‘˜S¤§¡¨B´·±©K¸Ó!;Ñ<ÀÑAÑBõDòXð5 )ðD —I‘I”Kõ!ñ  ‰DˆAˆqð 	
Œ4”uœRŸW™W¤R§^¡^ÐPQ×PXÑPXÔPZÓ4[ÑPZÈ1´R·^±^ÀAÕ5FÐPZÑ4[Ó%\Ó]Ó^Ü$¤R§Y¡YÐTU×T\ÑT\ÔT^Ó/_ÑT^Èq´·±¼¿¹ÀqÓ8IÕ0JÐT^Ñ/_Ó%`Óaôcñ 	càð ò !ô ˜¨1¯6©6¸DÈÜŸ	™	› bÑ(´r·v±vÄÇÁ±Ì"Ñ6LØ¬¼Ü%°ô:€Dõ 'Ù”˜x¨˜n°4Ô8¼)ÀCÈÓ:NÔOÙÐ
˜4˜& 	¨$¨y©/¸#Ð)>¸kÈ$ÈsÈÐSTÐUØ
�)‰)ÑJ¸¿¹Ô9IÓJÓ
Jñ	Kô LàÜ
‡x�x�6ÒÜ�
‰
×ÑÕ ð ùò[ UùòB 5\ùÚ/_ùô!s+   È&
_ØA_)Ù_ Ù"4_)Ú/_$Û_)ß
_)c                óÌ  — i }t         D ]Ø  }i ||<   | |   j                  «       D ]»  \  }}|d   |d   z
  j                  t        j                  «      }t        j                  |d d …d f   dd¬«      d d …df   }t        |«      ||   |<   |dz  j                  t        j                  «      ||   |   d<   | dz  j                  t        j                  «      ||   |   d<   Œ½ ŒÚ i }	t         D ]æ  }t        j                  t         D �
�cg c]H  }
|
|k7  rA||
   j                  «       D ]+  }|d   |d   z
  t        j                  |d   dk(  d	d
«      z  ‘Œ- ŒJ c}}
«      }t        |j                  «       «      t        |j                  «       «      }}t        j                   |||||t"        z  ft$        ¬«      }||	|<    |d|› d|d   d›d|d   d›�«       Œè t        t        j                  t         D �
cg c]
  }
|	|
   d   ‘Œ c}
«      «      }t        t        j                  t         D �
cg c]
  }
|	|
   d   ‘Œ c}
«      «      } |d|d›d|d›�«       |	||fS c c}}
w c c}
w c c}
w )Nr5  r6  ç      >@ç      Ð?©Útaurã   r   rˆ   r0  ç      ð?ç      ð¿©ÚemisÚp_stayz  HP30 LODO ú  H ÚHr–   ú  Acc ÚAccú.2fz  HP30 LODO MEAN  H )r   r:   rY  rå   Úfloat64ÚV4Úhighpassrc  re  rk  rl  r`  r£   r¥   ÚstdÚSÚscore_datasetÚSCALEÚP_STAY)ry  Úlar@   Úhp_evrq  r"  ÚeÚsignedÚhpÚperrŽ  r¹   ÚmurB   rt  ÚmHÚmAs                    r-   Ú
score_hp30r°  4  sI  € Ø€EßˆØˆˆb‰	Ø˜‘f—l‘l–n‰FˆC�Ø˜‘g  $¡Ñ'×/Ñ/´·
±
Ó;ˆFÜ—‘˜V¢A t G™_°$¸DÔAÂ!ÀQÀ$ÑGˆBÜ! !›WˆE�"‰I�c‰NØ$&¨¡F§?¡?´2·:±:Ó#>ˆE�"‰I�c‰N˜4Ñ Ø%' C¨!¡G×#3Ñ#3´B·J±JÓ#?ˆE�"‰I�c‰N˜4Ò ñ %ð ð €CßˆÜ�N‰NÝ%,ôTÙ%, °°R²ÀÀqÁÇÁÖAR¸Að ˜t™W q¨¡wÑ.´"·(±(¸1¸U¹8Àq¹=È#ÈtÓ2TÓTØARð UØ%,òTó Uˆä�q—v‘v“x“¤%¨¯©«£.ˆBˆÜ�O‰O˜B  r°°R¼%±ZÐ0@ÌÔPˆØˆˆB‰Ùˆl˜2˜$˜d 1 S¡6¨# ,¨f°Q°u±X¸c°NÐCÕDð ô 
Œr�w‰w­WÓ5©W¨˜˜A™˜s›¨WÑ5Ó6Ó	7€BÜ	Œr�w‰w­wÓ7©w¨!˜˜A™˜u›¨wÑ7Ó8Ó	9€BÙÐ
˜r #˜h f¨R°¨HÐ5Ô6Ø��Bˆ;ÐùóTùò 6ùÚ7s   ÄAIÇ1IÈ'I!c                óÄ  — t         j                  t         j                  z   t        z  }t	        j
                  t        d«      \  }}i }t        D ]ô  }t        j                  t        D ��cg c]H  }||k7  rA||   j                  «       D ]+  }|d   |d   z
  t        j                  |d   dk(  dd«      z  ‘Œ- ŒJ c}}«      }	t        |	j                  «       «      t        |	j                  «       «      }}
t	        j                  ||||
|t         z  ft"        ¬«      }|||<    | d	|› d
|d   d›d|d   d›d|d   d›d|d   d›�
«       Œö t        t        j                  t        D �cg c]
  }||   d   ‘Œ c}«      «      }t        t        j                  t        D �cg c]
  }||   d   ‘Œ c}«      «      } | d|d›d|d›�«       t%        ||| «      \  }}}t        j                  t        D ��cg c]C  }||   j                  «       D ]+  }|d   |d   z
  t        j                  |d   dk(  dd«      z  ‘Œ- ŒE c}}«      }	t        |	j                  «       «      t        |	j                  «       «      }}
 | d|
d›d|d›dt         › �«       t&        j(                  j+                  |j,                  t/        t0        d   «      ¬«       t3        j4                  t6        d¬«       t3        j4                  t2        j8                  j;                  t<        «      d¬«       dD �ci c]1  }|t2        j8                  j?                  t6        d|› t@        › d�«      “Œ3 }}tC        d „ |j                  «       D «       «      �rþt2        j8                  jE                  t<        «      r„t        jF                  tH        d!tJ        «      jM                  tN        «      }|jQ                  tS        jT                  t<        tN        d"¬#«      d"¬$«       |jW                  «         | d%t<        › �«       �nbt        jX                  j[                  t\        d&   d'z   «      }g g }}t        D ]‰  }t_        |«      }|ja                  tc        |jd                  jg                  «       «      «      }|ji                  «       D ]7  \  }}|d(   |k(  r|n|jk                  tm        |j,                  |d)   «      «       Œ9 Œ‹ |to        d*g|j,                  | «      z  }||z   D ]  }tq        |«      |d+<   Œ  | d,ts        |«      › d-ts        |«      › �«       tu        ||| |d"¬.«      \  }}tS        jv                  |jy                  «       t<        «        | d/t<        › d0|d›�«       ~~|j{                  «       D �]¯  \  }}t2        j8                  jE                  |«      rŒ'i }t'        j|                  |«      } | d1|› d2ts        |«      › d3�«       t        |«      D �]  \  }}t        j€                  ||d4   tq        |«      «      \  }} |d   jƒ                  t„        «      t        j†                  | t         j                  z
  d«         }!t‰        |d5z  | d5z  |!jƒ                  t        jŠ                  «      | t        z  |d6   z   jƒ                  t        jŒ                  «      |d7   |d8   |d(   ¬9«      ||d)   <   |d:z   d;z  dk(  s|d:z   ts        |«      k(  sŒù | d<|› d=|d:z   › d>ts        |«      › �«       �Œ t�        |d?«      5 }"t‘        j’                  ||"«       d d d «        | d@|› �«       �Œ² ~tN        j”                  dAk(  rtR        j–                  j™                  «        g }#t        D ]—  }||   j                  «       D ]  }|d   |d   z
  jƒ                  t        jš                  «      }$t�        jž                  |$d d …d f   dBdC¬D«      d d …df   }%|#jk                  |%t        j                  |d   dk(  dd«      z  «       Œ� Œ™ t        t        j                  |#«      j                  «       «      }&t        t        j                  |#«      j                  «       «      }'i }(|j{                  «       D �]¦  \  }}t�        |dE«      5 }"t‘        jT                  |"«      }d d d «       t'        j                   |
|t         z  t"        dF«      }i })|j{                  «       D ]²  \  }*}|d   |d   z
  jƒ                  t        jš                  «      }$t�        jž                  |$d d …d f   dBdC¬D«      d d …df   }%t‰        |«      |)|*<   |%d5z  jƒ                  t        jŒ                  «      |)|*   d<   |% d5z  jƒ                  t        jŒ                  «      |)|*   d<   Œ´ t'        j                   |)|&|'t         z  t"        dF«      }+t'        j¢                  |«      },t‰        i |¥dG|,dG   i¥|+¬H«      |(|<    | dI|› d
|d   d›dJ|d   d›dK|,dG   d›�«        | dL|› d
|+d   d›dJ|+d   d›�«       �Œ© ||(|
||||||f	S c c}}w c c}w c c}w c c}}w c c}w # 1 sw Y   �Œ&xY w# 1 sw Y   �Œ¶xY w)MNrK  r5  r6  r0  r   r•  r–  r—  z  PRESET LODO rš  r›  r–   rœ  r�  rž  z  L ÚLrÜ   z  SDT ÚSDTz  PRESET LODO MEAN  H z  external emissions mu z sd ú scale rM   )r~   rM   Tr)  )ÚAASDÚ	Carta2026Úext_clf_z_evidence.pklc              3  ó\   K  — | ]$  }t         j                  j                  |«       –— Œ& y ­wrŒ   )rq   rA   Úexistsr�   s     r-   r’   zscore_preset.<locals>.<genexpr>f  s#   è ø€ Ð
<Ñ*; QŒr�w‰w�~‰~˜aÓ Ô Ñ*;ùs   ‚*,r3   Fr0   r4   z	  loaded rT   éc   r!  r"  r#  rÏ   z  all-5 train z / val r(  r+  z
 best val z  external r%  z trialsr/  rˆ   r3  Úatt128Ún128)r5  r6  r0  r7  r»  r¼  r!  rÙ   r4  z    rN  Ú/Úwbz  wrote r™   r‘  r’  r“  Úrbg      è?Úacc1)ÚrawÚhp30z  PRESET EXT ú Acc z acc1 z  PRESET EXT_hp30 )Rrj   rl   rm   r	   r£  Ú
load_foldsÚEXP_NAMEr   rå   rk  rl  r`  r£   r¥   r¢  r¤  r¥  r¦  r°  r¸   ÚCONFÚupdater~   r±   r   rq   rU  ÚEXT_DIRrA   ÚdirnameÚALL5_PTrW  r‚   Úanyr¹  rœ   rp   r€   r�   r   r<   r8   r9   rž   ræ   rç   r   r   rQ  rR  r!  rS  rT  rú   r   r   r   r=   r  rX  rý   r:   Ú
ext_trialsÚ	enumeratera  rY  rh   rb  rc  rd  re  ÚopenÚpickleÚdumprµ   r™   r¶   rŸ  r   r¡  ÚscoreÚplain)-r@   r   r§  ry  r  r¬  rq  rŽ  r©  r¹   r­  rB   rt  r®  r¯  Úhp_perÚhp_mHÚhp_mAÚev_pathsr>   rp  rð   rÿ   rr  rs  ru  r  rA   ÚEVÚtrialsr  r…  r†  r‡  ÚfhÚhp_partsrª  r«  Úmu_hpÚsd_hpÚextÚEV_hpr"  Úr_hprÒ  s-                                                r-   Úscore_presetrà  L  s	  € Ü
�&‰&”2—6‘6‰/œRÑ	€BÜ�L‰Lœ 8Ó,�E€BˆØ
€CßˆÜ�N‰NÝ%,ôQÙ%, °°R²ÀÀAÁÇÁÆ¸Að ˜t™W q¨¡wÑ.´"·(±(¸1¸U¹8Àq¹=È#ÈtÓ2TÓTØAOð UØ%,òQó Rˆä�q—v‘v“x“¤%¨¯©«£.ˆBˆÜ�O‰O˜B  B¨b°"´u±*Ð-=ÄfÔMˆØˆˆB‰Ùˆn˜R˜D  Q s¡V¨C L°°q¸±xÀ°nð EØ�3‘˜�˜F 1 U¡8¨C .ð2õ 	3ð ô 
Œr�w‰w­WÓ5©W¨˜˜A™˜s›¨WÑ5Ó6Ó	7€BÜ	Œr�w‰w­wÓ7©w¨!˜˜A™˜u›¨wÑ7Ó8Ó	9€BÙÐ
   C ¨¨r°#¨hÐ7Ô8Ü% b¨"¨cÓ2Ñ€FˆE�5ä
�‰Ý")ôDÙ")˜B°2°b±6·=±=¶?¨að ˜4™ 1 T¡7Ñ*¬b¯h©h°q¸±xÀ1±}ÀcÈ4Ó.PÓPØ3Bð QØ")òDó 	E€Aä�1—6‘6“8‹_œe A§E¡E£G›nˆ€BÙÐ
" 2 c (¨$¨r°#¨h°g¼e¸WÐEÔFÜ‡F�F‡M�M�q—v‘v¤t¬A¨i©LÓ'9€MÔ:Ü‡K�K” $Õ'Ü‡K�K”—‘—‘¤Ó(°4Õ8á/ó1Ù/�Bð ”B—G‘G—L‘L¤¨H°R°D¼¸¸]Ð*KÓLÑLØ/ð ð 1ä
Ñ
<¨(¯/©/Ô*;Ó
<Õ<Ü�7‰7�>‰>œ'Ô"Ü—,‘,œu a¬Ó2×5Ñ5´cÓ:ˆCØ×Ñ¤§
¡
¬7ÄÐSXÔ YØ',ð  ô .à�H‰HŒJÙ�)œG˜9Ð%Ö&ä—)‘)×'Ñ'¬¨F©°bÑ(8Ó9ˆCØ˜R�3ˆEß�Ü˜r“{�Ø—Z‘Z¤ t§|¡|×':Ñ':Ó'<Ó =Ó>�Ø ŸM™MžO‘D�A�qØ˜i™L¨BÒ.‘S°E×AÑAÄ*ÈQÏVÉVÐUVÐW\ÑU]ÓB^Õ_ñ ,ð ð
 ”] NÐ#3°Q·V±V¸SÓAÑAˆEØ˜c”k�Ü# B›<��4’ð "á�.¤ U£ ¨G´C¸³H°:Ð>Ô?Ü  s¨C°ÀÔG‰IˆC�Ü�J‰J�s—~‘~Ó'¬Ô1Ù�(œ7˜) :¨d°3¨ZÐ8Ô9Ø�sØ Ÿ™×(‰HˆB�Ü�w‰w�~‰~˜dÔ#ØØˆBÜ—\‘\ "Ó%ˆFÙ�+˜b˜T ¤C¨£K =°Ð8Ô9Ü" 6×*‘��2ÜŸY™Y s¨B¨u©I´xÀ³|ÓD‘
��FØ˜5™	×(Ñ(¬Ó-¬b¯j©j¸Ä"Ç&Á&¹È!Ó.LÑM�Ü $Ø˜A‘v 2 #¨¡'¨u¯|©|¼B¿G¹GÓ/DØ!¤B™;¨¨D©Ñ1×9Ñ9¼"¿*¹*ÓEØ˜h™<¨b°©jÀ"ÀYÁ-ô!Q��2�e‘9‘ð ˜‘E˜R‘< 1Ò$¨¨A©´°V³Ó(<Ù˜$˜r˜d ! A¨¡E 7¨!¬C°«K¨=Ð9Ö:ð +ô �d˜DÔ! RÜ—‘˜B Ô#÷ "á�(˜4˜&Ð!Ö"ð# )ð$ Ü�8‰8�vÒÜ�J‰J×"Ñ"Ô$à€HßˆØ�B‘—‘–ˆAØ˜‘g  $¡Ñ'×/Ñ/´·
±
Ó;ˆFÜ—‘˜V¢A t G™_°$¸DÔAÂ!ÀQÀ$ÑGˆBØ�O‰O˜B¤§¡¨!¨E©(°a©-¸¸dÓ!CÑCÕDñ !ð ô
 ”"—.‘. Ó*×/Ñ/Ó1Ó2€EÜ”"—.‘. Ó*×.Ñ.Ó0Ó1€Eà
€CØ—N‘N×$‰ˆˆDÜ�$˜Ô Ü—‘˜R“ˆB÷ ä�G‰G�B˜˜B¤™J¬°Ó5ˆØˆØ—h‘h–j‰FˆC�Ø˜‘g  $¡Ñ'×/Ñ/´·
±
Ó;ˆFÜ—‘˜V¢A t G™_°$¸DÔAÂ!ÀQÀ$ÑGˆBÜ˜a›ˆE�#‰JØ " Q¡Ÿ™¬r¯z©zÓ:ˆE�#‰J�tÑØ!#  a¡×/Ñ/´·
±
Ó;ˆE�#‰J�tÒð !ô �w‰w�u˜e U¬U¡]´F¸DÓAˆÜ—‘˜“ˆÜÐ7˜aÐ7 ¨¨v©Ñ7¸dÔCˆˆB‰Ùˆm˜B˜4˜t A c¡F¨3 <¨u°Q°u±X¸c°NÀ&ÈÈvÉÐWZÐH[Ð\Ô]ÙÐ    D¨¨c©°3¨°u¸TÀ%¹[ÈÐ<MÐNÖOð %ð  ��R˜˜R  V¨U°EÐ9Ð9ùóyQùò 6ùÚ7ùóDùò1÷P "Ñ!ú÷$ Ñús8   Á)Ah-Å!h3Æh8Ç*Ah=
Ì6iÜiâiéi	éi	c
                óê  — t        dd¬«      }
t        d¬«      }t        d¬«      }t        }ddd	d
t        › d�dd|d›dt        › dt        › dt
        › dt        › d�ddt        › dt        › d�dg	}|dk(  rB|d|	› �dddddgz  }t        t        d«      j                  dj                  |«      «       t        S |g d¢z  }t        D ]K  }| |   ||   }}|j                  d|› d|d   d›d|d    d!›d|d   d›d"|d    d!›d#|
d$   d›d"|
d%   d!›d&�«       ŒM |d'|d›d(|d!›d(|d›d"|d!›d)|
d$   d›d"|
d%   d!›d*|d+   › d,|d+   › d&�dd-dd.d/d0|d1   d2   d   d›d|d1   d2   d    d!›d|d1   d3   d   d›d"|d1   d3   d    d!›d4|d1   d2   d    |z
  d5›d4|d1   d2   d    |d+   z
  d5›d4|d1   d2   d    |d+   z
  d5›d&�d6|d7   d2   d   d›d|d7   d2   d    d!›d|d7   d3   d   d›d"|d7   d3   d    d!›d8�	dd9dd:d;d<| d=   d   d>k\  r| d=   d    d?k\  rd@ndA› dB| d=   d   d›d"| d=   d    d!›dC�dD| dE   d   d>k\  rd@ndA› dB| dE   d   d›dC�dF|d1   d2   d    dGkD  r|d1   d2   d   dHkD  rd@ndA› dB|d1   d2   d   d›d"|d1   d2   d    d!›dI|d1   d3   d    d!›dC�	dJ|d1   d2   d    |z
  d5›dK|d1   d3   d    |z
  d5›dC�dL|d1   d2   d    dGkD  rdMndN› d&�ddddOdgz  }t        t        d«      j                  dj                  |«      «       t        S )PNg–!Žuqé?g)\�ÂõR@)Úmean_HÚmean_AccgìQ¸…KJ@)Úaasdg�Âõ(\oJ@z# results_temp_attn_spkÚ zK**Zero-init causal temporal MHSA residual after SPK-init vlaai_ws blocks**.zPre-norm MHSA (heads=uÿ   ) on post-VLAAI features; `out_proj` zero-init â‡’ identity @step 0. SPK remap `bb.*`â†’`bb.bb.*`. **NOT** speech FiLM; **NOT** SE/graph/channel-mask; **NOT** Conformer replace; **NOT** FIR/Morlet/FBCNet; **NOT** stem ALiBi/RoPE; **NOT** tip post-process.zSwap-test delta=r–   z. Prep `eaP_n5_t60`, sw2, max u    epÃ—250, batch z. HMM p_stay r´  z; also hp30.zjCode: `temp_attn_spk_lodo.py` / `decoders.TempAttnVLAAI`. Checkpoints: `models/temp_attn_spk/held-*.pt`, `z
`. JSON: `ú`.Ú	abandonedz**ABANDONED**: z## NEXT IDEAzæTemporal MHSA residual into SPK did not clear chance / was abandoned. Prefer a qualitatively new Acc frame front-end (not vlaai residual/FiLM/MHSA, not EEG FIR/Morlet/FBCNet banks, not stem AdaLN/ALiBi/RoPE, not tip post-process).ÚwÚ
)z## LODO (preset)rå  z:| Held-out | H | Acc % | hp30 H/Acc | vs published vlaai |z|---|---:|---:|---|---|z| z | r›  r�  rž  r½  z | pub râ  rã  z |z| **mean** | **z** | **z	** | pub z; se-vlaai AASD rä  z; speech-resid z## External (preset)zJ| Set | H | Acc % | hp30 H/Acc | Acc tip 53.53 | se-vlaai | speech-resid |z|---|---:|---:|---|---|---|---|z	| AASD | rµ  rÁ  rÂ  u    | Î”ú+.2fz| Carta2026 | r¶  u    | â€” | â€” | â€” |z
## Targetsz| Target | Result |z	|---|---|z| AVGC H>=0.85 Acc>=78 | ÚAVGCg333333ë?éN   ÚmetÚmissrÝ   z) |z| UHD H>=0.85 | ÚUHDz| AASD Acc>60 with H>0.63 | é<   g)\�Âõ(ä?z; hp30 u   | AASD Acc vs tip 53.53 | Î” u
    (hp30 Î” z| Acc>60? | ÚYESÚNOu*  If temp-attn â‰ˆ se/speech-resid (~0.77 LODO, AASD Acc ~52â€“53): close vlaai identity-residual family (SE/graph/speech-FiLM/temp-MHSA). Prefer a qualitatively new Acc frame front-end that can lift AASD Acc toward 60 â€” not tip post-process, not stem AdaLN/ALiBi/RoPE, not FIR/Morlet/FBCNet banks.)rc  ÚLEADER_AASDr$   r   r   r¦  r¥  rÊ  ÚOUT_JSONrÎ  Ú
RESULTS_MDÚwriterW  r   rú   )r¬  rÝ  r®  r¯  rÓ  rÔ  rÕ  Ú
swap_deltaÚstatusÚchance_noteÚpubÚseÚspeechÚleaderÚlinesrq  rt  Úhs                     r-   Úwrite_resultsr   °  s0  € ä
�f uÔ
-€CÜ	�5Ô	€BÜ�uÔ€FÜ€Fà!Ø
ØUØ
¤
˜|ð ,Xð 	Xð 	Ø
˜: cÐ*Ð*HÌÈð UÜ��}¤V H¨G´E°7¸,ð	Hà
ð;Ü;B¸)À:ÌhÈZÐWYð	[à
ð€Eð  �ÒØØ˜k˜]Ð+ØØØðð ð

ñ 
	
ˆô 	ŒZ˜Ó×#Ñ# D§I¡I¨eÓ$4Ô5ÜÐà	ò ñ €E÷ ˆØ�2‰w˜˜r™
ˆ1ˆØ�‰Ø���C˜˜#™˜s�| 3 q¨¡x° n°C¸¸#¹¸s°|À1ÀQÀuÁXÈcÀNð SØ�x‘= Ð% Q s¨:¡°sÐ&;¸2ð?õ	@ð ð
 
Ø
˜"˜S˜ ¨¨C¨°¸¸c°{À!ÀEÈ#À;ð OØ�8‰}˜SÐ!  3 z¡?°3Ð"7Ð7GÈÈ6É
À|ð TØ˜v™Ð' rð	+ð 	ØØ
ØTØ)Ø
�C˜‘K Ñ& sÑ+¨CÐ0°°C¸±KÀÑ4FÀuÑ4MÈcÐ3RÐRUØˆv‰;�vÑ˜sÑ# CÐ
(¨¨#¨f©+°fÑ*=¸eÑ*DÀSÐ)Ið JØ�‰[˜Ñ Ñ&¨Ñ/°Ð5ð 6Ø�‰[˜Ñ Ñ&¨¨F©Ñ3°DÐ9ð :Ø�‰[˜Ñ Ñ&¨°©Ñ7¸Ð=¸Rð		Að
 ˜˜[Ñ)¨%Ñ0°Ñ5°cÐ:¸#¸cÀ+Ñ>NÈuÑ>UÐV[Ñ>\Ð]`Ð=aÐadØˆ{Ñ˜FÑ# CÑ(¨Ð
-¨Q¨s°;Ñ/?ÀÑ/GÈÑ/NÈsÐ.Sð Tð	ð 	ØØ
ØØØ
#Ø˜‘K Ñ$¨Ò,°°V±¸UÑ1CÀrÒ1I‰5ÈvÐ
Vð WØ�‰K˜Ñ˜SÐ!  3 v¡;¨uÑ#5°cÐ":¸#ð	?ð Ø˜‘J˜s‘O tÒ+‰5°Ð
8¸¸3¸u¹:Àc¹?È3Ð:OÈsð	Tà
&Ø˜‘K Ñ& uÑ-°Ò2°s¸6±{À5Ñ7IÈ#Ñ7NÐQUÒ7U‰5Ð[aÐ
bð cØ�‰K˜Ñ˜sÑ# CÐ(¨¨#¨f©+°eÑ*<¸UÑ*CÀCÐ)Hð IØ�F‘˜FÑ# EÑ*¨3Ð/¨sð	4ð (¨¨F©°EÑ(:¸5Ñ(AÀFÑ(JÈ4Ð'Pð QØ˜‘K Ñ'¨Ñ.°Ñ7¸Ð=¸Sð	Bà
Ø˜‘K Ñ& uÑ-°Ò2‰5¸Ð
=¸Rð	Aà
ØØ
ð	Xð 	ðU+ñ +€EôX 	Œ�SÓ×Ñ §	¡	¨%Ó 0Ô1ÜÐr,   c                óø  — t         j                  j                  t        dd«      }t	        |«      j                  «       j                  «       }g }|D ][  }d|v rD|j                  d«      }t        |«      dk\  r%d| › d�|d<   |r	d|› d�|d<   dj                  |«      }|j                  |«       Œ] t	        |d	«      j                  d
j                  |«      |r|d   j                  d
«      s	d
z   «       y dz   «       y )Nr   z	CLAIMS.mdz| temp-attn-spk |Ú|rc   rN  r<  é   rè  ré  rŠ   rå  )rq   rA   rW  r   rÎ  ÚreadÚ
splitlinesÚsplitr=   rú   rö  Úendswith)rø  ÚnoterA   rr  ÚoutÚlineÚpartss          r-   Ú
mark_claimr    sß   € Ü�7‰7�<‰<œÐ.°Ó<€DÜ�‹:�?‰?Ó×'Ñ'Ó)€DØ
€CÛˆØ $Ñ&Ø—J‘J˜s“OˆEÜ�5‹z˜QŠØ˜v˜h a˜=��a‘ÙØ!" 4 &¨˜{�E˜!‘HØ—x‘x “�Ø�
‰
�4Õð ô 	ˆˆsƒO×Ñ˜$Ÿ)™) C›.±DÀÀbÁ×ARÑARÐSWÔAX¨DÑaÕbÐ^`ÑaÕbr,   c                ó`  — t         j                  j                  t        dd«      }t	        |«      j                  «       }|j                  «       }g }|D ]C  }d|v r,|j                  «       j                  d«      sd|v r	d|v rd|vrŒ3|j                  |«       ŒE dj                  |«      }dd l
}|j                  d	d
|d¬«      }d|v r0d|j                  d«      d   d d vr|j                  dd| › d�d«      }t	        |d«      j                  ||j                  d«      s	dz   «       y dz   «       y )Nr   zSTATUS_GAPS.mdztemp-attn-spk)z1.z2.z3.z4.Ú-z	In flightzRecently closedré  r   z
Updated:.*z+Updated: 2026-10-29 (temp-attn-spk closed).rÙ   )Úcountz## Recently closedi   z## Recently closed
u,   ## Recently closed

- **temp-attn-spk** â€” rè  rå  )rq   rA   rW  r   rÎ  r  r  Ústripr;   rú   ÚreÚsubr  Úreplacerö  r  )r  rA   Útextrþ  r	  r
  Útext2r  s           r-   Úupdate_status_gapsr     s1  € Ü�7‰7�<‰<œÐ.Ð0@ÓA€DÜ�‹:�?‰?Ó€DØ�O‰OÓ€EØ
€CÛˆØ˜dÑ"Ø—
‘
“×'Ñ'Ð(EÔFÈ+ÐY]ÑJ]à $Ñ&Ð+<ÀDÑ+HØØ�
‰
�4Õð ð �I‰I�c‹N€EãØ�F‰FØØ
5Ø�Qð ó €Eð ˜uÑ$¨ÀÇÁÐL`Ó@aÐbcÑ@dÐeiÐfiÐ@jÑ)jØ—‘Ø"Ø<¸T¸FÀ"ÐEØóˆô 	ˆˆsƒO×Ñ˜%¨u¯~©~¸dÔ/C 4ÑLÕMÈÑLÕMr,   c                óº   — t         j                  j                  t        dd«      }t	        |d«      5 }|j                  d| › d�«       d d d «       y # 1 sw Y   y xY w)Nr   zALREADY_TRIED.mdr   z
- **temp-attn-spk** (z)
)rq   rA   rW  r   rÎ  rö  )r  rA   rÙ  s      r-   Úappend_alreadyr  ;  sE   € Ü�7‰7�<‰<œÐ.Ð0BÓC€DÜ	ˆd�CŒ˜BØ
�‰Ð*¨4¨&°Ð4Ô5÷ 
�‰ús   ²AÁAc                 ó´  — t        «        t        t        «      } t        «       }t	        dd«        | dt
        › dt        › dt        › dt        › dt        j                  › dt        › d	t        › d
t        › d�«       	 t        | «      \  }}}	 t        j&                  t(        dt*        «      j-                  t        «      }t/        ||j0                  | «       |j3                  «        t5        j6                  t        t        j                  t(        t        ¬«      }t5        j6                  t        t        j                  ddt        ¬«      }t9        j:                   |||«      t5        j<                  t        t        ¬«      «      }	|	j?                  «        t        j@                  dk(  r3 | dt        › dt4        jB                  jE                  «       dz  d›d�«       ~~~~	t        j@                  dk(  rt4        jB                  jG                  «        tK        d„ tL        D «       «      }
	 tL        D ]Y  }tO        t
        |«      }tP        jR                  jU                  |«      r | d|› d|› �«       d }
ŒCtW        |t
        | ||
 ¬!«       d }
Œ[ 	 tq        | |«      \	  }}}}}}}}}t#        ||||||||«      }t_        dii d2t
        “d3d4“d5d6“d7d8“d9t*        “d:t        “d;tr        d;   “d<d=“d>tt        “d?t        “d@t        “dAtv        “dBt        “dCtr        dC   “dDdE“dFtr        dF   “dGt_        |||¬*«      “dHt_        tx        tz        ||tL        D �ci c]  }|||   “Œ
 c}tL        D �ci c]  }|||   “Œ
 c}|¬I«      “dJ|“dK|“dL|“dM|“dN|“Ž}tQ        jb                  tP        jR                  je                  tf        «      d ¬,«       ti        tf        d-«      5 }tk        jl                  ||d.tn        ¬/«       d d d «       |dO   dP   dQ   }dR|d$›dS|d›dT|dO   dP   dU   d$›dV|d›dW|t|        z
  dX›dY|dZ   dP   dU   d$›dV|dZ   dP   dQ   d›d[|› d\�}t	        d4|«       t[        d]|d$›d^|d$›dV|d›d_|dO   dP   dU   d$›dV|d›dW|t|        z
  dX›d`|dZ   dP   dQ   d›d&�«       t]        da|d$›dV|d›db|d›dW|t|        z
  dX›dc|ddkD  rdendf› dg�«        | d0tf        › d1|› �«        | dh«       |S # t        $ rQ}t	        dt!        |«      d d «       t#        d d d d d d d ddt!        |«      ¬«
        | d|› �«       t%        d«      ‚d }~ww xY w# t        $ r<}dt!        |«      jI                  «       vr‚  | dt        › d�«       t%        d«      ‚d }~ww xY w# tX        $ �r<} | d"|› �«       t#        d d d d d d d |dt!        |«      ¬«
       t!        |«      d d }t	        d|«       t[        d#|d$›d%|› d&�«       t]        d'|d d( › d)�«       t_        t
        dt!        |«      t*        t        t_        |||¬*«      t`        ¬+«      }tQ        jb                  tP        jR                  je                  tf        «      d ¬,«       ti        tf        d-«      5 }tk        jl                  ||d.tn        ¬/«       d d d «       n# 1 sw Y   nxY w | d0tf        › d1t`        › �«       |cY d }~S d }~ww xY wc c}w c c}w # 1 sw Y   �ŒçxY w)jNÚrunningz/GPU train under flock; results_temp_attn_spk.mdz=== u    TempAttnâ†’vlaai device z max_epochs z min_epochs z W=z FS=z batch=r˜   z ===rç  éÜ   rW   )rø  rù  zABANDONED swap/id: rˆ   r3   r†   r™   zmemory probe batch z
 ok; peak g    eÍÍArž  z GBzout of memoryzOOM at batch z ; abort so caller can halve oncec              3  óv   K  — | ]1  }t         j                  j                  t        t        |«      «      –— Œ3 y ­wrŒ   )rq   rA   r¹  r
   rÅ  )r�   rÿ  s     r-   r’   zmain.<locals>.<genexpr>g  s%   è ø€ ÐNÁgÀ”b—g‘g—n‘n¤Y¬x¸Ó%;×<Ágùs   ‚79r$  z	: cached Tr(  z	ABANDON: uÄ   `temp_attn_spk_lodo.py`, `decoders.TempAttnVLAAI`; zero-init causal temp MHSA residualâ†’vlaai_ws SPK; eaP_n5_t60 sw2; â‰  speech-FiLM/SE/graph/Conformer/FIR/Morlet/FBCNet/stem-ALiBi-RoPE: swapÎ”=r–   z; abandoned: z-. `multi_agent_opt/results_temp_attn_spk.md`.zabandoned (éx   r6   )rÁ   Úzero_eeg_deltar¾   )Ú
experimentrø  Úreasonry   rH  Ú	swap_testÚ
results_mdr)  rè  rÙ   )ÚindentÚdefaultzwrote z and r  rø  ÚdonerA  r@  r~   rx   ry   rH  rM   rz   rR   r}   r|   r_   Úwindow_sÚbatchrU   Úextra_trainr#  rS   r!  Úpreset)r™  ÚscaleÚemis_muÚemis_sdÚlodoÚ	lodo_hp30Úexternalrâ  rã  Úhp30_mean_HÚhp30_mean_Accr"  rµ  rÁ  r�  zLODO mean H rÃ  z. AASD r›  r½  u    (Î”rê  z vs tip 53.53). Carta r¶  z. `ræ  uÎ   `temp_attn_spk_lodo.py`, `decoders.TempAttnVLAAI`; zero-init causal temp MHSA residualâ†’vlaai_ws 10s SPK remap; eaP_n5_t60 sw2; â‰  speech-FiLM/SE/graph/Conformer/FIR/Morlet/FBCNet/stem-ALiBi-RoPE; swapÎ”=z: LODO z; AASD z vs tip); Carta zLODO z; AASD Acc z vs tip 53.53). Acc>60=rð  rñ  rò  Ú.z=== done ===r+   )?rv   r   ÚLOG_PATHrƒ   r  rÅ  r   r   r   rj   rk   r	   r   r$   rÍ   r·   Ústrr   Ú
SystemExitrœ   rp   r€   r�   rH   r}   rð   r8   r    rñ   rò   r[  rô   rµ   r™   Úmax_memory_allocatedr¶   ÚlowerrË  r   r
   rq   rA   r¹  r�  r&   r  r  rc  rõ  rU  rÉ  rô  rÎ  ÚjsonrÐ  r£   rà  r   r�   ri   r¦  r¥  ró  )r@   r   r÷  Úswap_delta0r¾   r©  r>   ÚxbÚsbr  Úchance_donern  rA   r  r	  rÙ  r¬  rÝ  r­  rB   r®  r¯  rÓ  rÔ  rÕ  ÚrpathrŽ  Úaasd_accs                               r-   Úmainr?  A  s7  € Ü„KÜ
”Ó
€CÜ‹€AÜˆyÐKÔLÙˆ$ŒxˆjÐ1´#°°lÄ:À,ð OÜ �\ ¤R§T¡T F¨$¬r¨d°'¼%¸ð AÜ�˜Dð	"ô #ðÜ,CÀCÓ,HÑ)ˆ
�K ðÜ�l‰lœ5 !¤XÓ.×1Ñ1´#Ó6ˆÜ  Q§[¡[°#Ô6Ø�	‰	ŒÜ�[‰[œ¤§¡¤e´CÔ8ˆÜ�[‰[œ¤§¡ a¨´3Ô7ˆÜ×1Ñ1±#°b¸"³+¼u¿{¹{Ì5ÔY\Ô?]Ó^ˆØ�‰ŒÜ�8‰8�vÒÙÐ%¤e W¨JÜ—:‘:×2Ñ2Ó4°sÑ:¸3Ð?¸sðDô Eà��R˜Ü�8‰8�vÒÜ�J‰J×"Ñ"Ô$ô ÑNÅgÓNÓN€KðßˆDÜœX tÓ,ˆDÜ�w‰w�~‰~˜dÔ#ÙÐ& t f¨I°d°VÐ<Ô=Ø"�ØÜ�Tœ8 S¨!¸k¸/ÕJØ‰Kñ ô@ 6BÀ#ÀqÓ5IÑ2€Cˆˆb�"�b˜"˜f e¨UÜ˜#˜s B¨¨F°E¸5À*ÓM€EÜ
ò ÝðÙ$*ðÙ4@ðÙGSðåðå&0ðô �)’ðñ (+ðõ 7;ðõ ð	õ +5ð	õ @Hð	õ PUð	ô
 �\’?ðñ
 1?ðô
 IJÈ)Êðô ˜Z¸ÈhÕWðô œ6¬¸ÀBÝ-4Ó5©W¨˜!˜S ™V™)¨WÑ5Ý5<Ó=±W°˜q &¨¡)™|°WÑ=Ø õ"ðñ ðñ ðñ -2ðñ BGðñ ð€Cô ‡K�K”—‘—‘¤Ó)°DÕ9Ü	Œh˜Ô	 Ü�	‰	�#�r !¬UÕ3÷ 
à�6‰{˜5Ñ! %Ñ(€HØ˜2˜c˜( %¨¨3 xð 0Ø˜‘K Ñ& sÑ+¨CÐ0°°(¸3°ð @Øœ[Ñ(¨Ð.ð /Ø˜Ñ% eÑ,¨SÑ1°#Ð6°a¸¸KÑ8HÈÑ8OÐPUÑ8VÐWZÐ7[ð \Øˆw�bð	€Dô
 ˆv�tÔÜð?à?IÈ#Ð>Nð OØ�3ˆx�q˜˜C˜ ¨¨F©°EÑ(:¸3Ñ(?ÀÐ'DÀAÀhÈsÀ^ð TØœÑ$ TÐ*Ð*:Øˆ{Ñ˜EÑ" 5Ñ)¨#Ð
.Ð.[ð	]ô^ô Ø
��3ˆx�q˜˜C˜ ¨H°S¨>ð :ØœÑ$ TÐ*Ð*AØ˜r’M‰5 tÐ
,¨Að	/ô0ñ ˆ&”�
˜% ˜wÐ'Ô(ÙˆÔØ€JøôK ò Ü�;¤ A£ t¨ Ô-Ü�d˜D $¨¨d°D¸$ÀØ(´c¸!³fõ	>áÐ! ! Ð%Ô&Ü˜‹mÐûðûô, ò Ø¤# a£&§,¡,£.Ñ0ØÙˆmœE˜7Ð"BÐCÔDÜ˜‹mÐûð	ûô  ó Ùˆi˜�sˆOÔÜ�d˜D $¨¨d°D¸$À
Ø(´c¸!³fõ	>ä�1‹v�d�sˆ|ˆÜ�; Ô%ÜðIàISÐTWÐHXð YØ˜ÐLðNô	Oô
 	˜[¨¨d¨s¨¨°AÐ6Ô7ÜÜ¨¼CÀ»FÜ¬*Ü ¸KÐRZÔ[Ü!ô	
ˆô 	�‰”B—G‘G—O‘O¤HÓ-¸Õ=Ü”(˜CÔ  BÜ�I‰I�c˜2 a´Õ7÷ !× Ñ úáˆf”X�J˜e¤J <Ð0Ô1Ø�
ûð-üòD 6ùÚ=÷ 
Ñ	ús‚   Á<S ÂFT2 È$A"U: Í[Í[Ï
[Ó	T/ÓAT*Ô*T/Ô2	U7Ô;7U2Õ2U7Õ:
[ ÖC'Z;Ù+ZÚ		Z;ÚZ	ÚZ;Ú5[ Ú;[ Û[Ú__main__)T)F)r%  NrŒ   )Vr*   Ú
__future__r   r8  rq   rÏ  rï   Útypesr   Únumpyrå   r8   Útorch.nn.functionalrõ   Ú
functionalrñ   rt   Údirect_classifierrj   Úensemble_clf_transformer_v4r   Úeval_externalr¸   rÑ  r£  Úcommonr   r   r7   r   r   r	   r
   r   r   r   r   r   Ú	e1_switchr   Úrun_experimentr   r   rÅ  r‚   r€   r�   rA   rW  r3  rô  rÈ  rÊ  rV  rõ  r¦  r¥  ri   rh   rr   rs   r   r   r   r    r£   r"   rp   r$   ró  r·   r&   rH   rv   rƒ   rÍ   r  r�  r°  rà  r   r  r  r  r?  r'   r+   r,   r-   Ú<module>rL     s'  ðñõ  #ã Û 	Û Û Ý !ã Û ß Ð ã Û Û (Û Û ß  ß C× Cß %Ñ %Ý 'ß 0à@€Ø%€Ø€ð?ð ð �7‰7�<‰<˜˜]Ð,DÓE€Ø�7‰7�<‰<˜˜Y¨8¨*°EÐ(:Ó;€Ø
�'‰'�,‰,�s˜I zÓ
2€Ø
�'‰'�,‰,�s˜H¨¸°u¸CÐ&@Ó
A€Ø�7‰7�<‰<˜˜X Ó7€Ø�W‰W�\‰\˜#Ð0Ð2LÓM€
Ø�€ˆØ€Ù�—‘—‘ ¨cÓ2Ó3€
Ù�—‘—‘ ¨cÓ2Ó3€
ÙˆB�J‰J�N‰N˜7 DÓ)Ó*€Ù�"—*‘*—.‘. °Ó5Ó6€Ù�2—:‘:—>‘> ,°Ó8Ó9€
Ø
€Ù�—‘—‘ ¨cÓ2Ó3€
Ø€ô?�|ô ?òò"Hò*ò-#ó`FóRF!òRò0a:ðH NTØ"ó]ó@cò Nò66òoðd ˆzÒÙ…Fð r,   