Ë
    îTäjyŽ  ã                  ó4  — d Z ddlmZ ddlZddlZddlZddlZddlmZ ddl	Z
ddlZddlmc mZ ddlZddlZddlZddlZddlZddlmZmZ ddlmZmZmZm Z m!Z!m"Z" ddlm#Z#m$Z$m%Z% ddl&m'Z' dd	l(m)Z)m*Z* d
Z+dZ,dZ-dZ.ej^                  ja                  edd«      Z1ej^                  ja                  ede+› d�«      Z2ej^                  ja                  edd«      Z3ej^                  ja                  edde,› d�«      Z4ej^                  ja                  edd«      Z5ej^                  ja                  edd«      Z6d\  Z7Z8dZ9 e:ejv                  jy                  dd«      «      Z= e:ejv                  jy                  dd«      «      Z> e:ejv                  jy                  dd«      «      Z? e:ejv                  jy                  dd «      «      Z@ eAejv                  jy                  d!d"«      «      ZBd#ZC e:ejv                  jy                  d$d«      «      ZD e:ejv                  jy                  d%d&«      «      ZEd'ZFd(ZG eAejv                  jy                  d)d*«      «      ZH G d+„ d,eI«      ZJd-„ ZKd.„ ZLd/„ ZMd0„ ZNd=d1„ZOd>d2„ZPd3„ ZQd4„ ZRd5„ ZS	 	 d?d6„ZTd@d7„ZUd8„ ZVd9„ ZWd:„ ZXd;„ ZYeZd<k(  r eY«        yy)Auj  speech-xattn-dec â€” Multi-head cross-attn decoder (speech KV, EEG Q).

SPK-init VLAAI produces EEG latents h; speech-env/onset/dom tokens are KV;
causal MH cross-attn residual with zero-init out_proj â‡’ identity @step 0:
  h = bb(eegâ€–speech); tok = speech_tokens(sp);
  h' = h + MHCA_out_proj(LN(h), LN(tok), LN(tok))
SPK warm-start remaps bb.* â†’ bb.bb.*.

DISTINCT from:
  * temp-attn-spk â€” temporal SELF-attn (Q=K=V=h)
  * speech-resid  â€” FiLM/additive gate on speech BEFORE VLAAI
  * aux-env-spk   â€” aux envelope MSE loss
  * env_xattn     â€” from-scratch EEG-conv Q (chance; no SPK)
  * noise-aug / emis-shift / SSL / Path A / tip PP (CLOSED)

Prep eaP_n5_t60, sw2, 10s Ã— 3 blocks. Swap+chance abort â‰¥0.685@50.
If learns: LODO5 + AASD/Carta Acc @0.994/0.8 (+hp30); soft-fuse tip Acc if natural.

usage:
  GLIMPSE_THR=norm python speech_xattn_dec_lodo.py
é    )ÚannotationsN)ÚSimpleNamespace)ÚDS_KEYSÚSEED)ÚCFGÚEXPÚFSÚ	fold_fileÚ
load_trialÚrows_of)ÚDÚDEVÚ_targets)Údraw_switch_times)Úload_externalÚlog_toz6direct_clf__eaP_n5_t60_w10b3_ptSPK_speechxattn_aug-sw2z _w10b3_ptSPK_speechxattn_aug-sw2Úspeech_xattn_decz}/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/models/pretrain_spk_direct_clf_w10_b3_s0.ptÚexperimentszspeech_xattn_dec_lodo.logÚresultsz.jsonÚresearchÚmodelsÚall5_direct_clfú.ptÚmulti_agent_optzresults_speech_xattn_dec.md)g+‡ÙÎï?gš™™™™™é?g      $@Ú
MAX_EPOCHSÚ4Ú
MIN_EPOCHSÚBATCHÚ64ÚABORT_STEPSÚ50Ú
ABORT_LOSSz0.685é:   Ú
ATTN_HEADSÚSPEECH_KERNÚ9g¤p=
×ÃJ@úspeech-xattn-decÚ
TIP_FUSE_Az0.5c                  ó   — e Zd ZdZy)ÚChanceStuckErroru4   Train loss stuck near chance â€” abort per protocol.N)Ú__name__Ú
__module__Ú__qualname__Ú__doc__© ó    ú0/root/disk_3tb/eeg-thao/speech_xattn_dec_lodo.pyr*   r*   I   s   „ Ú>r0   r*   c           
     óJ  — ddl m}  ||«      }t        j                  |t        d¬«      }i }|j                  «       D ]'  \  }}|j                  d«      r||d|dd z   <   Œ#|||<   Œ) | j                  |d¬	«      \  }	}
 |d
|› dt        |	«      › dt        |
«      › d�«       |	|
fS )uM   Map published DirectNet SPK weights into SpeechXAttnVLAAI (bb.* â†’ bb.bb.*).r   )Úresolve_modelF©Úmap_locationÚweights_onlyzbb.zbb.bb.é   N©Ústrictu     SPKâ†’speech_xattn_dec from z (strict=False; missing z unexpected Ú))	Ú
common_expr3   ÚtorchÚloadr   ÚitemsÚ
startswithÚload_state_dictÚlen)ÚnetÚ	init_pathÚlogr3   ÚpathÚsdÚmappedÚkÚvÚmissingÚ
unexpecteds              r1   Úload_spk_into_speech_xattnrL   M   s¼   € å(Ù˜Ó#€DÜ	�‰�D¤s¸Ô	?€BØ€FØ—‘–
‰ˆˆ1Ø�<‰<˜ÔØ'(ˆF�8˜a  ˜eÑ#Ò$àˆF�1ŠIð	 ð
 ×-Ñ-¨f¸UÐ-ÓCÑ€GˆZÙÐ
(¨¨Ð.FÄsÈ7Ã|Ànð UÜ˜*“oÐ& að	)ô *à�JÐÐr0   c                 ó&  — t        t        t        z  «      t        _        t        j                  t        j
                  z
  t        j                  z
  t        j                  t        z
  ct        _        t        _        g d¢t        d<   i t        d   ¥t        d   d   ¥ddi¥t        d<   t        t        d	   «      t        d
<   dt        d<   dt        d<   dt        d<   t        t        d<   t        t        d<   t        t        d<   dt        d<   dt        d<   t        t        d<   dt        d<   t        t        d<   dt        d<   t        t         j"                  j%                  dd«      «      t        d<   t'        j(                  dd t        › �gd!g«       y )"N)ÚenvÚonsetÚdomÚtargetsÚdnn_augmentÚaug_variantsÚclusterÚclf_p_switch2ç      à?ÚaugmentÚseedÚ
train_seedr7   Úmodel_blocksç        Úmodel_dropouté@   Úmodel_kernelsÚmodel_n_rawÚmodel_headsÚmodel_speech_kernÚmodel_attn_dropÚmodel_attn_dropoutÚ
max_epochséú   Ústeps_per_epochÚ
batch_sizeé   ÚpatienceÚVAL_WINDOWSÚ512Úval_windowszmodel_blocks=3zmodel_speech_kern=zclf_p_switch2=0.5)ÚintÚWINDOW_Sr	   ÚDCÚWÚFUTÚHOPÚPOS0ÚLABr   r   ÚN_EEGr$   r%   r   r   ÚosÚenvironÚgetÚdecodersÚapply_overridesr/   r0   r1   Ú	configurer{   ^   s>  € ÜŒxœ"‰}Ó„B„DÜ—d‘dœRŸV™V‘m¤b§f¡fÑ,¬b¯d©d´R©i€O„B„GŒRŒVÚ*„A€i�LØa”c˜-Ñ(Ða¬C°Ñ,?À	Ñ,JÐaÈOÐ]`Ña„A€i�LÜœ#˜f™+Ó&„A€l�OØ„A€nÑØ„A€oÑØ„A€oÑÜ„A€mÑÜ!„A€mÑÜ(„AÐÑØ„AÐÑØ!„AÐÑÜ „A€l�OØ„AÐÑÜ„A€l�OØ„A€j�MÜœ2Ÿ:™:Ÿ>™>¨-¸Ó?Ó@„A€mÑÜ×ÑÐ.Ð2DÄ[ÀMÐ0RÐSØ1Ð2õ4r0   c            	     óF   — t        t        ddt        t        dt        ¬«      S )NrV   FÚ
eaP_n5_t60)ÚbackboneÚp_switchÚzero_eegÚ
min_epochsÚ	init_fromÚprepÚtag)r   ÚBACKBONEr   ÚINITÚTAGr/   r0   r1   Ú	namespacerˆ   u   s   € ÜÜ C°%ÄJÜ˜\¬sôð r0   c                ó¾  — t        j                  d«       t        «        t        j                  t
        dt        «      j                  t        «      j                  «       }t        j                  «       5  t        j                  dt        j                  t
        t        ¬«      }t        j                  dt        j                  dt        ¬«      }t        j                  dt        j                  dt        ¬«      }t        j                  ||gd¬«      } |||«      } |||j                  d«      «      }t        ||z   j!                  «       j#                  «       «      }|j%                  |||«      }	|j%                  |||«      }
t        |	|
z
  j!                  «       j#                  «       «      }|j%                  t        j&                  |«      ||«      }|j%                  t        j&                  |«      ||«      }t        ||z
  j!                  «       j#                  «       «      }t        |j(                  j*                  j,                  j.                  j!                  «       j1                  «       «      }|j(                  j*                  j,                  j2                  �Ot        |j(                  j*                  j,                  j2                  j!                  «       j1                  «       «      nd}t        j4                  |||gd	«      }|j)                  |«      }t7        |t8        t:        f«      r|d   n|}|j(                  j)                  |«      }t7        |t8        t:        f«      r|d   n|}t        ||z
  j!                  «       j1                  «       «      }|j(                  j=                  |d
t
        d…f   «      }|j>                  |j>                  k(  sJ |j>                  |j>                  f«       ‚	 ddd«       tA        d„ |jC                  «       D «       «      }tA        d„ t;        |j(                  jD                  jC                  «       «      t;        |j(                  jF                  jC                  «       «      z   t;        |j(                  j*                  jC                  «       «      z   t;        |j(                  jH                  jC                  «       «      z   t;        |j(                  jJ                  jC                  «       «      z   D «       «      } | d|› d|› dd›dd›dd›dd›dd›dd›dtL        › dtN        › �«       ~t        jP                  dk(  rt         jR                  jU                  «        |dkD  rtW        d|› �«      ‚|dk  rtW        d|d›d�«      ‚|dkD  s|dkD  rtW        d |› d!|› �«      ‚|dkD  rtW        d"|› �«      ‚|||fS # 1 sw Y   �ŒàxY w)#uU   Speaker-order must change logit; zero out_proj â‡’ SpeechXAttn.bb â‰¡ inner vlaai_ws.r   r7   é   ©Údeviceé   )ÚdimNr[   éÿÿÿÿ.c              3  ó<   K  — | ]  }|j                  «       –— Œ y ­w©N©Únumel©Ú.0Úps     r1   Ú	<genexpr>z*swap_and_identity_check.<locals>.<genexpr>š   ó   è ø€ Ð6Ñ%5 �!—'‘'—)Ñ%5ùó   ‚c              3  ó<   K  — | ]  }|j                  «       –— Œ y ­wr‘   r’   r”   s     r1   r—   z*swap_and_identity_check.<locals>.<genexpr>›   s   è ø€ ð 7ñ &6 �!—'‘'—)ñ &6ùr™   zswap-test params z (speech_xattn z) anti_err z.3ez swap_delta ú.4fz zero_eeg_delta z |out_proj| Ú+z bb_id_err ú heads=ú speech_kern=Úcudagñhãˆµøä>zantisymmetry broken: ç-Cëâ6?u   swap-deltaâ‰ˆ0 (r:   g:Œ0âŽyE>zzero-init out_proj broken: |w|=z |b|=z-zero-out_proj SpeechXAttn.bb != inner vlaai: ),r<   Úmanual_seedr{   ro   Ú	DirectNetru   r…   Útor   ÚevalÚno_gradÚrandnrp   ÚstackÚflipÚfloatÚabsÚmeanÚgÚ
zeros_likeÚbbÚattnÚout_projÚweightÚmaxÚbiasÚcatÚ
isinstanceÚtupleÚlistÚ_speech_tokensÚshapeÚsumÚ
parametersÚln_qÚln_kvÚsp_dwÚsp_projr$   r%   ÚtyperŸ   Úempty_cacheÚRuntimeError)rD   rB   ÚEÚAÚBÚS_abÚy_abÚy_baÚanti_errÚgabÚgbaÚdeltaÚgab0Úgba0Údelta0Úout_wÚout_bÚxÚy_wÚy_iÚid_errÚtokÚn_paramÚn_xattns                           r1   Úswap_and_identity_checkrÙ   |   sœ  € ä	×Ñ�aÔÜ„KÜ
�,‰,”u˜a¤Ó
*×
-Ñ
-¬cÓ
2×
7Ñ
7Ó
9€CÜ	�‰�Ü�K‰K˜œ2Ÿ4™4¤¬sÔ3ˆÜ�K‰K˜œ2Ÿ4™4 ¬3Ô/ˆÜ�K‰K˜œ2Ÿ4™4 ¬3Ô/ˆÜ�{‰{˜A˜q˜6 qÔ)ˆÙ�1�d‹|ˆÙ�1�d—i‘i “lÓ#ˆÜ˜$ ™+×*Ñ*Ó,×1Ñ1Ó3Ó4ˆØ�e‰e�A�q˜!‹nˆØ�e‰e�A�q˜!‹nˆÜ�s˜S‘y—o‘oÓ'×,Ñ,Ó.Ó/ˆØ�u‰u”U×%Ñ% aÓ(¨!¨QÓ/ˆØ�u‰u”U×%Ñ% aÓ(¨!¨QÓ/ˆÜ˜˜t™×(Ñ(Ó*×/Ñ/Ó1Ó2ˆÜ�c—f‘f—k‘k×*Ñ*×1Ñ1×5Ñ5Ó7×;Ñ;Ó=Ó>ˆØ@CÇÁÇÁ×@TÑ@T×@YÑ@YÐ@e”�c—f‘f—k‘k×*Ñ*×/Ñ/×3Ñ3Ó5×9Ñ9Ó;Ô<Ðknˆä�I‰I�q˜!˜Q�i Ó$ˆØ�f‰f�Q‹iˆÜ" 3¬´¨Ô6ˆc�!Šf¸CˆØ�f‰f�i‰i˜‹lˆÜ" 3¬´¨Ô6ˆc�!Šf¸CˆÜ˜˜c™	—‘Ó(×,Ñ,Ó.Ó/ˆØ�f‰f×#Ñ# A c¬5©6 k¡NÓ3ˆØ�y‰y˜CŸI™IÒ%Ð=¨¯	©	°3·9±9Ð'=Ó=Ñ%÷1 
ô2 Ñ6 S§^¡^Ô%5Ó6Ó6€GÜñ 7¤T¨#¯&©&¯+©+×*@Ñ*@Ó*BÓ%CÜ˜Ÿ™Ÿ™×0Ñ0Ó2Ó3ñ&4ä˜Ÿ™Ÿ™×/Ñ/Ó1Ó2ñ&3ô ˜Ÿ™Ÿ™×0Ñ0Ó2Ó3ñ&4ô ˜Ÿ™Ÿ™×2Ñ2Ó4Ó5ò	&6ó 7ó 7€Gñ
 Ð
˜G˜9 O°G°9¸KÈÐQTÀ~ð VØ˜C�[Ð 0°¸°¸LÈÈsÈÐSTÐUZÐ[^ÐT_ð `Ø˜C�L ¬
 |°=ÄÀð	Oô Pð 	Ü
‡x�x�6ÒÜ�
‰
×ÑÔ Ø�$‚ÜÐ2°8°*Ð=Ó>Ð>Øˆt‚|ÜÐ-¨e°C¨[¸Ð:Ó;Ð;Øˆt‚|�u˜t’|ÜÐ<¸U¸GÀ5ÈÈÐPÓQÐQØ�‚}ÜÐJÈ6È(ÐSÓTÐTØ�&˜(Ð"Ð"÷[ 
‰ús   Á4M?W×Wc                óò  — | d   d   j                   d   }t        j                  dt        d   «      }t	        j
                  |«       t        j                  t        ||j                  «      j                  t        «      }|j                  rt        ||j                  |«       t        d„ |j                  «       D «       «      }t        d„ |j                  «       D «       «      }	 |d|› d	|	› d
|j                  › dt        d   › dt         › �
«       t"        j$                  j'                  t"        j$                  «      }
t        j(                  t        j*                  t        j,                  t        f\  |
_        |
_        |
_        |
_        t4        j6                  j9                  |«      }t        j:                  |t        d   |d |j<                  |j>                  «      \  }}}t        j@                  jC                  |j                  «       D �cg c]  }|jD                  sŒ|‘Œ c}t        d   t        d   ¬«      }t        j@                  jF                  jI                  |ddt        d   ¬«      }t4        jJ                  dd }}}g }d}tM        t        d   «      D �]4  }tO        jN                  «       g }}|jQ                  «        tM        t        d   «      D �]œ  }t        j:                  | t        d   ||
|j<                  |j>                  «      D �cg c]  }|j                  t        «      ‘Œ c}\  }}}tS        jT                   |||«      |«      }|jW                  «        |jY                  «        t        jZ                  j\                  j_                  |j                  «       d«       |ja                  «        tc        |je                  «       «      } |jg                  | «       |dz  }|s�Œ|th        k  s�Œ!|jg                  | «       |th        k(  s�Œ=tc        t5        jj                  |«      «      }! |dth        › d|!d›dtl        › d�«       |!tl        k\  s�Œ�to        d|!d›d tl        › d!th        › d"�«      ‚ |jq                  «        t	        jr                  «       5  t	        jt                  tM        dtw        |«      d#«      D �"cg c]K  }" |||"|"d#z    j                  t        «      ||"|"d#z    j                  t        «      «      jy                  «       ‘ŒM c}"«      } d d d «       tc        tS        jT                   |«      «      }#tc        | dkD  jc                  «       |k(  jc                  «       jk                  «       «      }$||jz                  k\  r|ja                  |#«       t	        jr                  «       5  tc        |j|                  j~                  j€                  j‚                  je                  «       j…                  «       «      }%d d d «        |d$|d%›d&t5        jj                  |«      d›d'|#d›d(|$d)›d*%d›d+tO        jN                  «       |z
  d,›d-�«       |#|d.z
  k  rS|#d|j‡                  «       j‰                  «       D �&�'ci c]$  \  }&}'|&|'je                  «       j‹                  «       “Œ& }}&}'}}�Œ||jz                  k\  s�Œ"|dz  }|t        d/   k\  s�Œ5 n |€M|j‡                  «       j‰                  «       D �&�'ci c]$  \  }&}'|&|'je                  «       j‹                  «       “Œ& }}&}'|j�                  |«       |jq                  «        ||fS c c}w c c}w c c}"w # 1 sw Y   �Œ>xY w# 1 sw Y   �ŒexY wc c}'}&w c c}'}&w )0Nr   Ú_Sr�   rY   rX   c              3  ó<   K  — | ]  }|j                  «       –— Œ y ­wr‘   r’   r”   s     r1   r—   zfit_net.<locals>.<genexpr>¸   r˜   r™   c              3  óV   K  — | ]!  }|j                   sŒ|j                  «       –— Œ# y ­wr‘   )Úrequires_gradr“   r”   s     r1   r—   zfit_net.<locals>.<genexpr>¹   s   è ø€ ÐIÑ%5 ¸¿»�!—'‘'—)Ñ%5ùs   ‚)”)z  SpeechXAttn-VLAAI params z (trainable z) backbone=z batch rg   r�   rl   ÚlrÚweight_decay)rß   rà   ÚminrV   Úlr_patience)ÚmodeÚfactorri   rd   rf   g      @é   z    chance-probe step z mean_loss r›   z (abort if >=r:   zABORT_CHANCE: mean loss z >= z after z steps (near chance)é   z
    epoch Ú02dz train z	 val BCE z acc ú.3fz ||out_proj|| ú (ú.0fzs)r    ri   )Gr¹   r   rx   r   r<   r¡   ro   r¢   ru   r~   r£   r   r‚   rL   rº   r»   r$   ry   ÚDNNDecÚ__new__rp   rq   rr   ÚfutÚhopÚCÚnpÚrandomÚdefault_rngÚwindowsr   r€   ÚoptimÚAdamWrÞ   Úlr_schedulerÚReduceLROnPlateauÚinfÚrangeÚtimeÚtrainÚFÚ binary_cross_entropy_with_logitsÚ	zero_gradÚbackwardÚnnÚutilsÚclip_grad_norm_Ústepr©   ÚdetachÚappendr    r«   r"   r*   r¤   r¥   r´   rA   Úcpur�   r®   r¯   r°   r±   ÚnormÚ
state_dictr>   Úcloner@   )(rû   ÚvalrD   ÚaÚcheck_chanceÚFsrX   rB   r×   Ún_trainÚaugÚrsÚXvÚSvÚyvr–   ÚoptÚschÚbestÚbadÚstateÚearlyÚglobal_stepÚepÚt1ÚtlÚ_ÚzÚXÚS_ÚyÚlossÚlvÚmean50ÚiÚvlÚvaÚonormrH   rI   s(                                           r1   Úfit_netr*  ±   s  € Ø	ˆq‰�$‰×	Ñ	˜bÑ	!€BÜ�5‰5�œs 6™{Ó+€DÜ	×Ñ�dÔÜ
�,‰,”u˜b !§*¡*Ó
-×
0Ñ
0´Ó
5€CØ‡{‚{Ü" 3¨¯©°SÔ9ÜÑ6 S§^¡^Ô%5Ó6Ó6€GÜÑI S§^¡^Ô%5ÓIÓI€GÙÐ
% g Y¨l¸7¸)ð DØ—J‘J�<˜w¤q¨¡Ð&7°w¼z¸lð	Lô Mä
�/‰/×
!Ñ
!¤(§/¡/Ó
2€CÜ%'§T¡T¬2¯6©6´2·6±6¼5Ð%@Ñ"€C„Eˆ3Œ7�C”G˜SœUÜ	�‰×	Ñ	˜tÓ	$€BÜ—‘˜C¤ =Ñ!1°2°t¸Q¿Z¹ZÈÏÉÓT�J€BˆˆBÜ
�+‰+×
Ñ
Ø—N‘NÔ$Ó8Ñ$ˆq¨¯«ŠÐ$Ñ8ÜˆT‰7¤ >Ñ!2ð ó 4€Cô �+‰+×
"Ñ
"×
4Ñ
4Ø�% ¬a°Ñ.>ð 5ó @€Cä—v‘v˜q $ˆuˆ#€DØ€EØ€KÜ”A�l‘O×$ˆÜ—‘“˜bˆBˆØ�	‰	ŒÜ”qÐ*Ñ+×,ˆAÜ+-¯:©:Ø”q˜‘¨¨C°·±¸Q¿Z¹Zô,Ió Jñ ,I a˜Ÿ™œS�	ð ,Iñ J‰HˆAˆr�1ä×5Ñ5±c¸!¸R³jÀ!ÓDˆDØ�M‰MŒOØ�M‰MŒOÜ�H‰H�N‰N×*Ñ*¨3¯>©>Ó+;¸SÔAØ�H‰HŒJÜ�t—{‘{“}Ó%ˆBØ�I‰I�bŒMØ˜1ÑˆKÛ ¬{Ô :Ø—‘˜RÔ Ø¤+Ô-Ü"¤2§7¡7¨5£>Ó2�FÙÐ0´°¸[ÈÐPSÈð U'Ü'1 l°!ð5ô 6à¤Ô+Ü.Ø6°v¸c°lÀ$ÄzÀlÐRYÜ*˜mÐ+?ðAóBð Bð% -ð* 	�‰Œ
Ü�]‰]�_Ü—‘ä˜q¤# b£'¨3Ô/ó1á/�Añ �B�q˜˜S™�M×$Ñ$¤SÓ)¨2¨a°°C±¨=×+;Ñ+;¼CÓ+@ÓA×EÑEÕGØ/ñ1ó 2ˆB÷ ô ”1×5Ñ5°b¸"Ó=Ó>ˆÜ�R˜!‘V—N‘NÓ$¨Ñ*×1Ñ1Ó3×8Ñ8Ó:Ó;ˆØ�—‘ÒØ�H‰H�RŒLÜ�]‰]�_Ü˜#Ÿ&™&Ÿ+™+×.Ñ.×5Ñ5×<Ñ<Ó>×CÑCÓEÓFˆE÷ áˆj˜˜C˜ ¬¯©°«°CÐ'8¸	À"ÀSÀÈÈrÐRUÈhð WØ! #˜; b¬¯©«°rÑ)9¸#Ð(>¸bðBô 	Cà��t‘ÒØ! 1ÈÏÉÓIY×I_ÑI_ÔIaÔ&bÑIaÁÀÀA q¨!¯(©(«*×*:Ñ*:Ó*<Ñ'<ÐIa�uÑ&b�#ŠDØ�1—<‘<ÔØ�1‰HˆCØ”a˜
‘mÔ#ÙðU %ðV €}Ø36·>±>Ó3C×3IÑ3IÔ3KÔLÑ3K©4¨1¨a��A—H‘H“J×$Ñ$Ó&Ñ&Ð3KˆÑLØ×Ñ˜ÔØ‡H�H„JØ�ˆ9Ðùòm 	9ùòJùò,1÷ ‰_ú÷ ‰_üó
 'cùó MsJ   È]È]Ì]	Ò(]Ó A]Ô]Ö-A] Ù9)]-Û3)]3Ý]Ý]	Ý ]*	c                óà  — t         j                  j                  t        d   t	        j
                  | «      z   «      }g g }}t        D ]�  }|| k(  rŒ	t        |«      }	|j                  t        |	j                  j                  «       «      «      }
|	j                  «       D ]7  \  }}|d   |
k(  r|n|j                  t        |j                  |d   «      «       Œ9 Œ‘ |t        dg|j                  |«      z  }||z   D ]  }t!        |«      |d<   Œ  |d| › dt#        |«      › dt#        |«      › d	|rd
nd› �«       t%        j$                  «       }t'        |||||¬«      \  }}t%        j$                  «       |z
  }~~t)        j*                  t,        d¬«       t(        j.                  j1                  t,        d| › d�«      }t3        j4                  |j7                  «       |«        |d|› �«       t         j                  j                  t8        t	        j
                  | «      z   «      }i dD �ci c]  }|i “Œ }}}t        | «      j                  «       D �]Ÿ  \  }}t        |j                  |d   «      }t!        |«      |d   |d   j;                  t<        «      t=        |d   «      f\  }}}}t?        ||dz  «      }|jA                  dd«       t        jB                  |tD        «      dd}}}|D ]0  }tG        |dz
  t=        tI        |dz  «      «      «      } ||||  | | }}Œ2 |||d  |t        jJ                  |dz
  t        jH                  t        jL                  t#        |«      «      tN        z  |d   z   dz  «      j;                  t<        «      «         }!t        jP                  |!d d …d d f   |d d …d d d…f   |«      }"tS        jT                  |||"«      \  }#}$||!z  t        jV                  |$tR        jX                  z
  d«         }%t#        |#«      dz  }&t[        |#dz  |# dz  |%j;                  t         j\                  «      |$tN        z  |d   z   j;                  t         j^                  «      |#d |&dz   ja                  |&d«      jc                  d«      dz  |#d |&dz   ja                  |&d«      jc                  d«       dz  |%d |&dz   ja                  |&d«      jc                  d«      dkD  j;                  t         j\                  «      d¬«      ||d   <   |je                  «       }'d |'d d …tR        jf                  f<   d!|fd"t        jh                  |«      fd#t        jj                  |t#        |«      dz  d«      fd$|'ffD ]y  \  }(})tS        jT                  ||)|d%¬&«      \  }*}+||(   jm                  |d'   g «      j                  |*dkD  |t        jV                  |+tR        jX                  z
  d«         dk(  k(  «       Œ{ �Œ¢ |jo                  «       D ��,�-ci c]Ï  \  }},|t[        tq        t        jb                  t        jr                  |,ju                  «       D �-cg c]  }-t        jr                  |-«      ‘Œ c}-«      «      «      tq        t        jv                  |,ju                  «       D �-cg c]*  }-t        jb                  t        jr                  |-«      «      ‘Œ, c}-«      «      ¬(«      “ŒÑ }.},}}-t[        d)|j                  | |t%        j$                  «       |z
  tR        jx                  tR        jX                  z   tN        z  |tz        t|        t~        |.¬*«      }/dd+l@mA}0  |0t[        d,|i|/¬-«      t…        || «      «        |d| › d.|/d/   d0›d1|d2›d3�d4j1                  d5„ |.jo                  «       D «       «      z   «       ~t†        jˆ                  d6k(  rt2        jŠ                  j�                  «        y y c c}w c c}-w c c}-w c c}-},}w )7NrX   ÚsubjectÚkeyÚFuglsang2020rÛ   ú  fold held-out=ú: z	 train / z val chance_probe=ÚonÚoff©r  T©Úexist_okzheld-r   ú  saved )Únormalr€   Ú	shift_eegÚ
no_frontalÚeegÚattÚné€   r   r�   Frå   Út0r�   é(   rV   )Úr0Úr1r;  Út_endÚr0_10Úr1_10Úatt10Úpre_switchedr[   r7  r€   r8  r9  é   )r  Úsubj_uid)ÚpooledÚsubject_medianÚ
direct_clf)Údecoderrƒ   Úheld_outÚfit_sÚtotal_sÚlookahead_sÚbest_valÚchannelsr~   Ú
attn_headsÚcontrols)Úsave_pickleÚcausal)ÚevidenceÚinfoz	 done in rO  rê   zs best_val r›   Ú z  c              3  ó8   K  — | ]  \  }}|› d |d   d›�–— Œ y­w)rY  rI  rè   Nr/   )r•   rH   rI   s      r1   r—   zrun_fold.<locals>.<genexpr>=  s)   è ø€ ÐJÑ9I±°°A�q�c˜˜1˜X™; sÐ+Ô,Ñ9Iùs   ‚rŸ   )Grð   rñ   rò   r   r   Úindexr   ÚchoiceÚsortedr,  ÚuniqueÚiterrowsr  r   rƒ   r   r   rA   rú   r*  rv   ÚmakedirsÚCKPT_DIRrE   Újoinr<   Úsaver  r   Úastyperm   r   ÚintegersÚzerosÚboolrá   ÚroundÚminimumÚaranger	   Úwherero   ÚlogitsÚmaximumrr   ÚdictÚint8Úfloat32Úreshaper«   ÚcopyÚFRONTALr­   ÚrollÚ
setdefaultr>   r©   ÚconcatenateÚvaluesÚmedianrq   ru   r…   r$   r;   rU  r
   r   rÀ   rŸ   rÁ   )1ÚheldÚexprD   r  r  Úrngrû   r
  ÚdsÚrowsÚvsr  ÚrÚtrr>  rB   r  Út_fitÚckptÚsrngrH   ÚevÚctlÚSfeatrÒ   r;  ÚT128ÚtimesÚst128ÚcurÚprevÚttÚs0ÚstÚSswÚlgÚstartsÚtruthÚn10ÚxfÚnameÚxcÚl1Ús1ÚdrI   rT  rX  rU  s1                                                    r1   Úrun_foldrš  ú   sâ  € Ü
�)‰)×
Ñ
¤ F¡¬g¯m©m¸DÓ.AÑ AÓ
B€CØ�Rˆ3€EßˆØ�Š:ØÜ�r‹{ˆØ�Z‰Zœ˜tŸ|™|×2Ñ2Ó4Ó5Ó6ˆØ—M‘M–O‰DˆAˆqØ�i‘L BÒ&‰S¨E×9Ñ9¼*ÀQÇVÁVÈQÈuÉXÓ:VÕWñ $ð ð 
Œ]˜NÐ+¨Q¯V©V°SÓ9Ñ9€EØ�cŒkˆÜ˜B“<ˆˆ4Šð áÐ
˜4˜& ¤3 u£: ,¨i¼¸C»°zð BÙ ,™°%Ð8ð	:ô ;ä	�‰‹€BÜ˜˜s C¨¸ÔF�I€CˆÜ�I‰I‹K˜"Ñ€EØˆsÜ‡K�K” 4Õ(Ü�7‰7�<‰<œ E¨$¨¨sÐ"3Ó4€DÜ	‡J�Jˆs�~‰~Ó Ô&Ùˆ(�4�&ÐÔÜ�9‰9× Ñ ¤¬¯©°dÓ(;Ñ!;Ó<€DØÑ"SÓTÑ"S˜Q�1�b‘5Ð"SˆÐT€BÜ˜“×&Ñ&×(‰ˆˆ1Ü˜Ÿ™  %¡Ó)ˆÜ& r›l¨B¨u©I°r¸%±y×7GÑ7GÌÓ7LÌcÐRSÐTWÑRXËkÐYÑˆˆq�#�tÜ! $¨¨s©
Ó3ˆØ�‰�a˜ÔÜŸ8™8 D¬$Ó/°¸�DˆsˆÛˆBÜ�T˜A‘Xœs¤5¨¨c©£?Ó3Ó4ˆBØ ˆE�$�rˆNØ˜ �‰Cð ð ˆˆdˆeˆØ”2—:‘:Ø�1‰H”b—h‘h¤§	¡	¬#¨a«&Ó 1´BÑ 6¸¸D¹Ñ AÀSÑHÓI×PÑPÔQTÓUóWñ Xˆä�h‰h�rš!˜T 4˜-Ñ(¨%²±4°R°4°©.¸%Ó@ˆÜ—Y‘Y˜s A sÓ+‰
ˆˆFØ�r‘œ2Ÿ:™: f¬r¯v©v¡o°qÓ9Ñ:ˆÜ�"‹g˜‰mˆÜØ�A‰v˜2˜# ™' u§|¡|´B·G±GÓ'<ØœB‘;  D¡Ñ)×1Ñ1´"·*±*Ó=Ø�Y�c˜B‘h�-×'Ñ'¨¨RÓ0×5Ñ5°aÓ8¸1Ñ<Ø�i�s˜R‘x�=×(Ñ(¨¨bÓ1×6Ñ6°qÓ9Ð9¸AÑ=Ø˜˜# ™(Ð#×+Ñ+¨C°Ó4×9Ñ9¸!Ó<¸sÑB×JÑJÌ2Ï7É7ÓSØôˆˆ1ˆU‰8‰ð �V‰V‹XˆØˆŠ1Œb�j‰jˆ=ÑØ" A˜¨´R·]±]À1Ó5EÐ(FØ%¤r§w¡w¨q´#°a³&¸A±+¸qÓ'AÐBÀ\ÐSUÐDVóX‰HˆD�"ä—Y‘Y˜s B¨°AÔ6‰FˆB�Ø�‰I× Ñ   :¡°Ó3×:Ñ:Ø�a‘˜S¤§¡¨B´·±©K¸Ó!;Ñ<ÀÑAÑBõDòXð5 )ðD —I‘I”Kõ!ñ  ‰DˆAˆqð 	
Œ4”uœRŸW™W¤R§^¡^ÐPQ×PXÑPXÔPZÓ4[ÑPZÈ1´R·^±^ÀAÕ5FÐPZÑ4[Ó%\Ó]Ó^Ü$¤R§Y¡YÐTU×T\ÑT\ÔT^Ó/_ÑT^Èq´·±¼¿¹ÀqÓ8IÕ0JÐT^Ñ/_Ó%`Óaôcñ 	càð ò !ô ˜¨1¯6©6¸DÈÜŸ	™	› bÑ(´r·v±vÄÇÁ±Ì"Ñ6LØ¬¼Ü%°ô:€Dõ 'Ù”˜x¨˜n°4Ô8¼)ÀCÈÓ:NÔOÙÐ
˜4˜& 	¨$¨y©/¸#Ð)>¸kÈ$ÈsÈÐSTÐUØ
�)‰)ÑJ¸¿¹Ô9IÓJÓ
Jñ	Kô LàÜ
‡x�x�6ÒÜ�
‰
×ÑÕ ð ùò[ UùòB 5\ùÚ/_ùô!s+   È&
_ØA_)Ù_ Ù"4_)Ú/_$Û_)ß
_)c                óÌ  — i }t         D ]Ø  }i ||<   | |   j                  «       D ]»  \  }}|d   |d   z
  j                  t        j                  «      }t        j                  |d d …d f   dd¬«      d d …df   }t        |«      ||   |<   |dz  j                  t        j                  «      ||   |   d<   | dz  j                  t        j                  «      ||   |   d<   Œ½ ŒÚ i }	t         D ]æ  }t        j                  t         D �
�cg c]H  }
|
|k7  rA||
   j                  «       D ]+  }|d   |d   z
  t        j                  |d   dk(  d	d
«      z  ‘Œ- ŒJ c}}
«      }t        |j                  «       «      t        |j                  «       «      }}t        j                   |||||t"        z  ft$        ¬«      }||	|<    |d|› d|d   d›d|d   d›�«       Œè t        t        j                  t         D �
cg c]
  }
|	|
   d   ‘Œ c}
«      «      }t        t        j                  t         D �
cg c]
  }
|	|
   d   ‘Œ c}
«      «      } |d|d›d|d›�«       |	||fS c c}}
w c c}
w c c}
w )Nr@  rA  ç      >@ç      Ð?©Útaurî   r   r�   r;  ç      ð?ç      ð¿©ÚemisÚp_stayz  HP30 LODO ú  H ÚHr›   ú  Acc ÚAccú.2fz  HP30 LODO MEAN  H )r   r>   rd  rð   Úfloat64ÚV4Úhighpassrn  rp  rv  rw  rk  r©   r«   ÚstdÚSÚscore_datasetÚSCALEÚP_STAY)r„  ÚlarD   Úhp_evr|  r-  ÚeÚsignedÚhpÚperr™  rÄ   ÚmurF   r  ÚmHÚmAs                    r1   Ú
score_hp30r»  C  sI  € Ø€EßˆØˆˆb‰	Ø˜‘f—l‘l–n‰FˆC�Ø˜‘g  $¡Ñ'×/Ñ/´·
±
Ó;ˆFÜ—‘˜V¢A t G™_°$¸DÔAÂ!ÀQÀ$ÑGˆBÜ! !›WˆE�"‰I�c‰NØ$&¨¡F§?¡?´2·:±:Ó#>ˆE�"‰I�c‰N˜4Ñ Ø%' C¨!¡G×#3Ñ#3´B·J±JÓ#?ˆE�"‰I�c‰N˜4Ò ñ %ð ð €CßˆÜ�N‰NÝ%,ôTÙ%, °°R²ÀÀqÁÇÁÖAR¸Að ˜t™W q¨¡wÑ.´"·(±(¸1¸U¹8Àq¹=È#ÈtÓ2TÓTØARð UØ%,òTó Uˆä�q—v‘v“x“¤%¨¯©«£.ˆBˆÜ�O‰O˜B  r°°R¼%±ZÐ0@ÌÔPˆØˆˆB‰Ùˆl˜2˜$˜d 1 S¡6¨# ,¨f°Q°u±X¸c°NÐCÕDð ô 
Œr�w‰w­WÓ5©W¨˜˜A™˜s›¨WÑ5Ó6Ó	7€BÜ	Œr�w‰w­wÓ7©w¨!˜˜A™˜u›¨wÑ7Ó8Ó	9€BÙÐ
˜r #˜h f¨R°¨HÐ5Ô6Ø��Bˆ;ÐùóTùò 6ùÚ7s   ÄAIÇ1IÈ'I!c                óÆ  — t         j                  t         j                  z   t        z  }t	        j
                  t        d«      \  }}i }t        D ]ô  }t        j                  t        D ��cg c]H  }||k7  rA||   j                  «       D ]+  }|d   |d   z
  t        j                  |d   dk(  dd«      z  ‘Œ- ŒJ c}}«      }	t        |	j                  «       «      t        |	j                  «       «      }}
t	        j                  ||||
|t         z  ft"        ¬«      }|||<    | d	|› d
|d   d›d|d   d›d|d   d›d|d   d›�
«       Œö t        t        j                  t        D �cg c]
  }||   d   ‘Œ c}«      «      }t        t        j                  t        D �cg c]
  }||   d   ‘Œ c}«      «      } | d|d›d|d›�«       t%        ||| «      \  }}}t        j                  t        D ��cg c]C  }||   j                  «       D ]+  }|d   |d   z
  t        j                  |d   dk(  dd«      z  ‘Œ- ŒE c}}«      }	t        |	j                  «       «      t        |	j                  «       «      }}
 | d|
d›d|d›dt         › �«       t&        j(                  j+                  |j,                  t/        t0        d   «      ¬«       t3        j4                  t6        d¬«       t3        j4                  t2        j8                  j;                  t<        «      d¬«       dD �ci c]1  }|t2        j8                  j?                  t6        d|› t@        › d�«      “Œ3 }}tC        d „ |j                  «       D «       «      �rþt2        j8                  jE                  t<        «      r„t        jF                  tH        d!tJ        «      jM                  tN        «      }|jQ                  tS        jT                  t<        tN        d"¬#«      d"¬$«       |jW                  «         | d%t<        › �«       �nbt        jX                  j[                  t\        d&   d'z   «      }g g }}t        D ]‰  }t_        |«      }|ja                  tc        |jd                  jg                  «       «      «      }|ji                  «       D ]7  \  }}|d(   |k(  r|n|jk                  tm        |j,                  |d)   «      «       Œ9 Œ‹ |to        d*g|j,                  | «      z  }||z   D ]  }tq        |«      |d+<   Œ  | d,ts        |«      › d-ts        |«      › �«       tu        ||| |d"¬.«      \  }}tS        jv                  |jy                  «       t<        «        | d/t<        › d0|d›�«       ~~|j{                  «       D �]¯  \  }}t2        j8                  jE                  |«      rŒ'i }t'        j|                  |«      } | d1|› d2ts        |«      › d3�«       t        |«      D �]  \  }}t        j€                  ||d4   tq        |«      «      \  }} |d   jƒ                  t„        «      t        j†                  | t         j                  z
  d«         }!t‰        |d5z  | d5z  |!jƒ                  t        jŠ                  «      | t        z  |d6   z   jƒ                  t        jŒ                  «      |d7   |d8   |d(   ¬9«      ||d)   <   |d:z   d;z  dk(  s|d:z   ts        |«      k(  sŒù | d<|› d=|d:z   › d>ts        |«      › �«       �Œ t�        |d?«      5 }"t‘        j’                  ||"«       d d d «        | d@|› �«       �Œ² ~tN        j”                  dAk(  rtR        j–                  j™                  «        g }#t        D ]—  }||   j                  «       D ]  }|d   |d   z
  jƒ                  t        jš                  «      }$t�        jž                  |$d d …d f   dBdC¬D«      d d …df   }%|#jk                  |%t        j                  |d   dk(  dd«      z  «       Œ� Œ™ t        t        j                  |#«      j                  «       «      }&t        t        j                  |#«      j                  «       «      }'i }(|j{                  «       D �]¦  \  }}t�        |dE«      5 }"t‘        jT                  |"«      }d d d «       t'        j                   |
|t         z  t"        dF«      }i })|j{                  «       D ]²  \  }*}|d   |d   z
  jƒ                  t        jš                  «      }$t�        jž                  |$d d …d f   dBdC¬D«      d d …df   }%t‰        |«      |)|*<   |%d5z  jƒ                  t        jŒ                  «      |)|*   d<   |% d5z  jƒ                  t        jŒ                  «      |)|*   d<   Œ´ t'        j                   |)|&|'t         z  t"        dF«      }+t'        j¢                  |«      },t‰        i |¥dG|,dG   i¥|+¬H«      |(|<    | dI|› d
|d   d›dJ|d   d›dK|,dG   d›�«        | dL|› d
|+d   d›dJ|+d   d›�«       �Œ© ||(|
|||||||f
S c c}}w c c}w c c}w c c}}w c c}w # 1 sw Y   �Œ'xY w# 1 sw Y   �Œ·xY w)MNrV  r@  rA  r;  r   r   r¡  r¢  z  PRESET LODO r¥  r¦  r›   r§  r¨  r©  z  L ÚLrè   z  SDT ÚSDTz  PRESET LODO MEAN  H z  external emissions mu z sd ú scale rQ   )rƒ   rQ   Tr4  ©ÚAASDÚ	Carta2026Úext_clf_z_evidence.pklc              3  ó\   K  — | ]$  }t         j                  j                  |«       –— Œ& y ­wr‘   )rv   rE   Úexistsr”   s     r1   r—   zscore_preset.<locals>.<genexpr>u  s#   è ø€ Ð
<Ñ*; QŒr�w‰w�~‰~˜aÓ Ô Ñ*;ùs   ‚*,r7   Fr4   r8   z	  loaded rX   éc   r,  r-  r.  rÛ   z  all-5 train z / val r3  r6  z
 best val z  external r0  z trialsr:  r�   r>  Úatt128Ún128©r@  rA  r;  rB  rÇ  rÈ  r,  rå   r?  z    rY  Ú/Úwbz  wrote rŸ   rœ  r�  rž  Úrbç      è?Úacc1)ÚrawÚhp30z  PRESET EXT ú Acc ú acc1 z  PRESET EXT_hp30 )Rro   rq   rr   r	   r®  Ú
load_foldsÚEXP_NAMEr   rð   rv  rw  rk  r©   r«   r­  r¯  r°  r±  r»  rÃ   ÚCONFÚupdaterƒ   r·   r   rv   r`  ÚEXT_DIRrE   ÚdirnameÚALL5_PTrb  r‡   ÚanyrÅ  r¢   ru   r…   r£   r   r@   r<   r=   r¤   rñ   rò   r   r   r\  r]  r,  r^  r_  r  r   r   r   rA   r*  rc  r  r>   Ú
ext_trialsÚ	enumeraterl  rd  rm   rm  rn  ro  rp  ÚopenÚpickleÚdumprÀ   rŸ   rÁ   rª  r«  r¬  ÚscoreÚplain)-rD   r  r²  r„  r  r·  r|  r™  r´  rÄ   r¸  rF   r  r¹  rº  Úhp_perÚhp_mHÚhp_mAÚev_pathsrB   r{  rû   r
  r}  r~  r€  r  rE   ÚEVÚtrialsr&  r�  r‘  r’  ÚfhÚhp_partsrµ  r¶  Úmu_hpÚsd_hpÚextÚEV_hpr-  Úr_hprá  s-                                                r1   Úscore_presetrï  [  s	  € Ü
�&‰&”2—6‘6‰/œRÑ	€BÜ�L‰Lœ 8Ó,�E€BˆØ
€CßˆÜ�N‰NÝ%,ôQÙ%, °°R²ÀÀAÁÇÁÆ¸Að ˜t™W q¨¡wÑ.´"·(±(¸1¸U¹8Àq¹=È#ÈtÓ2TÓTØAOð UØ%,òQó Rˆä�q—v‘v“x“¤%¨¯©«£.ˆBˆÜ�O‰O˜B  B¨b°"´u±*Ð-=ÄfÔMˆØˆˆB‰Ùˆn˜R˜D  Q s¡V¨C L°°q¸±xÀ°nð EØ�3‘˜�˜F 1 U¡8¨C .ð2õ 	3ð ô 
Œr�w‰w­WÓ5©W¨˜˜A™˜s›¨WÑ5Ó6Ó	7€BÜ	Œr�w‰w­wÓ7©w¨!˜˜A™˜u›¨wÑ7Ó8Ó	9€BÙÐ
   C ¨¨r°#¨hÐ7Ô8Ü% b¨"¨cÓ2Ñ€FˆE�5ä
�‰Ý")ôDÙ")˜B°2°b±6·=±=¶?¨að ˜4™ 1 T¡7Ñ*¬b¯h©h°q¸±xÀ1±}ÀcÈ4Ó.PÓPØ3Bð QØ")òDó 	E€Aä�1—6‘6“8‹_œe A§E¡E£G›nˆ€BÙÐ
" 2 c (¨$¨r°#¨h°g¼e¸WÐEÔFÜ‡F�F‡M�M�q—v‘v¤t¬A¨i©LÓ'9€MÔ:Ü‡K�K” $Õ'Ü‡K�K”—‘—‘¤Ó(°4Õ8á/ó1Ù/�Bð ”B—G‘G—L‘L¤¨H°R°D¼¸¸]Ð*KÓLÑLØ/ð ð 1ä
Ñ
<¨(¯/©/Ô*;Ó
<Õ<Ü�7‰7�>‰>œ'Ô"Ü—,‘,œu a¬Ó2×5Ñ5´cÓ:ˆCØ×Ñ¤§
¡
¬7ÄÐSXÔ YØ',ð  ô .à�H‰HŒJÙ�)œG˜9Ð%Ö&ä—)‘)×'Ñ'¬¨F©°bÑ(8Ó9ˆCØ˜R�3ˆEß�Ü˜r“{�Ø—Z‘Z¤ t§|¡|×':Ñ':Ó'<Ó =Ó>�Ø ŸM™MžO‘D�A�qØ˜i™L¨BÒ.‘S°E×AÑAÄ*ÈQÏVÉVÐUVÐW\ÑU]ÓB^Õ_ñ ,ð ð
 ”] NÐ#3°Q·V±V¸SÓAÑAˆEØ˜c”k�Ü# B›<��4’ð "á�.¤ U£ ¨G´C¸³H°:Ð>Ô?Ü  s¨C°ÀÔG‰IˆC�Ü�J‰J�s—~‘~Ó'¬Ô1Ù�(œ7˜) :¨d°3¨ZÐ8Ô9Ø�sØ Ÿ™×(‰HˆB�Ü�w‰w�~‰~˜dÔ#ØØˆBÜ—\‘\ "Ó%ˆFÙ�+˜b˜T ¤C¨£K =°Ð8Ô9Ü" 6×*‘��2ÜŸY™Y s¨B¨u©I´xÀ³|ÓD‘
��FØ˜5™	×(Ñ(¬Ó-¬b¯j©j¸Ä"Ç&Á&¹È!Ó.LÑM�Ü $Ø˜A‘v 2 #¨¡'¨u¯|©|¼B¿G¹GÓ/DØ!¤B™;¨¨D©Ñ1×9Ñ9¼"¿*¹*ÓEØ˜h™<¨b°©jÀ"ÀYÁ-ô!Q��2�e‘9‘ð ˜‘E˜R‘< 1Ò$¨¨A©´°V³Ó(<Ù˜$˜r˜d ! A¨¡E 7¨!¬C°«K¨=Ð9Ö:ð +ô �d˜DÔ! RÜ—‘˜B Ô#÷ "á�(˜4˜&Ð!Ö"ð# )ð$ Ü�8‰8�vÒÜ�J‰J×"Ñ"Ô$à€HßˆØ�B‘—‘–ˆAØ˜‘g  $¡Ñ'×/Ñ/´·
±
Ó;ˆFÜ—‘˜V¢A t G™_°$¸DÔAÂ!ÀQÀ$ÑGˆBØ�O‰O˜B¤§¡¨!¨E©(°a©-¸¸dÓ!CÑCÕDñ !ð ô
 ”"—.‘. Ó*×/Ñ/Ó1Ó2€EÜ”"—.‘. Ó*×.Ñ.Ó0Ó1€Eà
€CØ—N‘N×$‰ˆˆDÜ�$˜Ô Ü—‘˜R“ˆB÷ ä�G‰G�B˜˜B¤™J¬°Ó5ˆØˆØ—h‘h–j‰FˆC�Ø˜‘g  $¡Ñ'×/Ñ/´·
±
Ó;ˆFÜ—‘˜V¢A t G™_°$¸DÔAÂ!ÀQÀ$ÑGˆBÜ˜a›ˆE�#‰JØ " Q¡Ÿ™¬r¯z©zÓ:ˆE�#‰J�tÑØ!#  a¡×/Ñ/´·
±
Ó;ˆE�#‰J�tÒð !ô �w‰w�u˜e U¬U¡]´F¸DÓAˆÜ—‘˜“ˆÜÐ7˜aÐ7 ¨¨v©Ñ7¸dÔCˆˆB‰Ùˆm˜B˜4˜t A c¡F¨3 <¨u°Q°u±X¸c°NÀ&ÈÈvÉÐWZÐH[Ð\Ô]ÙÐ    D¨¨c©°3¨°u¸TÀ%¹[ÈÐ<MÐNÖOð %ð  ��R˜˜R  V¨U°E¸8ÐCÐCùóyQùò 6ùÚ7ùóDùò1÷P "Ñ!ú÷$ Ñús8   Á)Ah.Å!h4Æh9Ç*Ah>
Ì6iÜi	âié	i	éi 	c                ó  — 	 ddl }ddl}ddl}	 |j	                  t
        j                  j                  |j                  d«      «      }|j	                  t
        j                  j                  |j                  d«      «      }	|j                  ||	«      }
t        t        «      }i }dD �]û  }t        | |   d«      5 }t        j                  |«      }ddd«       |
|   }i }j                  «       D �]E  \  }}||vrŒt!        j"                  |d	   t         j$                  «      t!        j"                  |d
   t         j$                  «      z
  }t!        j"                  ||   d	   t         j$                  «      }t'        t)        |«      t)        |«      «      }||d| z  d|z
  |d| z  z   }t+        |dz  j-                  t         j.                  «      | dz  j-                  t         j.                  «      |d   d| |d   d| |j1                  d«      |j1                  d«      |j1                  d«      ¬«      ||<   �ŒH t3        j4                  |||t6        z  t8        d«      }t3        j:                  |«      }i |¥d|d   i¥||<    |d|d›d|› d|d   d›d|d   d›d|d   d›�
«       �Œþ t+        ||¬«      S # t        $ r} |d|›�«       Y d}~yd}~ww xY w# t        $ r} |d|›�«       Y d}~yd}~ww xY w# 1 sw Y   �Œ'xY w) uÞ   Soft a=TIP_FUSE_A blend of this clf â†” Acc tip hard_abs_swmix|t1 (external).

    Natural Acc fuse when tip caches exist. Selection is not re-run on AASD labels;
    report fuse Acc vs pure Acc. Returns dict or None.
    r   Nz  tip-fuse import skip: zsw2_external_a05.pklzswmix_external.pklz  tip-fuse tip-build skip: rÀ  rÌ  r@  rA  r   r�   r;  rB  rÇ  rÈ  r,  rÉ  rÍ  rÎ  z  TIP_FUSE_ar©  z EXT r¥  r¦  r›   rÑ  r¨  rÒ  rè   )r  Úexternal)Úsw2_swmix_blendÚtip_sdur_abs_gateÚsw2_hp30_blendÚ	ExceptionÚload_pklrv   rE   rb  Ú	CACHE_DIRÚbuild_tip_ext_evr©   r(   rÝ  rÞ  r=   r>   rð   Úasarrayrª  rá   rA   rn  rd  rp  rx   rÃ   rà  r°  r±  rá  )Úour_ev_pathsr¸  rF   rD   ÚSMÚTIPÚSW2r´  ÚEV_sw2Úsm_extÚtip_extr  Úoutr|  rè  ÚourÚtipÚblendedr-  ÚoursÚtipsr<  r™  r  rá  s                            r1   Úsoft_fuse_tip_extr  ¿  s¶  € ðÛ$Û'Û$ðØ—‘œbŸg™gŸl™l¨3¯=©=Ð:PÓQÓRˆØ—‘œRŸW™WŸ\™\¨"¯,©,Ð8LÓMÓNˆØ×&Ñ& v¨vÓ6ˆô 	ŒjÓ€AØ
€CÜ#ˆÜ�,˜rÑ" DÔ)¨RÜ—+‘+˜b“/ˆC÷ *à�b‰kˆØˆØ—i‘i—k‰FˆC�Ø˜#‰~Øä—J‘J˜q ™w¬¯
©
Ó3´b·j±jÀÀ4ÁÌ"Ï*É*Ó6UÑUˆDÜ—:‘:˜c #™h t™n¬b¯j©jÓ9ˆDÜ”C˜“Iœs 4›yÓ)ˆAØ�D˜˜!�H‘  a¡¨4°°¨8Ñ3Ñ3ˆAÜØ˜‘E—>‘>¤"§*¡*Ó-Ø�B˜‘F—?‘?¤2§:¡:Ó.Ø�e‘H˜R˜a�LØ˜‘j  !�nØ—u‘u˜X“Ø—U‘U˜6“]ØŸ™˜iÓ(ôˆG�C‹Lð "ô" �G‰G�G˜R ¤e¡¬V°TÓ:ˆÜ—‘˜Ó ˆØ.�QÐ.˜  f¡Ñ.ˆˆB‰Ùˆl˜1˜S˜'  r d¨$¨q°©v°c¨l¸%ÀÀ%ÁÈ¸~ð NØ˜&‘M #Ð&ð(ö 	)ð3 $ô6 �!˜cÔ"Ð"øôO ò ÙÐ& q eÐ,Ô-Üûðûô ò ÙÐ)¨!¨Ð/Ô0Üûðú÷ *Ñ)ús;   ‚J2 �BK Â9K4Ê2	KÊ;KËKË	K1ËK,Ë,K1Ë4K>	c                ó~  — t        dd¬«      }t        d¬«      }t        d¬«      }t        d¬«      }t        }|dk(  r|d	   d
   nd }|
r#|dk(  r|
d   d	   }|d   |d   kD  r|}d|
d   d›�}ddddt        › dt        › d�dddd|d›dt        › dt
        › dt        › dt        › d�ddt        › dt        › d �dg}|d!k(  rE|d"|	› �dd#dd$dgz  }t        t        d%«      j                  d&j                  |«      «       t        |d fS |g d'¢z  }t        D ]K  }| |   ||   }}|j                  d(|› d)|d*   d›d)|d   d›d)|d*   d›d+|d   d›d,|d-   d›d+|d.   d›d/�«       ŒM |d0|d›d1|d›d1|d›d+|d›d2|d-   d›d+|d.   d›d3|d4   › d5|d4   › d/�dd6dd7d8d9|d	   d
   d*   d›d)|d	   d
   d   d›d)|d	   d:   d*   d›d+|d	   d:   d   d›d;|d	   d
   d   |z
  d<›d;|d	   d
   d   |d4   z
  d<›d;|d	   d
   d   |d4   z
  d<›d;|d	   d
   d   |d4   z
  d<›d/�d=|d>   d
   d*   d›d)|d>   d
   d   d›d)|d>   d:   d*   d›d+|d>   d:   d   d›d?�	dg	z  }|
rY|
d   d	   }|
d   d>   }|d@|
d   d›dA�ddBdCd9|d*   d›d)|d   d›d)|d   |z
  d<›d/�d=|d*   d›d)|d   d›dD�ddE|› dF|d   d›dG�dg	z  }|dHddIdJdK| dL   d*   dMk\  r| dL   d   dNk\  rdOndP› dQ| dL   d*   d›d+| dL   d   d›dR�dS| dT   d*   dMk\  rdOndP› dQ| dT   d*   d›dR�dU|d   dVkD  r
|d*   dWkD  rdOndP› dQ|d*   d›d+|d   d›dX|d	   d
   d   d›dY|d	   d:   d   d›dR�dZ|d   |z
  d<›d[|d	   d
   d   |z
  d<›d\|d	   d:   d   |z
  d<›dR�d]|d   dVkD  rd^nd_› d/�d`|d   |kD  rd^nd_› d/�dd#ddadgz  }t        t        d%«      j                  d&j                  |«      «       t        ||fS )bNg–!Žuqé?g)\�ÂõR@)Úmean_HÚmean_Accgö(\�ÂuJ@)Úaasdg�Âõ(\oJ@g×£p=
wJ@ÚdonerÁ  rÏ  rñ  r¨  Ú
tip_fuse_ar  r©  z# results_speech_xattn_decÚ zM**Multi-head cross-attn decoder: speech-env tokens as KV, EEG latents as Q**.uW   SPK-init VLAAI â†’ EEG latents h; causal DW+Linear speech tokens; pre-norm MHCA (heads=z, speech_kern=uK   ); `out_proj` zero-init â‡’ identity @step 0. SPK remap `bb.*`â†’`bb.bb.*`.uÅ   **Novelty:** â‰  `temp-attn-spk` (temporal self-attn Q=K=V=h); â‰  `speech-resid` (FiLM/additive speech residual before VLAAI); â‰  `aux-env-spk` (aux env MSE); â‰  failed from-scratch `env_xattn`.zSwap-test delta=r›   z. Prep `eaP_n5_t60`, sw2, max u    epÃ—250, batch z. HMM p_stay r¿  z; also hp30.zsCode: `speech_xattn_dec_lodo.py` / `decoders.SpeechXAttnVLAAI`. Checkpoints: `models/speech_xattn_dec/held-*.pt`, `z
`. JSON: `ú`.Ú	abandonedz**ABANDONED**: z## NEXT IDEAz¹Speech cross-attn decoder into SPK did not clear chance. Prefer a qualitatively new Acc frame (not vlaai residual/FiLM/self-attn/cross-attn, not noise-aug/emis-shift/SSL/Path A/tip PP).ÚwÚ
)z## LODO (preset)r  z:| Held-out | H | Acc % | hp30 H/Acc | vs published vlaai |z|---|---:|---:|---|---|z| z | r¦  rÊ  z | pub r	  r
  z |z| **mean** | **z** | **z	** | pub z; temp-attn AASD r  z; speech-resid z## External (preset)zU| Set | H | Acc % | hp30 H/Acc | Acc tip 53.53 | temp-attn | speech-resid | aux-env |z#|---|---:|---:|---|---|---|---|---|z	| AASD | rÐ  u    | Î”ú+.2fz| Carta2026 | rÂ  u    | â€” | â€” | â€” | â€” |z## Tip Acc soft fuse (a=r:   u   | Set | H | Acc % | Î”tip |z|---|---:|---:|---:|u    | â€” |z**Headline stream:** `z` (AASD Acc z).z
## Targetsz| Target | Result |z	|---|---|z| AVGC H>=0.85 Acc>=78 | ÚAVGCg333333ë?éN   ÚmetÚmissré   z) |z| UHD H>=0.85 | ÚUHDz| AASD Acc>60 with H>0.63 | é<   g)\�Âõ(ä?z; pure z; hp30 u   | AASD Acc vs tip 53.53 | Î” u
    (pure Î” u
   ; hp30 Î” z| Acc>60? | ÚYESÚNOz| Tip moved? | u@  If speech-xattn â‰ˆ temp-attn/speech-resid/aux-env (~52â€“53 AASD Acc): close SPK-vlaai attention/FiLM residual family. Prefer a qualitatively new Acc frame â€” e.g. causal dual-stream matching head, or subject-invariant contrastive AAD front-end â€” not noise-aug / emis-shift / SSL / Path A / switch-schedule / tip PP.)rn  ÚLEADER_AASDr$   r%   r   r   r±  r°  rÙ  ÚOUT_JSONrÝ  Ú
RESULTS_MDÚwriterb  r   r  )r·  rì  r¹  rº  râ  rã  rä  Ú
swap_deltaÚstatusÚchance_noteÚtip_fuseÚ	head_nameÚpubÚtempÚspeechÚauxÚleaderÚheadÚtfÚlinesr|  r  ÚhÚtf_aÚtf_cs                            r1   Úwrite_resultsr0  ó  sÅ  € ä
�f uÔ
-€CÜ�UÔ€DÜ�uÔ€FÜ
�EÔ
€CÜ€FØ!'¨6Ò!1ˆ3ˆv‰;�uÒ°t€DÙ�F˜fÒ$Ø�jÑ! &Ñ)ˆØˆe‰9�t˜E‘{Ò"ØˆDØ$ X¨c¡]°3Ð$7Ð8ˆIà$Ø
ØWð Ü *˜|¨>¼+¸ð GSð	Sð 	ð	Pð 	Ø
˜: cÐ*Ð*HÌÈð UÜ��}¤V H¨G´E°7¸,ð	Hà
ð>Ü>E¸YÀjÔQYÐPZÐZ\ð	^à
ð#€Eð& �ÒØØ˜k˜]Ð+ØØØð;ð ð	
ñ 		
ˆô 	ŒZ˜Ó×#Ñ# D§I¡I¨eÓ$4Ô5Ü˜9 dÐ*Ð*à	ò ñ €E÷ ˆØ�2‰w˜˜r™
ˆ1ˆØ�‰Ø���C˜˜#™˜s�| 3 q¨¡x° n°C¸¸#¹¸s°|À1ÀQÀuÁXÈcÀNð SØ�x‘= Ð% Q s¨:¡°sÐ&;¸2ð?õ	@ð ð
 
Ø
˜"˜S˜ ¨¨C¨°¸¸c°{À!ÀEÈ#À;ð OØ�8‰}˜SÐ!  3 z¡?°3Ð"7Ð7HÈÈfÉÈð WØ˜v™Ð' rð	+ð 	ØØ
Ø_Ø-Ø
�C˜‘K Ñ& sÑ+¨CÐ0°°C¸±KÀÑ4FÀuÑ4MÈcÐ3RÐRUØˆv‰;�vÑ˜sÑ# CÐ
(¨¨#¨f©+°fÑ*=¸eÑ*DÀSÐ)Ið JØ�‰[˜Ñ Ñ&¨Ñ/°Ð5ð 6Ø�‰[˜Ñ Ñ&¨¨f©Ñ5°dÐ;ð <Ø�‰[˜Ñ Ñ&¨°©Ñ7¸Ð=ð >Ø�‰[˜Ñ Ñ&¨¨V©Ñ4°TÐ:¸"ð	>ð ˜˜[Ñ)¨%Ñ0°Ñ5°cÐ:¸#¸cÀ+Ñ>NÈuÑ>UÐV[Ñ>\Ð]`Ð=aÐadØˆ{Ñ˜FÑ# CÑ(¨Ð
-¨Q¨s°;Ñ/?ÀÑ/GÈÑ/NÈsÐ.Sð T"ð	#ð 	ð%ñ €Eñ( Ø˜
Ñ# FÑ+ˆØ˜
Ñ# KÑ0ˆØØ& x°¡}°SÐ&9¸Ð;ØØ)Ø"Ø˜˜S™	 #� c¨$¨u©+°cÐ):¸#¸dÀ5¹kÈFÑ>RÐSWÐ=XÐXZÐ[Ø˜T #™Y s˜O¨3¨t°E©{¸3Ð.?¸xÐHØØ$ Y Kð 0Ø˜e™ SÐ)¨ð-àð
ñ 	
ˆð 
ØØ
ØØØ
#Ø˜‘K Ñ$¨Ò,°°V±¸UÑ1CÀrÒ1I‰5ÈvÐ
Vð WØ�‰K˜Ñ˜SÐ!  3 v¡;¨uÑ#5°cÐ":¸#ð	?ð Ø˜‘J˜s‘O tÒ+‰5°Ð
8¸¸3¸u¹:Àc¹?È3Ð:OÈsð	Tà
&Ø˜‘K "Ò$¨¨c©°TÒ)9‰5¸vÐ
Fð GØ�‰I�cˆ?˜!˜D ™K¨Ð,ð -Ø�F‘˜EÑ" 5Ñ)¨#Ð.¨g°c¸&±kÀ&Ñ6IÈ%Ñ6PÐQTÐ5UÐUXð	Zð (¨¨U©°fÑ(<¸TÐ'Bð CØ˜‘K Ñ& uÑ-°Ñ6°tÐ<ð =Ø�v‘;˜vÑ& uÑ-°Ñ6°tÐ<¸Cð	Að Ø˜‘K "Ò$‰5¨$Ð
/¨rð	3à
Ø˜‘K &Ò(‰5¨dÐ
3°2ð	7à
ØØ
ð	$ð
 	ð;ñ €Eô> 	Œ�SÓ×Ñ §	¡	¨%Ó 0Ô1Ü�y $Ð&Ð&r0   c                óø  — t         j                  j                  t        dd«      }t	        |«      j                  «       j                  «       }g }|D ][  }d|v rD|j                  d«      }t        |«      dk\  r%d| › d�|d<   |r	d|› d�|d<   dj                  |«      }|j                  |«       Œ] t	        |d	«      j                  d
j                  |«      |r|d   j                  d
«      s	d
z   «       y dz   «       y )Nr   z	CLAIMS.mdz| speech-xattn-dec |Ú|rh   rY  rG  é   r  r  r�   r  )rv   rE   rb  r   rÝ  ÚreadÚ
splitlinesÚsplitrA   r  r  Úendswith)r!  ÚnoterE   r}  r  ÚlineÚpartss          r1   Ú
mark_claimr;  r  sß   € Ü�7‰7�<‰<œÐ.°Ó<€DÜ�‹:�?‰?Ó×'Ñ'Ó)€DØ
€CÛˆØ! TÑ)Ø—J‘J˜s“OˆEÜ�5‹z˜QŠØ˜v˜h a˜=��a‘ÙØ!" 4 &¨˜{�E˜!‘HØ—x‘x “�Ø�
‰
�4Õð ô 	ˆˆsƒO×Ñ˜$Ÿ)™) C›.±DÀÀbÁ×ARÑARÐSWÔAX¨DÑaÕbÐ^`ÑaÕbr0   c                óŠ  — t         j                  j                  t        dd«      }t	        |«      j                  «       }|j                  «       }g }|D ]C  }d|v r,|j                  «       j                  d«      sd|v r	d|v rd|vrŒ3|j                  |«       ŒE dj                  |«      }dd l
}|j                  d	d
|d¬«      }|j                  dd|d¬«      }d|v r0d|j                  d«      d   d d vr|j                  dd| › d�d«      }t	        |d«      j                  ||j                  d«      s	dz   «       y dz   «       y )Nr   zSTATUS_GAPS.mdr'   )z1.z2.z3.z4.Ú-z	In flightzRecently closedr  r   z
Updated:.*z.Updated: 2026-10-30 (speech-xattn-dec closed).rå   ©Úcountz5\*\*NEXT:\*\* prefer \*\*speech-xattn-dec\*\*[^\n]*\nz|**NEXT:** see results_speech_xattn_dec.md NEXT IDEA (not noise-aug / emis-shift / SSL / Path A / switch-schedule / tip PP).
z## Recently closedi„  z## Recently closed
u/   ## Recently closed

- **speech-xattn-dec** â€” r  r  )rv   rE   rb  r   rÝ  r4  r5  Ústripr?   r  ÚreÚsubr6  Úreplacer  r7  )r8  rE   Útextr,  r  r9  Útext2rA  s           r1   Úupdate_status_gapsrF  ‚  sU  € Ü�7‰7�<‰<œÐ.Ð0@ÓA€DÜ�‹:�?‰?Ó€DØ�O‰OÓ€EØ
€CÛˆØ Ñ%Ø—
‘
“×'Ñ'Ð(EÔFÈ+ÐY]ÑJ]à! TÑ)Ð.?ÀtÑ.KØØ�
‰
�4Õð ð �I‰I�c‹N€EãØ�F‰FØØ
8Ø�Qð ó €Eð
 �F‰FØ@ð	Tà�Qð	 ó €Eð
 ˜uÑ$Ð);À5Ç;Á;ÐOcÓCdÐefÑCgÐhlÐilÐCmÑ)mØ—‘Ø"Ø?À¸vÀRÐHØóˆô 	ˆˆsƒO×Ñ˜%¨u¯~©~¸dÔ/C 4ÑLÕMÈÑLÕMr0   c                óº   — t         j                  j                  t        dd«      }t	        |d«      5 }|j                  d| › d�«       d d d «       y # 1 sw Y   y xY w)Nr   zALREADY_TRIED.mdr  z
- **speech-xattn-dec** (z)
)rv   rE   rb  r   rÝ  r  )r8  rE   rè  s      r1   Úappend_alreadyrH  £  sE   € Ü�7‰7�<‰<œÐ.Ð0BÓC€DÜ	ˆd�CŒ˜BØ
�‰Ð-¨d¨V°3Ð7Ô8÷ 
�‰ús   ²AÁAc                óÐ  — | �| d   t         k  r |d| r| d   nd › d�«       yt        j                  j                  t        dd«      }t        |«      j                  «       }dd l}|j                  dd	|› d
| d   d›�|d¬«      }||k(  r1t        |d«      j                  d| d   d›d|› dt         › d|› d�	«       nt        |d«      j                  |«        |d| d   d›d|› �«       y)Nr¨  z+  CURRENT_BEST Acc tip unchanged (head Acc r:   Fr   zCURRENT_BEST.mdr   z0(\| External Acc \| )[^\|]+(\| AASD \*\*)[0-9.]+z\1speech-xattn-dec (z) \2r©  rå   r>  r  z5

### Acc tip UPDATED by speech-xattn-dec
AASD Acc **z** via `z` (was z). See `z`.
r  u!     CURRENT_BEST Acc tip moved â†’ ú via T)
r  rv   rE   rb  r   rÝ  r4  rA  rB  r  )r*  r$  ÚrpathrD   r  ÚtxtrA  Útxt2s           r1   Úmaybe_update_current_bestrN  ©  s  € Ø€|�t˜E‘{¤kÒ1ÙÐ9É¸$¸uº+ÐSWÐ9XÐXYÐZÔ[ØÜ�7‰7�<‰<œÐ.Ð0AÓB€DÜ
ˆt‹*�/‰/Ó
€CÛØ�6‰6Ø;Ø 	˜{¨$¨t°E©{¸3Ð.?Ð@Ø�1ð ó €Dð ˆs‚{ÜˆT�3‹×ÑðØ˜u™+ cÐ*¨(°9°+¸WÄ[ÀMð RØ�7˜$ð õ	!ô
 	ˆT�3‹×Ñ˜dÔ#ÙÐ
+¨D°©K¸Ð+<¸EÀ)ÀÐMÔNØr0   c                 ód  — t        «        t        t        «      } t        «       }t	        dd«        | dt
        › dt        › dt        › dt        › dt        j                  › dt        › d	t        › d
t        › dt        › d�«       	 t        | «      \  }}}	 t        j(                  t*        dt,        «      j/                  t        «      }t1        ||j2                  | «       |j5                  «        t7        j8                  t        t        j                  t*        t        ¬«      }t7        j8                  t        t        j                  ddt        ¬«      }t;        j<                   |||«      t7        j>                  t        t        ¬«      «      }	|	jA                  «        t        jB                  dk(  r3 | dt        › dt6        jD                  jG                  «       dz  d›d�«       ~~~~	t        jB                  dk(  rt6        jD                  jI                  «        tM        d„ tN        D «       «      }
	 tN        D ]Y  }tQ        t
        |«      }tR        jT                  jW                  |«      r | d|› d |› �«       d!}
ŒCtY        |t
        | ||
 ¬"«       d!}
Œ[ 	 ts        | |«      \
  }}}}}}}}}}tu        |||| «      }t%        |||||||||¬3«	      \  }}}tw        |||| «      }ta        dti d4t
        “d5d6“d7d8“d9d:“d;t,        “d<t        “d=t        “d>tx        d>   “d?d@“dAtz        “dBt        “dCt        “dDt|        “dEt        “dFtx        dF   “dGdH“dItx        dI   “dJta        |||¬+«      “dKta        t~        t€        ||tN        D �ci c]  }|||   “Œ
 c}tN        D �ci c]  }|||   “Œ
 c}|¬L«      “dM|“dN|“dO|“dP|“dQ|“dR|“dS|“dT|“Ž}tS        jd                  tR        jT                  jg                  th        «      d!¬-«       tk        th        d.«      5 }tm        jn                  ||d/tp        ¬0«       d d d «       |dU   } dV|d%›dW|d›dX|› dY|dZ   d%›d[| d›d\| t‚        z
  d]›d^|d_   d`   dU   d›da|db   d`   dZ   d%›d[|db   d`   dU   d›dc|rddnde› df|› dg�}t	        d6|«       t]        dh|d%›di|d%›d[|d›dj|dZ   d%›d[| d›d\| t‚        z
  d]›dk|› dl|db   d`   dU   d›dc|rddnde› d'�«       t_        dm|d%›d[|d›dn| d›do|› d\| t‚        z
  d]›dp| dqkD  rddnde› dc|rddnde› dr�«        | d1th        › d2|› �«        | ds«       |S # t         $ rQ}t	        dt#        |«      d d «       t%        d d d d d d d ddt#        |«      ¬«
        | d|› �«       t'        d«      ‚d }~ww xY w# t         $ r<}dt#        |«      jK                  «       vr‚  | dt        › d�«       t'        d«      ‚d }~ww xY w# tZ        $ �rA} | d#|› �«       t%        d d d d d d d |dt#        |«      ¬«
       t#        |«      d d }t	        d|«       t]        d$|d%›d&|› d'�«       t_        d(|d d) › d*�«       ta        t
        dt#        |«      t,        t        t        ta        |||¬+«      tb        ¬,«      }tS        jd                  tR        jT                  jg                  th        «      d!¬-«       tk        th        d.«      5 }tm        jn                  ||d/tp        ¬0«       d d d «       n# 1 sw Y   nxY w | d1th        › d2tb        › �«       |cY d }~S d }~ww xY wc c}w c c}w # 1 sw Y   �ŒxY w)uNÚrunningz2GPU train under flock; results_speech_xattn_dec.mdz=== u    SpeechXAttnâ†’vlaai device z max_epochs z min_epochs z W=z FS=z batch=r�   rž   z ===r  éÜ   r[   )r!  r"  zABANDONED swap/id: r�   r7   r‹   rŸ   zmemory probe batch z
 ok; peak g    eÍÍAr©  z GBzout of memoryzOOM at batch z ; abort so caller can halve oncec              3  óv   K  — | ]1  }t         j                  j                  t        t        |«      «      –— Œ3 y ­wr‘   )rv   rE   rÅ  r
   rÔ  )r•   r-  s     r1   r—   zmain.<locals>.<genexpr>å  s%   è ø€ ÐNÁgÀ”b—g‘g—n‘n¤Y¬x¸Ó%;×<Ágùs   ‚79r/  z	: cached Tr3  z	ABANDON: u¾   `speech_xattn_dec_lodo.py`, `decoders.SpeechXAttnVLAAI`; speech-env KV Ã— EEG-latent Q MHCA residualâ†’vlaai_ws SPK; eaP_n5_t60 sw2; â‰  temp-attn-spk/speech-resid/aux-env/env_xattn: swapÎ”=r›   z; abandoned: z0. `multi_agent_opt/results_speech_xattn_dec.md`.zabandoned (éx   r:   )rÌ   Úzero_eeg_deltarÉ   )Ú
experimentr!  Úreasonr~   rS  Úspeech_kernÚ	swap_testÚ
results_mdr4  r  rå   )ÚindentÚdefaultzwrote z and )r#  rU  r!  r  rL  rK  rƒ   r}   r~   rS  rW  rQ   r   rV   r‚   r�   rd   Úwindow_sÚbatchrY   Úextra_trainr.  rW   rX  Úpreset)r¤  ÚscaleÚemis_muÚemis_sdÚlodoÚ	lodo_hp30rñ  r#  r$  Ú	tip_movedr	  r
  Úhp30_mean_HÚhp30_mean_AccrY  r¨  zLODO mean H rÑ  z. Head `z` AASD r¦  rÊ  u    (Î”r  z vs tip 53.53; pure rÁ  rÏ  z	). Carta rÂ  z. Tip moved=r  r  z. `r  uÂ   `speech_xattn_dec_lodo.py`, `decoders.SpeechXAttnVLAAI`; speech-env KV Ã— EEG-latent Q MHCA residualâ†’vlaai_ws 10s SPK; eaP_n5_t60 sw2; â‰  temp-attn-spk/speech-resid/aux-env/env_xattn; swapÎ”=z: LODO z; AASD z vs tip; head=z	); Carta zLODO z; AASD Acc rJ  z vs tip 53.53). Acc>60=r  Ú.z=== done ===r/   )Br{   r   ÚLOG_PATHrˆ   r;  rÔ  r   r   r   ro   rp   r	   r   r$   r%   rÙ   rÂ   Ústrr0  Ú
SystemExitr¢   ru   r…   r£   rL   r‚   rû   r<   r¦   rü   rý   rf  rÿ   rÀ   rŸ   Úmax_memory_allocatedrÁ   ÚlowerrÚ  r   r
   rv   rE   rÅ  rš  r*   rH  rF  rn  r  r`  rØ  r  rÝ  Újsonrß  r©   rï  r  rN  r   r†   rn   r±  r°  r  )!rD   r  r   Úswap_delta0rÉ   r´  rB   ÚxbÚsbr#  Úchance_donery  rE   r8  r  rè  r·  rì  r¸  rF   r¹  rº  râ  rã  rä  rå  r#  rK  r$  r*  re  r™  Úaasd_accs!                                    r1   Úmainrt  ¿  sÈ  € Ü„KÜ
”Ó
€CÜ‹€AÜˆyÐNÔOÙˆ$ŒxˆjÐ4´S°E¸ÄjÀ\ð RÜ �\ ¤R§T¡T F¨$¬r¨d°'¼%¸ð AÜ�˜M¬+¨°dð	<ô =ðÜ,CÀCÓ,HÑ)ˆ
�K ðÜ�l‰lœ5 !¤XÓ.×1Ñ1´#Ó6ˆÜ" 3¨¯©°SÔ9Ø�	‰	ŒÜ�[‰[œ¤§¡¤e´CÔ8ˆÜ�[‰[œ¤§¡ a¨´3Ô7ˆÜ×1Ñ1±#°b¸"³+¼u¿{¹{Ì5ÔY\Ô?]Ó^ˆØ�‰ŒÜ�8‰8�vÒÙÐ%¤e W¨JÜ—:‘:×2Ñ2Ó4°sÑ:¸3Ð?¸sðDô Eà��R˜Ü�8‰8�vÒÜ�J‰J×"Ñ"Ô$ô ÑNÅgÓNÓN€KðßˆDÜœX tÓ,ˆDÜ�w‰w�~‰~˜dÔ#ÙÐ& t f¨I°d°VÐ<Ô=Ø"�ØÜ�Tœ8 S¨!¸k¸/ÕJØ‰Kñ ô@ @LÈCÐQRÓ?SÑ<€Cˆˆb�"�b˜"˜f e¨U°HÜ  ¨2¨r°3Ó7€HÜ*ØˆS�"�b˜& %¨°
ÀXôOÑ€Eˆ9�dä)¨$°	¸5À#ÓF€IÜ
ò ÝðÙ$*ðÙ4@ðÙGSðåðå&0ðå>Iðô �)’ðñ (+ðõ 7;ðõ ð	õ +5ð	õ @Hð	õ PUð	ô
 �\’?ðñ
 1?ðô
 IJÈ)Êðô ˜Z¸ÈhÕWðô œ6¬¸ÀBÝ-4Ó5©W¨˜!˜S ™V™)¨WÑ5Ý5<Ó=±W°˜q &¨¡)™|°WÑ=Ø õ"ðñ ðñ &/ðñ ;Dðñ ðñ ðñ -2ðñ BGðñ ð€Cô ‡K�K”—‘—‘¤Ó)°DÕ9Ü	Œh˜Ô	 Ü�	‰	�#�r !¬UÕ3÷ 
à�E‰{€HØ˜2˜c˜( %¨¨3 xð 0Ø�K˜w t¨C¡y° o°Q°xÀ°nð EØœ[Ñ(¨Ð.Ð.BØ�6‰{˜5Ñ! %Ñ(¨Ð-ð .Ø˜Ñ% eÑ,¨SÑ1°#Ð6°a¸¸KÑ8HÈÑ8OÐPUÑ8VÐWZÐ7[ð \Ù"+™°Ð6°c¸%¸ÀðD€Dô ˆv�tÔÜð2à2<¸SÐ1Að BØ�3ˆx�q˜˜C˜ ¨¨S©	°# °a¸À°~ð FØœÑ$ TÐ*¨.¸¸À9Øˆ{Ñ˜EÑ" 5Ñ)¨#Ð
.¨lÁI¹5ÐSWÐ:Xð Y9ð	:ô;ô Ø
��3ˆx�q˜˜C˜ ¨H°S¨>¸¸y¸kð JØœÑ$ TÐ*Ð*AØ˜r’M‰5 tÐ
,¨LÁ)¹ÐQUÐ8VÐVWð	YôZñ ˆ&”�
˜% ˜wÐ'Ô(ÙˆÔØ€JøôW ò Ü�;¤ A£ t¨ Ô-Ü�d˜D $¨¨d°D¸$ÀØ(´c¸!³fõ	>áÐ! ! Ð%Ô&Ü˜‹mÐûðûô, ò Ø¤# a£&§,¡,£.Ñ0ØÙˆmœE˜7Ð"BÐCÔDÜ˜‹mÐûð	ûô  ó Ùˆi˜�sˆOÔÜ�d˜D $¨¨d°D¸$À
Ø(´c¸!³fõ	>ä�1‹v�d�sˆ|ˆÜ�; Ô%Üð6à6@ÀÐ5Eð FØ˜ÐOðQô	Rô
 	˜[¨¨d¨s¨¨°AÐ6Ô7ÜÜ¨¼CÀ»FÜ¬*Ä+Ü ¸KÐRZÔ[Ü!ô	
ˆô 	�‰”B—G‘G—O‘O¤HÓ-¸Õ=Ü”(˜CÔ  BÜ�I‰I�c˜2 a´Õ7÷ !× Ñ úáˆf”X�J˜e¤J <Ð0Ô1Ø�
ûð-üòJ 6ùÚ=÷ 
Ñ	ús‚   ÂT( ÂFV È+A"W Í5\Î\ Ð\%Ô(	VÔ1AU=Õ=VÖ	W
Ö7W×W
×
\×C,\Û[*Û!	\Û*[3	Û/\Ü\Ü\Ü%\/Ú__main__)T)F)r  NNÚpurer‘   )[r.   Ú
__future__r   rn  rv   rÞ  rú   Útypesr   Únumpyrð   r<   Útorch.nn.functionalr   Ú
functionalrü   ry   Údirect_classifierro   Úensemble_clf_transformer_v4r«  Úeval_externalrÃ   rà  r®  Úcommonr   r   r;   r   r   r	   r
   r   r   r   r   r   Ú	e1_switchr   Úrun_experimentr   r   rÔ  r‡   r…   r†   rE   rb  ri  r  r×  rÙ  ra  r  r±  r°  rn   rm   rw   rx   r   r   r   r    r©   r"   ru   r$   r%   r  Ú	CLAIM_KEYr(   rÂ   r*   rL   r{   rˆ   rÙ   r*  rš  r»  rï  r  r0  r;  rF  rH  rN  rt  r+   r/   r0   r1   Ú<module>rƒ     sk  ðñõ* #ã Û 	Û Û Ý !ã Û ß Ð ã Û Û (Û Û ß  ß C× Cß %Ñ %Ý 'ß 0àC€Ø(€Ø€ð?ð ð �7‰7�<‰<˜˜]Ð,GÓH€Ø�7‰7�<‰<˜˜Y¨8¨*°EÐ(:Ó;€Ø
�'‰'�,‰,�s˜I zÓ
2€Ø
�'‰'�,‰,�s˜H¨¸°u¸CÐ&@Ó
A€Ø�7‰7�<‰<˜˜XÐ'9Ó:€Ø�W‰W�\‰\˜#Ð0Ð2OÓP€
Ø�€ˆØ€Ù�—‘—‘ ¨cÓ2Ó3€
Ù�—‘—‘ ¨cÓ2Ó3€
ÙˆB�J‰J�N‰N˜7 DÓ)Ó*€Ù�"—*‘*—.‘. °Ó5Ó6€Ù�2—:‘:—>‘> ,°Ó8Ó9€
Ø
€Ù�—‘—‘ ¨cÓ2Ó3€
Ù�"—*‘*—.‘. °Ó4Ó5€Ø€Ø€	Ù�2—:‘:—>‘> ,°Ó6Ó7€
ô?�|ô ?òò"4ò.ò2#ójFóRF!òRò0aDòH1#ðh NTØ=Có|'ó~cò NòB9òò,uðp ˆzÒÙ…Fð r0   