Ë
    @øájH  ã                   ó
  — d Z ddlZddlZddlZddlZddlZddlZddlZddl	Z	ddl
mZ ddlmc mZ ddlZddlZddlZddlZddlmZ ej2                  j5                  ej2                  j7                  e«      «      Zej2                  j=                  edd«      Zej2                  j=                  edd«      Z ej2                  j=                  edd«      Z!ej2                  j=                  ed	d
d«      Z"dZ#dZ$ e%ejL                  jO                  dd«      «      Z( e%ejL                  jO                  dd«      «      Z) e*ejL                  jO                  dd«      «      Z+dZ,dZ-dZ.dZ/dddddde+fZ0dZ1dZ2 e%ejL                  jO                  dd«      «      Z3 e*ejL                  jO                  d d!«      «      Z4d"„ Z5e1e2fd#„Z6d$„ Z7d%„ Z8 G d&„ d'ejr                  «      Z:d(„ Z;d)„ Z<d*„ Z=d+„ Z>d3d,„Z?d-„ Z@d.„ ZAd/„ ZBd0„ ZCd1„ ZDeEd2k(  r eD«        yy)4uÏ  Causal feature-statistic AdaLN / FiLM fine-tune of stem_ms96 from SWA.

Conditioning is content-based (NOT subject/dataset/trial ID, NOT electrode XY):
causal EWMA mean and std of the 24-d multi-scale ms logit features already in
the stem pipeline (raw + hp60 + hp120 + z60 + slope + mean of 4 seed streams).
Timescales Ï„ âˆˆ {1 s, 4 s} at 4 Hz â†’ Î± = 1âˆ’exp(âˆ’1/Ï„_frames) with Ï„_framesâˆˆ{4,16}.

FiLM is applied after each DilatedResidual LayerNorm and after each
TransformerEncoder layer. Î³,Î² projections are zero-init so step-0 matches the
SWA stem forward (identity AdaLN).

Distinct from MixStyle (cross-instance style mix) and from channel-XY / graph-adj
FiLM (electrode geometry).

Init: models/stem_ms96_swa/{held-*,all5}.pt. Score LODO + AASD + Carta at
p_stay 0.994 scale 0.8 + linear_hp30 on logits.

usage:
  flock multi_agent_opt/gpu.lock python -u stem_ms96_speech_adaln.py
  STEPS=80 EARLY_ABORT=1 python -u stem_ms96_speech_adaln.py   # learn check
é    N)ÚDS_KEYSÚmodelsÚstem_ms96_swaÚstem_ms96_speech_adalnÚexperimentszstem_ms96_speech_adaln.logÚresultsÚresearchzstem_ms96_speech_adaln.jsonzb/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/results/research)ÚAASDÚ	Carta2026ÚSTEPSÚ1000ÚBATCHÚ512ÚLRz8e-4g×£p=
×ï?g+‡ÙÎï?gš™™™™™é?é`   Úmsé@   é   Tç      @)ç      ð?r   ÚEARLY_ABORT_STEPSÚ50ÚEARLY_ABORT_LOSSz0.685c                 ó   — t        | d¬«       t        j                  t        j                  j	                  t
        «      d¬«       t        t
        d«      5 }|j                  | dz   «       d d d «       y # 1 sw Y   y xY w)NT)Úflush©Úexist_okÚaÚ
)ÚprintÚosÚmakedirsÚpathÚdirnameÚLOGÚopenÚwrite)ÚtextÚfhs     ú1/root/disk_3tb/eeg-thao/stem_ms96_speech_adaln.pyÚlog_liner+   ?   sL   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ø
�‰�˜‘Ô÷ 
�‰ús   ÁA4Á4A=c                 óœ   — g }|D ];  }t        || z  d«      }|j                  dt        j                  d|z  «      z
  «       Œ= t	        |«      S )u=   Î± = 1 âˆ’ exp(âˆ’1/Ï„_frames) for each timescale in seconds.r   ç      ð¿)ÚmaxÚappendÚmathÚexpÚtuple)ÚhzÚtausÚoutÚtauÚ
tau_framess        r*   Úewma_alphasr8   F   sL   € à
€CÛˆÜ˜˜r™ 3Ó'ˆ
Ø�
‰
�3œŸ™ $¨Ñ"3Ó4Ñ4Õ5ð ô �‹:Ðó    c                 ó”  — | j                   \  }}}t        |«      }t        j                  |dz
  dd| j                  | j
                  ¬«      }|d|z
  |z  z  }|j                  dd|«      j                  |d|«      j                  «       }| j                  dd«      }	t        j                  t        j                  |	|dz
  df«      ||¬«      }
t        j                  t        j                  |	|	z  |dz
  df«      ||¬«      }||
|
z  z
  j                  d«      j                  «       }|
j                  dd«      |j                  dd«      fS )	u¢   Causal EWMA mean and std of x (B, T, C) via depthwise causal conv.

    m_t = Î± Î£_{j=0}^t (1âˆ’Î±)^j x_{tâˆ’j}  (zero init), same kernel on xÂ² for E[xÂ²].
    é   éÿÿÿÿ)ÚdeviceÚdtyper   r   r   )Úgroupsg�íµ ÷Æ°>)ÚshapeÚfloatÚtorchÚaranger=   r>   ÚviewÚexpandÚ
contiguousÚ	transposeÚFÚconv1dÚpadÚ	clamp_minÚsqrt)ÚxÚalphaÚbÚtÚcr   ÚlagsÚkernÚwÚxtÚmeanÚsecÚstds                r*   Úcausal_ewma_mean_stdrY   O   s  € ð
 �g‰g�G€A€qˆ!Üˆe‹€Aä�<‰<˜˜A™˜r 2¨a¯h©h¸a¿g¹gÔF€DØ��q‘˜TÑ!Ñ"€DØ�	‰	�!�Q˜Ó×!Ñ! ! Q¨Ó*×5Ñ5Ó7€AØ	
�‰�Q˜Ó	€BÜ�8‰8”A—E‘E˜"˜q 1™u a˜jÓ)¨1°QÔ7€DÜ
�(‰(”1—5‘5˜˜b™ 1 q¡5¨! *Ó-¨q¸Ô
;€CØ�˜‘Ñ×
'Ñ
'¨Ó
-×
2Ñ
2Ó
4€CØ�>‰>˜!˜QÓ §¡¨q°!Ó!4Ð4Ð4r9   c                 ó†   — g }|D ]$  }t        | |«      \  }}|j                  ||g«       Œ& t        j                  |d¬«      S )uB   Build (B, T, 4*C) = concat Î¼,Ïƒ over two EWMA timescales. Causal.r<   ©Údim)rY   ÚextendrB   Úcat)rM   ÚalphasÚpartsr   ÚmuÚsds         r*   Úcausal_feat_condrc   a   sD   € à€EÛˆÜ% a¨Ó+‰ˆˆBØ�‰�b˜"�XÕð ô �9‰9�U Ô#Ð#r9   c                   óP   ‡ — e Zd ZdZddej
                  fˆ fd„Zd„ Zd„ Zd„ Z	ˆ xZ
S )ÚFeatAdaLNStemzòSWA LogitTransformer + zero-init FiLM from causal ms-feature EWMA stats.

    Sites:
      - after LayerNorm inside each DilatedResidual (true AdaLN on stem)
      - after each TransformerEncoder layer (post-layer FiLM; identity at init)
    Úbasec           
      óX  •— t         ‰
| �  «        || _        |�|n	t        «       | _        |j
                  j                  }|j                  j                  }d|z  }t        |j                  «      }t        |j                  j                  «      }t        j                  t        |«      D �cg c]  }t        j                  |d|z  «      ‘Œ c}«      | _        t        j                  t        |«      D �cg c]  }t        j                  |d|z  «      ‘Œ c}«      | _        t%        | j                   «      t%        | j"                  «      z   D ]T  }	t        j&                  j)                  |	j*                  «       t        j&                  j)                  |	j,                  «       ŒV y c c}w c c}w )Né   r   )ÚsuperÚ__init__rf   r8   r_   ÚprojÚin_featuresÚheadÚlenÚblocksÚencÚlayersÚnnÚ
ModuleListÚrangeÚLinearÚ	stem_filmÚenc_filmÚlistÚinitÚzeros_ÚweightÚbias)Úselfrf   r_   Úc_inÚd_modelÚcond_dimÚn_stemÚn_encÚ_ÚlinÚ	__class__s             €r*   rj   zFeatAdaLNStem.__init__r   s*  ø€ Ü‰ÑÔØˆŒ	Ø &Ð 2‘f¼»ˆŒØ�y‰y×$Ñ$ˆØ—)‘)×'Ñ'ˆØ�t‘8ˆÜ�T—[‘[Ó!ˆÜ�D—H‘H—O‘OÓ$ˆÜŸ™Ü7<¸V´}ÓE±}°!ŒR�Y‰Y�x  W¡Õ-°}ÑEóGˆŒäŸ™Ü7<¸U´|ÓD±|°!ŒR�Y‰Y�x  W¡Õ-°|ÑDóFˆŒä˜Ÿ™Ó'¬$¨t¯}©}Ó*=Ô=ˆCÜ�G‰G�N‰N˜3Ÿ:™:Ô&Ü�G‰G�N‰N˜3Ÿ8™8Õ$ñ >ùò FùâDs   Â+ F"Ã3 F'c                 óT   —  ||«      }|j                  dd¬«      \  }}|d|z   z  |z   S )Nr   r<   r[   r   )Úchunk)r}   ÚhÚcondr„   ÚgbÚgammaÚbetas          r*   Ú_filmzFeatAdaLNStem._filmƒ   s5   € Ù�‹YˆØ—h‘h˜q b�hÓ)‰ˆˆtØ�C˜%‘KÑ  4Ñ'Ð'r9   c                 ó:  — |j                  t        j                  |j                  dd«      |j                  df«      «      j                  dd«      }|j	                  |«      }| j                  |||«      }||j                  t        j                  |«      «      z   S )z:DilatedResidual forward with FiLM after LayerNorm (AdaLN).r;   r   r   )ÚconvrH   rJ   rG   Únormr�   ÚdropÚgelu)r}   ÚblockrM   r‰   Úfilmrˆ   s         r*   Ú_dilated_adalnzFeatAdaLNStem._dilated_adalnˆ   sv   € à�J‰J”q—u‘u˜QŸ[™[¨¨AÓ.°·±¸A°Ó?Ó@×JÑJÈ1ÈaÓPˆØ�J‰J�q‹MˆØ�J‰J�q˜$ Ó%ˆØ�5—:‘:œaŸf™f Q›iÓ(Ñ(Ð(r9   c           	      ó(  — |}| j                   }t        || j                  «      }|j                  �T||j                  t	        j
                  |j                  dd«      |j                  df«      «      j                  dd«      z   }|j                  |«      }t        |j                  | j                  «      D ]  \  }}| j                  ||||«      }Œ ||j                  d d …d |j                  d«      …f   z   }t        |j                  j                   | j"                  «      D ]-  \  }} |||j$                  d¬«      }| j'                  |||«      }Œ/ |j)                  |«      j+                  d«      |j-                  |«      j+                  d«      z   S )Nr;   r   r   F)Úsrc_maskÚ	is_causalr<   )rf   rc   r_   ÚdwrH   rJ   rG   Údw_padrk   Úzipro   rv   r•   ÚposÚsizerp   rq   rw   Úmaskr�   rm   ÚsqueezeÚskip)	r}   rM   ÚrawrO   r‰   rˆ   r“   r”   Úlayers	            r*   ÚforwardzFeatAdaLNStem.forward�   sC  € ØˆØ�I‰IˆÜ  4§;¡;Ó/ˆØ�4‰4ÐØ�A—D‘DœŸ™˜qŸ{™{¨1¨aÓ0°1·8±8¸Q°-Ó@ÓA×KÑKÈAÈqÓQÑQˆAØ�F‰F�1‹IˆÜ˜qŸx™x¨¯©Ö8‰KˆE�4Ø×#Ñ# E¨1¨d°DÓ9‰Að 9à�—‘’a˜˜1Ÿ6™6 !›9˜�nÑ%Ñ%ˆä˜qŸu™uŸ|™|¨T¯]©]Ö;‰KˆE�4Ù�a !§&¡&°EÔ:ˆAØ—
‘
˜1˜d DÓ)‰Að <ð �v‰v�a‹y× Ñ  Ó$ q§v¡v¨c£{×':Ñ':¸2Ó'>Ñ>Ð>r9   )N)Ú__name__Ú
__module__Ú__qualname__Ú__doc__ÚVÚLogitTransformerrj   r�   r•   r£   Ú__classcell__)r…   s   @r*   re   re   j   s)   ø„ ññ%˜Q×/Ñ/õ %ò"(ò
)ö?r9   re   c           	      óP  — t        j                  | dd¬«      }|d   \  }}}}}}}	|dk7  s|r	|t        k7  rt        d|d   › �«      ‚t	        t        j                  |d   «      j                  d   «      }
t        j                  |
|||d	¬
«      }|j                  j                  «       j                  «       }|j                  |d   «       |j                  j                  |«       t        j                  |j                  «      j!                  «       rt        d| › �«      ‚t#        |«      j%                  |«      }t        j                  |d   t
        j&                  «      }t        j                  |d   t
        j&                  «      }|||t)        |j+                  dg «      «      fS )NÚcpuF)Úmap_locationÚweights_onlyÚcfgÚ	stem_ms96zunexpected stem cfg ra   r   T©r   ÚnlayersÚstemÚstatez-causal mask still has nan after restore from rb   Útrain)rB   ÚloadÚWINDOWÚRuntimeErrorÚintÚnpÚasarrayr@   r¨   r©   rž   ÚdetachÚcloneÚload_state_dictÚcopy_ÚisnanÚanyre   ÚtoÚfloat32rx   Úget)r#   r=   ÚblobÚnameÚfamilyÚwindowr   r²   r³   Ú_lrr~   rf   Ú	good_maskÚnetra   rb   s                   r*   Úload_swa_wrappedrÌ       s\  € Ü�:‰:�d¨¸UÔC€DØ8<¸U¹Ñ5€Dˆ&�&˜' 7¨D°#Øˆ{Ò¡$¨&´FÒ*:ÜÐ1°$°u±+°Ð?Ó@Ð@ÜŒr�z‰z˜$˜t™*Ó%×+Ñ+¨AÑ.Ó/€DÜ×Ñ˜d F°GÀWÐSWÔX€DØ—	‘	× Ñ Ó"×(Ñ(Ó*€IØ×Ñ˜˜g™Ô'Ø‡I�I‡O�O�IÔÜ‡{�{�4—9‘9Ó×!Ñ!Ô#ÜÐJÈ4È&ÐQÓRÐRÜ
˜Ó
×
 Ñ
  Ó
(€CÜ	�‰�D˜‘J¤§
¡
Ó	+€BÜ	�‰�D˜‘J¤§
¡
Ó	+€BØ��Bœ˜TŸX™X g¨rÓ2Ó3Ð3Ð3r9   c                 ó¬  — t        j                  d«       t        j                  ddddd¬«      }t	        |t        «       ¬«      j                  | «      j                  «       }t        j                  d	dd| ¬
«      }|j                  «       }t        j                  d	d| ¬
«      |dd…df<   t        j                  «       5   ||«      } ||«      }ddd«       t        j                  dd…dd…f   dd…dd…f   d¬«      st        d«      ‚t        j                  ddddd¬«      j                  | «      j                  «       }|j                  |j                  «       «       t        j                  «       5   ||«      } ||«      }	ddd«       t        j                  	d¬«      st        d«      ‚t        d«       y# 1 sw Y   ŒðxY w# 1 sw Y   ŒDxY w)zVZero-init FiLM must stay causal; perturbing last frame must not change earlier logits.r   é   é   é    r;   Tr±   )r_   r   ©r=   Nr<   ç-Cëâ6?)Úatolz feat-AdaLN readout is not causalçñhãˆµøä>z(zero-init AdaLN does not match bare stemz,causality + zero-init identity checks passed)rB   Úmanual_seedr¨   r©   re   r8   rÂ   ÚevalÚrandnr½   Úno_gradÚallcloser¸   r¾   Ú
state_dictr+   )
r=   rf   ÚmodelrM   Úx2Úy1Úy2ÚbareÚybÚyws
             r*   Úassert_feat_adaln_causalrâ   ²   sq  € ä	×Ñ�aÔÜ×Ñ˜a ¨R¸ÀÔF€DÜ˜$¤{£}Ô5×8Ñ8¸Ó@×EÑEÓG€EÜ�‰�A�r˜1 VÔ,€AØ	
�‰‹€BÜ—‘˜A˜q¨Ô0€B‚qˆ"€u�IÜ	�‰�Ù�1‹XˆÙ�2‹Yˆ÷ 
ô �>‰>˜"šQ   ˜V™* bª¨C¨R¨C¨¡j°tÕ<ÜÐ=Ó>Ð>ä×Ñ˜a ¨R¸ÀÔF×IÑIÈ&ÓQ×VÑVÓX€DØ×Ñ˜Ÿ™Ó*Ô+Ü	�‰�Ù�!‹WˆÙ�1‹Xˆ÷ 
ô �>‰>˜"˜b tÕ,ÜÐEÓFÐFÜÐ;Õ<÷ 
ˆú÷ 
ˆús   Â>F>Å6G
Æ>GÇ
Gc                 ó  — t        dt        |dz  d«      «      }||k  r||dz   z  |z  }nJ||z
  t        ||z
  d«      z  }dd|dz
  z  dt        j                  t        j                  |z  «      z   z  z   }| j
                  D ]  }||d<   Œ	 |S )Né(   é
   r;   rÔ   g      à?r   Úlr)Úminr.   r0   ÚcosÚpiÚparam_groups)ÚoptÚstepÚtotalrf   Úwarmræ   ÚpÚgroups           r*   Úset_lrrñ   Ê   s˜   € Üˆr”3�u ‘{ AÓ&Ó'€DØˆd‚{Ø�T˜A‘XÑ Ñ%‰à�D‰[œC ¨¡¨aÓ0Ñ0ˆØ�C˜4 $™;Ñ'¨3´·±¼$¿'¹'ÀA¹+Ó1FÑ+FÑGÑGˆØ×!Ô!ˆØˆˆdŠð "à€Ir9   c	                 ó”	  — t        |j                  «       «      }	t        j                  d|	z
  t	        |	d«      z  g|¬«      }
t        j
                  j                  | j                  «       t        d¬«      }t        j                  j                  t        j                  «      }t        j                  | «      j!                  «       }| j#                  «        t%        j$                  «       }d }t'        |«      D �]V  }t)        |||t        «       t        j*                  ||t,        |||«      \  }}}t        j.                  |«      j1                  |d¬«      }t        j.                  |«      j1                  |d¬«      }t        j.                  |«      j1                  |d¬«      }t        j2                  |«      }|j5                  d¬«        | |«      }t        j6                  ||«      }t9        j:                  |||
d	¬
«      }||z  j=                  «       j?                  d«      }||z  |z  j=                  «       |z  }|d d …dd …f   |d d …d d…f   z
  jA                  «       }|d d …dd …f   |d d …d d…f   z  }|d||z  j=                  «       z  |j=                  «       j?                  d«      z  z   }t        jB                  |«      stE        d|› d|› �«      ‚|jG                  «        t        jH                  jJ                  jM                  | j                  «       d«       |jO                  «        t        jP                  | |tR        «       t        |jU                  «       «      }|dz   tV        k(  r?tY        d|› d|dz   › d|d›�«       |tZ        k\  rtE        d|d›dtZ        › dtV        › d�«      ‚|dk(  s|dz   dz  dk(  s
|dz   |k(  s�ŒÏt        j\                  «       5  t        | j^                  d   j`                  jA                  «       j                  «       jc                  «       «      }d d d «       tY        d|› d|dz   › d|› d|d›dd›�
«       �ŒY |j!                  «        t        jd                  ||t,        |||«      }tY        d|› d|d›d|d ›d!t%        j$                  «       |z
  d"›d#�	«       |tg        ||¬$«      fS # 1 sw Y   Œ˜xY w)%Nr   gü©ñÒMbP?rÑ   rÒ   )ræ   Úweight_decayT)Únon_blocking)Úset_to_noneÚnone)Ú
pos_weightÚ	reductionr;   r<   gš™™™™™©?znon-finite loss at step z for z    z early-check step z loss ú.4fzearly-abort: loss z >= z after z steps (not learning)r   éÈ   z step Ú/z |film0.w| z.6fz
  trained z frame-acc ú.3fz (z.0fzs))ÚlossÚ	frame_acc)4rA   rV   rB   Útensorr.   ÚoptimÚAdamWÚ
parametersr   rº   ÚrandomÚdefault_rngr¨   Ú
TRAIN_SEEDÚcopyÚdeepcopyrÖ   rµ   Útimert   rñ   Úsample_batchr·   Ú
from_numpyrÂ   ÚaugmentÚ	zero_gradÚswitch_weightsrH   Ú binary_cross_entropy_with_logitsÚsumrK   ÚabsÚisfiniter¸   Úbackwardrr   ÚutilsÚclip_grad_norm_rì   Ú
ema_updateÚ	EMA_DECAYÚitemr   r+   r   rØ   rv   r{   r¬   Útrain_frame_accÚdict) rÛ   r?   Úy_allra   rb   r=   ÚstepsÚbatchÚtagrœ   r÷   rë   ÚrngÚemaÚt0Úlastrì   Úxbrà   ÚmbrM   ÚyÚmÚlogitÚswÚbceÚdenomrý   ÚdvÚm2ÚgnormÚaccs                                    r*   Ú
train_foldr.  Ö   s0  € Ü
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.´2ÀDÐ
Ó
I€CÜ
�)‰)×
Ñ
¤§¡Ó
-€CÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€CØ	‡K�K„MÜ	�‰‹€BØ€DÜ�e—ˆÜˆs�D˜%¤Ô$Ü—^‘^ C¨´¸ÀÀBÓG‰
ˆˆB�Ü×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ�I‰I�a‹LˆØ�‰ $ˆÔ'Ù�a“ˆÜ×Ñ˜a Ó#ˆÜ×0Ñ0°¸ÀjÐ\bÔcˆØ�a‘—‘“×(Ñ(¨Ó-ˆØ�b‘˜1‘×!Ñ!Ó# eÑ+ˆØ’A�q‘r�E‰l˜U¢1 c r c 6™]Ñ*×/Ñ/Ó1ˆØŠq�!‘"ˆu‰X˜š!˜S˜b˜S˜&™	Ñ!ˆØ�d˜b 2™gŸ]™]›_Ñ,¨r¯v©v«x×/AÑ/AÀ#Ó/FÑFÑFˆÜ�~‰~˜dÔ#ÜÐ!9¸$¸¸uÀSÀEÐJÓKÐKØ�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
Ü	�‰�U˜C¤Ô+Ü�T—Y‘Y“[Ó!ˆØ�!‰8Ô(Ò(Ü�t˜C˜5Ð 2°4¸!±8°*¸FÀ4ÈÀ*ÐMÔNØÔ'Ò'Ü"Ø(¨¨c¨
°$Ô7GÐ6Hð IÜ.Ð/Ð/DðFóGð Gð �1Š9˜ ™ SÑ(¨AÒ-°¸±¸UÔ1Bä—‘•Ü˜eŸo™o¨aÑ0×7Ñ7×;Ñ;Ó=×BÑBÓD×HÑHÓJÓK�÷ !ä�t˜C˜5  t¨a¡x j°°%°¸¸tÀC¸jð I"Ø"'¨ ð.ö /ðC ðF ‡H�H„JÜ
×
Ñ
˜C ¬°°R¸Ó
@€CÜˆz˜#˜˜f T¨# J¨k¸#¸c¸À"ÄTÇYÁYÃ[ÐSUÑEUÐVYÐDZÐZ\Ð]Ô^Ø”˜$¨#Ô.Ð.Ð.÷ !�ús   ÏAR>Ò>S	c                 óX  — t        | |«      \  }}	}
}	 t        ||||	|
||||«	      \  }}||	|
||fS # t        j                  j                  $ r\ |r‚ t        d|› d|› d�«       ~|j                  dk(  rt        j                  j                  «        t        | |||||dz  |d¬«      cY S w xY w)Nz	  OOM on z
 at batch z; halving onceÚcudar   T)Úhalved)	rÌ   r.  rB   r0  ÚOutOfMemoryErrorr+   ÚtypeÚempty_cacheÚfit_with_oom)r#   r?   r  r=   r  r  r  r1  rÛ   ra   rb   rƒ   r  Ústatss                 r*   r5  r5    sÂ   € Ü'¨¨fÓ5Ñ€Eˆ2ˆr�1ð
^Ü  v¨u°b¸"¸fÀeÈUÐTWÓX‰
ˆˆUØ�B˜˜E 5Ð(Ð(øÜ�:‰:×&Ñ&ò ^ÙØÜ�9˜S˜E ¨E¨7°.ÐAÔBØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$Ü˜D &¨%°¸ÀÈÁ
ÈCÐX\Ô]Ò]ð^ús   “0 °A6B)Â(B)c                 ó  — i }| j                  «       D ]r  \  }}t        j                  t        j                  |t        j
                  «      d d …d f   «      j                  d«      j                  t        j
                  «      ||<   Œt |S )Nr<   )ÚitemsÚV4Úhighpassrº   r»   Úfloat64ÚreshapeÚastype)Ústreamr5   ÚkeyÚds       r*   Úhp30_streamrA    sg   € Ø
€CØ—,‘,–.‰ˆˆQÜ—;‘;œrŸz™z¨!¬R¯Z©ZÓ8º¸D¸ÑAÓB×JÑJÈ2ÓN×UÑUÔVX×V`ÑV`ÓaˆˆCŠð !à€Jr9   c                 ó2  — t        j                  | |||t        |«      }t        j                  |«      }t        j
                  ||t        t        «      }|D �	ci c]  }	|	t        ||	   «      “Œ }
}	t        j
                  |t        j                  |
«      t        t        «      }t        d|› dt        › dt        › d|d   d›d|d   d	›d
|d   d›d|d   d	›�«       t        d|› dt        › dt        › d|d   d›d|d   d	›�
«       t        ||¬«      |fS c c}	w )NzLODO ú p ú sc ú  H ÚHrù   ú Acc ÚAccú.2fú L ÚLrü   ú SDT ÚSDTz
LODO_hp30 ©ÚadalnÚhp30)r¨   Ú	infer_allr·   ÚNÚto_evÚofficialÚP_STAYÚSCALErA  r+   r  )rÛ   Úfeatra   rb   Úheldr=   ÚstreamsÚevÚoffÚdsÚhpÚoff_hps               r*   Ú
score_lodor_    s!  € Ü�k‰k˜%  r¨2¬v°vÓ>€GÜ	
�‰�Ó	€BÜ
�*‰*�T˜2œv¤uÓ
-€CÙ18Ó	9±¨2ˆ"Œk˜' "™+Ó&Ñ
&°€BÐ	9Ü�Z‰Z˜œaŸg™g b›k¬6´5Ó9€FÜˆu�T�F˜#œf˜X T¬%¨°°S¸±X¸c°NÀ%ÈÈEÉ
ÐSVÐGWð XØ�c‘(˜3�˜u S¨¡Z°Ð$4ð6ô 7äˆz˜$˜˜s¤6 (¨$¬u¨g°T¸&À¹+ÀcÐ9JÈ%ÐPVÐW\ÑP]Ð^aÐObÐcÔdÜ�c Ô'¨Ð0Ð0ùò 
:s   ÁDc                 ó<  — g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       |D �	ci c]  }	|	t        ||	   «      “Œ }}	g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       i }t        D �]ú  }	t        j                  | |	||	   i||t         |«      |	   }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t        |«      }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t#        ||¬«      ||	<   t        d|	› dt,        › dt        › d|d   d›d|d   d›d|d   d›d|d   d›�«       t        d|	› dt,        › dt        › d|d   d›d|d   d›�
«       �Œý |S c c}	w )Nr   r   r-   z  external emissions mu rù   z sd z scale z  external hp30 emissions mu ÚattÚt_endÚatt128Ún128Úsubject)Úr0Úr1ra  rb  rc  rd  re  g      è?rN  zEXT rC  rD  rE  rF  rG  rH  rI  rJ  rK  rü   rL  rM  z	EXT_hp30 )r8  r/   rº   r»   r;  ÚwhererA   ÚconcatenaterV   rX   r+   rV  rA  Ú
TEST_NAMESr¨   rQ  r·   r  Úzerosrn   ÚEÚscorerU  )rÛ   Úfeat_extÚmetaÚmu_inÚsd_inÚcorpus_streamsÚ
corpus_attr=   r`   r\  ÚtableÚlabelsr?  r@  Úmu_eÚsd_eÚ	hp_corpusÚparts_hpÚmu_hpÚsd_hpÚrowsr>  rZ  r%  ÚrÚ	stream_hpÚev_hpÚr_hps                               r*   Úscore_externalr�  *  sÏ  € Ø€EØ#×)Ñ)Ö+‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�L‰LœŸ™ A¤r§z¡zÓ2´R·X±X¸fÀS¹kÈQÑ>NÐPSÐUYÓ5ZÑZÕ[ñ $ð ,ô ”—‘ Ó&×+Ñ+Ó-Ó.€DÜ”—‘ Ó&×*Ñ*Ó,Ó-€DÜÐ'¨¨S z°°d¸3°Z¸wÄuÀgÐNÔOÙ?MÓN¹~¸�”[ °Ñ!3Ó4Ñ4¸~€IÐNØ€HØ—_‘_Ö&‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�O‰OœBŸJ™J q¬"¯*©*Ó5¼¿¹ÀÈÁÐPQÑAQÐSVÐX\Ó8]Ñ]Õ^ñ $ð 'ô ”"—.‘. Ó*×/Ñ/Ó1Ó2€EÜ”"—.‘. Ó*×.Ñ.Ó0Ó1€EÜÐ,¨U°3¨K°t¸EÀ#¸;ÀgÌeÈWÐUÔVØ€DßˆjˆÜ—‘˜U R¨°"©Ð$6¸¸uÄfÈfÓUÐVXÑYˆØˆØ—l‘l–n‰FˆC�Ø�R‘˜‘ˆAÜ—
‘
˜1œbŸj™jÓ)ˆAÜ˜a¤B§H¡H¬S°«VÓ$4¸!¸E¹(È!ÈGÉ*Ø"# H¡+°A°f±IÀqÈÁ|ôUˆBˆsŠGð %ô
 �G‰G�B˜˜d¤U™l¬F°DÓ9ˆÜ Ó'ˆ	ØˆØ—o‘oÖ'‰FˆC�Ø�R‘˜‘ˆAÜ—
‘
˜1œbŸj™jÓ)ˆAÜ ¤r§x¡x´°A³Ó'7¸Q¸u¹XÈQÈwÉZØ%& x¡[°q¸±yÈ!ÈIÉ,ôXˆE�#ŠJð (ô
 �w‰w�u˜e U¬U¡]´F¸DÓAˆÜ˜a dÔ+ˆˆR‰Ü�4˜�t˜3œv˜h d¬5¨'°°a¸±f¸S°\ÀÀqÈÁxÐPSÀnð UØ˜‘f˜S�\  q¨¡x° nð6ô 	7ä�9˜R˜D ¤F 8¨4´¨w°d¸4À¹9ÀS¸/ÈÈtÐTYÉ{Ð[^ÐN_Ð`Öað) ð* €Kùò? Os   Ã?Pc                  ó¤  — t         j                  j                  dg d¢¬«       i i }} t        D �]Š  }g }t	        d«      D ]f  }t
        j                  j                  t        d|› d|› d�«      }t        |d«      5 }|j                  t        j                  |«      «       d d d «       Œh i i c| |<   ||<   |d	   D ]à  }|D �cg c]0  }||   d
   ||   d   z
  j                  t        j                  «      ‘Œ2 }	}|d	   |   }
t        j                   |	d«      | |   |<   t#        t        j$                  |
d   «      t        j$                  |
d   t        j&                  «      t        j$                  |
d   «      t)        |
d   «      t)        |
d   «      ¬«      ||   |<   Œâ t+        d|› dt-        | |   «      › d�«       �Œ� | |fS # 1 sw Y   �Œ‹xY wc c}w )NÚ
eaP_n5_t60)ÚenvÚonsetÚdom)ÚprepÚtargetsrh   Úext_clf_Ú_w10b3sw2P_evidence_sz.pklÚrbr   rf  rg  r;   ra  rb  rc  rd  re  )ra  rb  rc  rd  re  z  external z: z trials)rl  ÚCONFÚupdaterj  rt   r!   r#   ÚjoinÚEVIDr&   r/   Úpickler¶   r=  rº   rÃ   Ústackr  r»   r;  r¹   r+   rn   )Úlogitsro  r\  ÚevsÚir#   r)   r?  rZ  ÚcolsÚe0s              r*   Úload_externalr—  U  sª  € Ü‡F�F‡M�M�|Ò-D€MÔEØ�rˆD€FßˆjˆØˆÜ�q–ˆAÜ—7‘7—<‘<¤¨°°Ð4IÈ!ÈÈDÐ&QÓRˆDÜ�d˜DÔ! RØ—
‘
œ6Ÿ;™; r›?Ô+÷ "Ð!ð ð  " 2Ðˆˆr‰
�D˜‘HØ�q”6ˆCÙQTÓUÑQTÈ2�R˜‘W˜T‘] R¨¡W¨T¡]Ñ2×:Ñ:¼2¿:¹:ÕFÐQTˆDÐUØ�Q‘˜‘ˆBÜ Ÿh™h t¨QÓ/ˆF�2‰J�s‰OÜ Ü—J‘J˜r %™yÓ)´·±¸B¸w¹KÌÏÉÓ1TÜ—z‘z " X¡,Ó/´c¸"¸V¹*³oÌsÐSUÐV_ÑS`ÓOaôcˆD�‰H�SŠMð	 ô 	�;˜r˜d "¤S¨°©£_Ð$5°WÐ=Ö>ð ð �4ˆ<Ð÷ "Ñ!üò Vs   Á9%G Â?5GÇ G
c                  óÎ  — t        j                  t         j                  j                  t        «      d¬«       t        t        d«      j                  «        t        j                  t        j                  j                  «       rdnd«      } t        «       }t        d| › dt        › dt        › d	t        › �«       t        d
|› dt         › dt"        › d�«       dt        j$                  j                  j&                  _        dt        j$                  j*                  _        t-        j.                  | «       t1        | «       t3        j4                  «        t-        j6                  «       d   }t        j                  t8        d¬«       i }t:        D �]p  }t         j                  j=                  t>        d|› d�«      }t         j                  jA                  |«      stC        |«      ‚t:        D �cg c]
  }||k7  sŒ	|‘Œ }}t-        jD                  ||«      \  }}	t        d|› d|› �«       tG        |||	| t        t        d|› �«      \  }
}}}}t        jH                  |
jK                  «       ||||t        ||t         |tL        dœt         j                  j=                  t8        d|› d�«      «       tO        |
||||| «      \  }}tQ        |||¬«      ||<   ~
| jR                  dk(  s�ŒSt        j                  jU                  «        �Œs t         j                  j=                  t>        d«      }t        d|› �«       t-        jD                  |tW        t:        «      «      \  }}	tG        |||	| t        t        d«      \  }
}}}}t        jH                  |
jK                  «       |||tW        t:        «      t        ||t         |tL        dœt         j                  j=                  t8        d«      «       t-        jX                  |
|||tZ        | «      }t]        «       \  }}t_        j`                  |«      d   }tc        |
|||||t2        jd                  d   | «      }tg        ti        jj                  t:        D �cg c]  }||   d   d   d   ‘Œ c}«      «      }tg        ti        jj                  t:        D �cg c]  }||   d   d   d   ‘Œ c}«      «      }t        d|d›d|d ›�«       tQ        d!d"tl        tn        t        t        |t         t"        t:        D �ci c]  }|||   d   “Œ c}t:        D �ci c]  }|||   d#   “Œ c}tQ        ||¬$«      ||¬%«      }t        j                  t         j                  j                  tp        «      d¬«       t        tp        d«      5 }ts        jt                  ||d&tf        ¬'«       d d d «       t        d(tp        › �«       y c c}w c c}w c c}w c c}w c c}w # 1 sw Y   Œ5xY w))NTr   rT   r0  r¬   zdevice z steps z batch z lr zfeat-AdaLN alphas=z	 tau_sec=z hz=u6    (cond=EWMA Î¼/Ïƒ of 24-d ms features; zero-init FiLM)r   zheld-z.ptzfold held-out=z init )r´   ra   rb   Úswarµ   r  r  r_   Útau_secr6  r¯   )Úscoresr6  r  zall5.ptz0all-5 feat-AdaLN fine-tune for AASD/Carta, init Úall5ra  r›  rO  rF  rH  zLODO mean H rù   rG  rI  Úcausal_ms_feat_ewma_adalnzzAdaLN/FiLM from causal EWMA mean/std of 24-d ms features (speech-related seed-logit dynamics); no subject/dataset/trial IDr6  )rF  rH  )ÚmethodÚnoteÚp_stayÚscaler  r  r_   rš  r3   ÚlodoÚ
lodo_statsÚ	lodo_meanÚexternalÚ
all5_statsr;   )ÚindentÚdefaultzwrote );r!   r"   r#   r$   r%   r&   ÚcloserB   r=   r0  Úis_availabler8   r+   r   r   r   ÚTAU_SECÚHZÚbackendsÚmatmulÚ
allow_tf32Úcudnnr¨   Úassert_causalrâ   rR  Úload_allÚbuild_featuresÚCKPT_DIRr   rŽ  ÚSWA_DIRÚisfileÚFileNotFoundErrorÚtrial_groupsr5  ÚsaverÚ   ÚCFGr_  r  r3  r4  rx   rQ  r·   r—  r9  Úbuild_features_fromr�  ÚGrA   rº   rV   rU  rV  ÚOUTÚjsonÚdump)r=   r_   Úfeat_allÚperrX  r#   r@  Útrain_dsr?   r  r  ra   rb   Úusedr6  r›  rƒ   Úall_pathrr  Ú
ext_logitsÚext_metaÚext_featÚextÚmean_hÚmean_accr5   r)   s                              r*   ÚmainrË  j  sÀ  € Ü‡K�K”—‘—‘¤Ó$¨tÕ4ÜŒˆcƒN×ÑÔÜ�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜ‹]€FÜˆw�v�h˜g¤e W¨G´E°7¸$¼r¸dÐCÔDÜÐ! & ¨´7°)¸4Ä¸tð DEð Fô Gà,0„E‡N�N×Ñ×ÑÔ)Ø&*„E‡N�N×ÑÔ#Ü‡O�O�FÔÜ˜VÔ$Ü‡J�J„LÜ×ÑÓ! $Ñ'€HÜ‡K�K” 4Õ(à
€Cß�ˆÜ�w‰w�|‰|œG u¨T¨F°#Ð%6Ó7ˆÜ�w‰w�~‰~˜dÔ#Ü# DÓ)Ð)Ý&Ó4™w˜!¨!¨t«)’A˜wˆÐ4ÜŸ™ x°Ó:‰ˆ�Ü�> $  v¨d¨VÐ4Ô5Ü#/Ø�&˜% ¬´¸¸t¸f°~ó$GÑ ˆˆR��T˜5ä�
‰
˜SŸ^™^Ó-°R¸rÈ$Ø%´ÀØ$´À5ÔQTñVô —7‘7—<‘<¤¨E°$°°sÐ*;Ó<ô	>ô ˜s H¨b°"°d¸FÓC‰	ˆ�Ü ¨e¸4Ô@ˆˆD‰	ØØ�;‰;˜&Ô Ü�J‰J×"Ñ"Ö$ð# ô& �w‰w�|‰|œG YÓ/€HÜÐ?À¸zÐJÔKÜ—N‘N 8¬T´'«]Ó;�M€FˆEÜ+Ø�&˜% ¬´°vó ?Ñ€CˆˆR��uä	‡J�J˜Ÿ™Ó)°¸2ÀhÜœg›´ÀØ ¬W¸uÌSñRô �w‰w�|‰|œH iÓ0ô2ô —[‘[  h°°B¼ÀÓG€NÜ(›?Ñ€J�Ü×%Ñ% jÓ1°$Ñ7€HÜ
˜˜h¨°"°b¸.Ì!Ï#É#ÈeÉ*ÐV\Ó
]€Cä”2—7‘7ÅGÓLÁG¸q˜C ™F 8Ñ,¨WÑ5°cÓ:ÀGÑLÓMÓN€FÜ”R—W‘WÍÓPÉÀ1˜c !™f XÑ.¨wÑ7¸Ó>ÈÑPÓQÓR€HÜˆ|˜F 3˜< u¨X°c¨NÐ;Ô<ä
Ø*ðRäœU¬%´uØœw¬2Ý+2Ó3©7 aˆa��Q‘˜Ñ!Ñ!¨7Ñ3Ý07Ó8±¨1�A�s˜1‘v˜g‘Ñ&°Ñ8Ü˜ XÔ.ØØô€Cô ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ü�	‰	�#�r !¬UÕ3÷ 
äˆv”c�Uˆ^Õùòa 5ùò: MùÚPùò 4ùÚ8÷ 
ˆús0   Ç*
WÇ5WÑ$WÒ WÔWÔWÖ	W×W$Ú__main__)F)Fr§   r  r¾  r0   r!   r�  r  Únumpyrº   rB   Útorch.nnrr   Útorch.nn.functionalÚ
functionalrH   Úensemble_clf_nestedrR  Úensemble_clf_transformer_v2r¨   Úensemble_clf_transformer_v4r9  Úeval_externalrl  Úcommonr   r#   r$   ÚabspathÚ__file__ÚEXPrŽ  rµ  r´  r%   r½  r�  rj  r¹   ÚenvironrÄ   r   r   rA   r   r  rU  rV  r·   rº  r¬  r«  r   r   r+   r8   rY   rc   ÚModulere   rÌ   râ   rñ   r.  r5  rA  r_  r�  r—  rË  r¤   © r9   r*   Ú<module>rÜ     sì  ðñó* Û Û Û 	Û Û ã Û Ý ß Ð ã Û 'Û (Û Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø
�'‰'�,‰,�s˜H oÓ
6€Ø�7‰7�<‰<˜˜XÐ'?Ó@€Ø‡g�g‡l�l�3˜Ð'CÓD€Ø‡g�g‡l�l�3˜	 :Ð/LÓM€Øk€Ø"€
áˆB�J‰J�N‰N˜7 FÓ+Ó,€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€Ù
ˆ2�:‰:�>‰>˜$ Ó'Ó(€Ø€	Ø	€Ø€Ø	€Ø  r¨2¨q°$¸Ð;€à€Ø
€Ù˜Ÿ
™
Ÿ™Ð':¸DÓAÓBÐ Ù˜Ÿ™Ÿ™Ð(:¸GÓDÓEÐ òð ˜Gó ò5ò$$ô3?�B—I‘Iô 3?òl4ò$=ò0	ò//ód^òò	1ò(òVò*EðP ˆzÒÙ…Fð r9   