Ë
    �¼âjÏ@  ã                   óà  — d Z ddlZddlZddlZddlZddlZddlZddlZddl	Z	ddl
mc mZ ddlZddlZddlZddlZddlmZ ej0                  j3                  ej0                  j5                  e«      «      Zej0                  j;                  edd«      Zej0                  j;                  edd«      Zej0                  j;                  edd«      Z ej0                  j;                  edd	«      Z!ej0                  j;                  ed
dd«      Z"dZ#dZ$ e%ejL                  jO                  dd«      «      Z( e%ejL                  jO                  dd«      «      Z)dZ*dZ+dZ,dZ- e.ejL                  jO                  dd«      «      Z/ e.ejL                  jO                  dd«      «      Z0 e%ejL                  jO                  dd«      «      Z1 e.ejL                  jO                  dd«      «      Z2 e%ejL                  jO                  dd«      «      Z3 e.ejL                  jO                  d d!«      «      Z4d"d#d$d%d&d'e+fZ5d$Z6d(„ Z7d)„ Z8d*„ Z9e2e3e4fd+„Z:e/e0e1fd,„Z;d-„ Z<d.„ Z=d/„ Z>d7d0„Z?d1„ Z@d2„ ZAd3„ ZBd4„ ZCd5„ ZDeEd6k(  r eD«        yy)8uv  Denser synthetic-switch fine-tune of stem_ms96 from SWA (abs-pos kept).

Same LogitTransformer as published stem_ms96 / SWA (absolute pos, dilated stem,
ms features, window 96). Training difference only:

  * With P_SWITCH, insert 1 synthetic attention switch inside the w96 window
    (flip labels after tau; negate all ms channels after tau â‰ˆ stream swap).
  * With P_SWITCH2 among switched rows, insert a second switch-back â‰¥ MIN_GAP
    frames later (multi-switch windows).
  * Stronger post-switch BCE weights (SW_GAIN vs recipe 2.5).

NOT RoPE / ALiBi / CORAL / fuseâ†”hp30. Distinct from classifier technique-synth-
switch (10 s vlaai + mix820 trial stamps).

Init models/stem_ms96_swa/{held-*,all5}.pt; restore causal -inf mask. EMA 0.995.
Score LODO 5 + AASD + Carta at HMM p_stay=0.994 scale=0.8; also hp30.

usage:
  STEPS=1000 BATCH=512 python stem_ms96_synth_switch.py
é    N)ÚDS_KEYSÚmodelsÚstem_ms96_swaÚlogit_tf_v2Ústem_ms96_synth_switchÚexperimentszstem_ms96_synth_switch.logÚresultsÚresearchzstem_ms96_synth_switch.jsonzb/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/results/research)ÚAASDÚ	Carta2026ÚSTEPSÚ1000ÚBATCHÚ512g×£p=
×ï?g-Cëâ6J?g+‡ÙÎï?gš™™™™™é?ÚP_SWITCHz0.7Ú	P_SWITCH2ÚMIN_GAPÚ8ÚSW_GAINz5.0Ú
SW_HORIZONÚ12ÚSW_TAUz4.0Ú	stem_ms96Úmsé`   é@   é   Tc                 ó   — t        | d¬«       t        j                  t        j                  j	                  t
        «      d¬«       t        t
        d«      5 }|j                  | dz   «       d d d «       y # 1 sw Y   y xY w)NT)Úflush©Úexist_okÚaÚ
)ÚprintÚosÚmakedirsÚpathÚdirnameÚLOGÚopenÚwrite)ÚtextÚfhs     ú1/root/disk_3tb/eeg-thao/stem_ms96_synth_switch.pyÚlog_liner/   @   sL   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ø
�‰�˜‘Ô÷ 
�‰ús   ÁA4Á4A=c                 ó´  — | dk(  r£t         j                  j                  t        d«      }t         j                  j	                  |«      r|S t         j                  j                  t
        d«      }t         j                  j	                  |«      rt        d|› �«       |S t        d«      ‚t         j                  j                  t        d| › d�«      }t         j                  j	                  |«      r|S t         j                  j                  t
        d| › d�«      }t         j                  j	                  |«      rt        d	| › d
|› �«       |S t        d| › �«      ‚)NÚall5úall5.ptzstem_ms96__held-AVGC.ptz$  SWA all5 missing; falling back to zno all5 initúheld-ú.ptzstem_ms96__held-z  SWA missing for z; falling back to zno init for )r%   r'   ÚjoinÚSWA_DIRÚisfileÚSTEM_DIRr/   ÚFileNotFoundError)ÚheldÚswaÚstems      r.   Úresolve_initr=   G   s  € Øˆv‚~Ü�g‰g�l‰lœ7 IÓ.ˆÜ�7‰7�>‰>˜#ÔØˆJÜ�w‰w�|‰|œHÐ&?Ó@ˆÜ�7‰7�>‰>˜$ÔÜÐ;¸D¸6ÐBÔCØˆKÜ Ó/Ð/Ü
�'‰'�,‰,”w %¨ v¨SÐ 1Ó
2€CÜ	‡w�w‡~�~�cÔØˆ
Ü�7‰7�<‰<œÐ$4°T°F¸#Ð">Ó?€DÜ	‡w�w‡~�~�dÔÜÐ% d VÐ+=¸d¸VÐDÔEØˆÜ
˜l¨4¨&Ð1Ó
2Ð2ó    c                 ó<  — t        j                  | dd¬«      }|d   \  }}}}}}}	|dk7  s|rt        |«      t        k7  rt	        d|d   › d| › �«      ‚t        t        j                  |d   «      j                  d	   «      }
t        j                  |
|||d
¬«      }|j                  j                  «       j                  «       }|j                  |d   «       |j                  j                  |«       t        j                  |j                  «      j!                  «       rt	        d| › �«      ‚|j#                  |«      }t        j                  |d   t
        j$                  «      }t        j                  |d   t
        j$                  «      }|||t'        |d   «      fS )NÚcpuF)Úmap_locationÚweights_onlyÚcfgr   zunexpected stem cfg z from Úmur   T)Úd_modelÚnlayersr<   Ústatez-causal mask still has nan after restore from ÚsdÚtrain)ÚtorchÚloadÚintÚWINDOWÚRuntimeErrorÚnpÚasarrayÚshapeÚVÚLogitTransformerÚmaskÚdetachÚcloneÚload_state_dictÚcopy_ÚisnanÚanyÚtoÚfloat32Úlist)r'   ÚdeviceÚblobÚnameÚfamilyÚwindowrE   rF   r<   Ú_lrÚc_inÚnetÚ	good_maskrD   rH   s                  r.   Úload_swarg   [   sU  € Ü�:‰:�d¨¸UÔC€DØ8<¸U¹Ñ5€Dˆ&�&˜' 7¨D°#Øˆ{Ò¡$¬#¨f«+¼Ò*?ÜÐ1°$°u±+°¸fÀTÀFÐKÓLÐLÜŒr�z‰z˜$˜t™*Ó%×+Ñ+¨AÑ.Ó/€DÜ
×
Ñ
˜T 6°7ÀGÐRVÔ
W€Cà—‘—‘Ó!×'Ñ'Ó)€IØ×Ñ˜˜W™Ô&Ø‡H�H‡N�N�9ÔÜ‡{�{�3—8‘8Ó× Ñ Ô"ÜÐJÈ4È&ÐQÓRÐRØ
�&‰&�‹.€CÜ	�‰�D˜‘J¤§
¡
Ó	+€BÜ	�‰�D˜‘J¤§
¡
Ó	+€BØ��Bœ˜T '™]Ó+Ð+Ð+r>   c                 óf  — t        j                  | «      }| dd…dd…f   | dd…dd…f   z
  j                  «       j                  d«      j	                  «       |dd…dd…f   z  |dd…dd…f   z  |dd…dd…f<   t        j
                  t        j                  || j                  | j                  ¬«       |z  «      }|j                  d«      j                  ddd«      }t        j                  t        j                  |j                  d«      |dz
  df«      |«      j                  d«      }d||z  z   S )zOLike V.switch_weights but with configurable post-switch gain (recipe uses 2.5).Né   éÿÿÿÿç      à?)r^   Údtyper   ç      ð?)rJ   Ú
zeros_likeÚabsÚgtÚfloatÚexpÚaranger^   rl   ÚflipÚviewÚFÚconv1dÚpadÚ	unsqueezeÚsqueeze)	ÚyrT   ÚgainÚhorizonÚtauÚchangeÚdecayÚkernelÚsmooths	            r.   Úswitch_weights_strongrƒ   n   s  € ä×Ñ˜aÓ €FØ’q˜!™"�u‘X ¢! S b S &¡	Ñ)×.Ñ.Ó0×3Ñ3°CÓ8×>Ñ>Ó@À4ÊÈ1É2ÈÁ;ÑNÐQUÒVWÐY\ÐZ\ÐY\ÐV\ÑQ]Ñ]€FŠ1ˆa‰bˆ5�MÜ�I‰I”u—|‘| G°A·H±HÀAÇGÁGÔLÐLÈsÑRÓS€EØ�Z‰Z˜‹]×Ñ  1 bÓ)€FÜ�X‰X”a—e‘e˜F×,Ñ,¨QÓ/°'¸A±+¸qÐ1AÓBÀFÓK×SÑSÐTUÓV€FØ�˜‘ÑÐr>   c                 óv  — |j                   \  }}}	dx}
}t        |«      D �]  }t        j                  ||   dkD  «      }t	        |«      |dz   k  rŒ1| j                  «       |k\  rŒEt        |d   «      }t        |d   «      }||k  rŒgt        | j                  ||dz   «      «      }|||d…fxx   dz  cc<   d|||d…f   z
  |||d…f<   |
dz  }
| j                  «       |k\  rŒÂ||z   }||kD  rŒÍt        | j                  ||dz   «      «      }|||d…fxx   dz  cc<   d|||d…f   z
  |||d…f<   |dz  }�Œ |
|fS )	u2  In-place denser synthetic switches on a numpy batch (B, T, C) / (B, T).

    One switch: flip y and negate x after tau (approx. stream swap on ms feats).
    Second switch: flip back after tau2 â‰¥ tau + min_gap (multi-switch window).
    Only frames with mask>0 participate; early padding left alone.
    r   rk   é   ri   éþÿÿÿNç      ð¿rm   )rQ   ÚrangerO   ÚflatnonzeroÚlenÚrandomrL   Úintegers)ÚrngÚxr{   ÚmÚp_switchÚ	p_switch2Úmin_gapÚbÚtÚ_cÚn1Ún2ÚiÚvalidÚloÚhir~   Útau2_loÚtau2s                      r.   Úapply_synth_switchesrž   x   s_  € ð �w‰w�H€A€qˆ"Ø€K€BˆÜ�1�XˆÜ—‘˜q ™t c™zÓ*ˆÜˆu‹:˜ !™Ò#ØØ�:‰:‹<˜8Ò#Øä��q‘‹]ˆÜ��r‘‹^ˆØ�Š8ØÜ�#—,‘,˜r 2¨¡6Ó*Ó+ˆØ	ˆ!ˆS‰Tˆ'‹
�dÑ‹
Ø˜1˜Q ¡˜W™:Ñ%ˆˆ!ˆS‰Tˆ'‰
Ø
ˆa‰ˆà�:‰:‹<˜9Ò$ØØ˜‘-ˆØ�RŠ<ØÜ�3—<‘< ¨¨a©Ó0Ó1ˆØ	ˆ!ˆT‰Uˆ(‹�tÑ‹Ø˜A˜a ¡˜h™KÑ'ˆˆ!ˆT‰Uˆ(‰Ø
ˆa‰Šð1 ð2 ˆrˆ6€Mr>   c                 ó°  — t        ||«      }t        j                  | ||d¬«      }||z  j                  «       j	                  d«      }||z  |z  j                  «       |z  }| d d …dd …f   | d d …d d…f   z
  j                  «       }|d d …dd …f   |d d …d d…f   z  }	|d||	z  j                  «       z  |	j                  «       j	                  d«      z  z   }|S )NÚnone)Ú
pos_weightÚ	reductionrm   ri   rj   gš™™™™™©?)rƒ   rv   Ú binary_cross_entropy_with_logitsÚsumÚ	clamp_minro   )
Úlogitr{   r�   r¡   ÚswÚbceÚdenomÚlossÚdvÚm2s
             r.   Úweighted_bcer­   ž   s×   € Ü	˜q !Ó	$€BÜ
×
,Ñ
,¨U°AÀ*ÐX^Ô
_€CØ�!‰V�L‰L‹N×$Ñ$ SÓ)€EØ�"‰H�q‰L×ÑÓ %Ñ'€DØ
’�1‘2�‰,˜šq # 2 #˜v™Ñ
&×	+Ñ	+Ó	-€BØ	
Š1ˆa‰bˆ5‰�A’a˜˜"˜�f‘IÑ	€BØ�$˜"˜r™'Ÿ™›Ñ(¨2¯6©6«8×+=Ñ+=¸cÓ+BÑBÑB€DØ€Kr>   c                 ó  — t        dt        |dz  d«      «      }||k  r||dz   z  |z  }nJ||z
  t        ||z
  d«      z  }dd|dz
  z  dt        j                  t        j                  |z  «      z   z  z   }| j
                  D ]  }||d<   Œ	 |S )Né(   é
   ri   gñhãˆµøä>rk   rm   Úlr)ÚminÚmaxÚmathÚcosÚpiÚparam_groups)ÚoptÚstepÚtotalÚbaseÚwarmr±   ÚpÚgroups           r.   Úset_lrr¿   ©   s˜   € Üˆr”3�u ‘{ AÓ&Ó'€DØˆd‚{Ø�T˜A‘XÑ Ñ%‰à�D‰[œC ¨¡¨aÓ0Ñ0ˆØ�C˜4 $™;Ñ'¨3´·±¼$¿'¹'ÀA¹+Ó1FÑ+FÑGÑGˆØ×!Ô!ˆØˆˆdŠð "à€Ir>   c	                 ó^  — t        |j                  «       «      }	t        j                  d|	z
  t	        |	d«      z  g|¬«      }
t        j
                  j                  | j                  «       t        d¬«      }t        j                  j                  t        j                  «      }t        j                  | «      j!                  «       }| j#                  «        t%        j$                  «       }d }dx}}t'        |«      D �]  }t)        |||t        «       t        j*                  ||t,        |||«      \  }}}t/        ||||«      \  }}||z  }||z  }t        j0                  |«      j3                  |d¬«      }t        j0                  |«      j3                  |d¬«      }t        j0                  |«      j3                  |d¬«      }t        j4                  |«      }|j7                  d¬	«        | |«      }t9        ||||
«      }t        j:                  |«      st=        d
|› d|› �«      ‚|j?                  «        t        j@                  jB                  jE                  | j                  «       d«       |jG                  «        t        jH                  | |tJ        «       t        |jM                  «       «      }|dk(  s|dz   dz  dk(  s
|dz   |k(  s�ŒÎ|t	        |dz   |z  d«      z  }|t	        |dz   |z  d«      z  }tO        d|› d|dz   › d|› d|d›d|d›d|d›�«       �Œ |j!                  «        t        jP                  ||t,        |||«      }tO        d|› d|d›d|d›d|› d|› dt%        j$                  «       |z
  d›d�«       |tS        ||tU        |«      tU        |«      tV        tX        tZ        ¬«      fS )Nrm   gü©ñÒMbP?)r^   g-Cëâ6?)r±   Úweight_decayr   T)Únon_blocking)Úset_to_noneznon-finite loss at step z for ri   éÈ   z    z step Ú/z loss ú.4fz
 sw1_rate ú.3fz
 sw2_rate z
  trained z frame-acc z sw1 z sw2 z (z.0fzs))rª   Ú	frame_accÚsw1Úsw2r�   r‘   Úsw_gain).rq   ÚmeanrJ   Útensorr³   ÚoptimÚAdamWÚ
parametersÚLRrO   r‹   Údefault_rngrR   Ú
TRAIN_SEEDÚcopyÚdeepcopyÚevalrI   Útimerˆ   r¿   Úsample_batchrM   rž   Ú
from_numpyr[   ÚaugmentÚ	zero_gradr­   ÚisfiniterN   ÚbackwardÚnnÚutilsÚclip_grad_norm_r¹   Ú
ema_updateÚ	EMA_DECAYÚitemr/   Útrain_frame_accÚdictrL   r   r   r   ) ÚmodelÚgroupsÚy_allrD   rH   r^   ÚstepsÚbatchÚtagÚposr¡   r¸   r�   ÚemaÚt0ÚlastÚtot_sw1Útot_sw2r¹   ÚxbÚybÚmbr–   r—   rŽ   r{   r�   r¦   rª   Úrate1Úrate2Úaccs                                    r.   Útrain_synthrø   µ   sO  € Ü
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.´2ÀDÐ
Ó
I€CÜ
�)‰)×
Ñ
¤§¡Ó
-€CÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€CØ	‡K�K„MÜ	�‰‹€BØ€DØÐ€GˆgÜ�e—ˆÜˆs�D˜%¤Ô$Ü—^‘^ C¨´¸ÀÀBÓG‰
ˆˆB�Ü% c¨2¨r°2Ó6‰ˆˆBØ�2‰ˆØ�2‰ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ�I‰I�a‹LˆØ�‰ $ˆÔ'Ù�a“ˆÜ˜E 1 a¨Ó4ˆÜ�~‰~˜dÔ#ÜÐ!9¸$¸¸uÀSÀEÐJÓKÐKØ�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
Ü	�‰�U˜C¤Ô+Ü�T—Y‘Y“[Ó!ˆØ�1Š9˜ ™ SÑ(¨AÒ-°¸±¸UÔ1BØœc 4¨!¡8¨uÑ"4°aÓ8Ñ8ˆEØœc 4¨!¡8¨uÑ"4°aÓ8Ñ8ˆEÜØ�s�e˜6 $¨¡( ¨1¨U¨G°6¸$¸s¸ð DØ! #˜; j°°s°ð=ö>ð/ ð4 ‡H�H„JÜ
×
Ñ
˜C ¬°°R¸Ó
@€CÜØ
�S�E˜  S˜z¨°S¸°Ið >Øˆi�u˜W˜I R¬¯	©	«°bÑ(8¸Ð'=¸Rð	AôBð ”Ø˜S¤c¨'£l¼¸G»Ü¤Y¼ôAð Að Ar>   c                 óX  — t        | |«      \  }}	}
}	 t        ||||	|
||||«	      \  }}||	|
||fS # t        j                  j                  $ r\ |r‚ t        d|› d|› d�«       ~|j                  dk(  rt        j                  j                  «        t        | |||||dz  |d¬«      cY S w xY w)Nz	  OOM on z
 at batch z; halving onceÚcudar   T)Úhalved)	rg   rø   rJ   rú   ÚOutOfMemoryErrorr/   ÚtypeÚempty_cacheÚfit_with_oom)Ú	init_pathrç   rè   r^   ré   rê   rë   rû   ræ   rD   rH   Ú_trainrí   Ústatss                 r.   rÿ   rÿ   ã   sÈ   € Ü$ Y°Ó7Ñ€Eˆ2ˆr�6ðSÜ  ¨°°r¸2¸vÀuÈeÐUXÓY‰
ˆˆUØ�B˜˜E 5Ð(Ð(øÜ�:‰:×&Ñ&ò SÙØÜ�9˜S˜E ¨E¨7°.ÐAÔBØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$ÜØ�v˜u f¨e°U¸a±ZÀÈTôSò 	SðSús   “0 °A6B)Â(B)c                 ó  — i }| j                  «       D ]r  \  }}t        j                  t        j                  |t        j
                  «      d d …d f   «      j                  d«      j                  t        j
                  «      ||<   Œt |S )Nrj   )ÚitemsÚV4ÚhighpassrO   rP   Úfloat64ÚreshapeÚastype)ÚstreamÚoutÚkeyÚds       r.   Úhp30_streamr  ó   sg   € Ø
€CØ—,‘,–.‰ˆˆQÜ—;‘;œrŸz™z¨!¬R¯Z©ZÓ8º¸D¸ÑAÓB×JÑJÈ2ÓN×UÑUÔVX×V`ÑV`ÓaˆˆCŠð !à€Jr>   c                 ó6  — t        j                  | |||t        |«      }t        j                  |«      }t        j
                  ||t        t        «      }|D �	ci c]  }	|	t        ||	   «      “Œ }
}	t        j                  |
«      }t        j
                  ||t        t        «      }t        d|› dt        › dt        › d|d   d›d|d   d	›d
|d   d›d|d   d	›�«       t        d|› dt        › dt        › d|d   d›d|d   d	›�
«       t        ||¬«      |fS c c}	w )NzLODO ú p ú sc ú  H ÚHrÆ   ú Acc ÚAccú.2fú L ÚLrÇ   ú SDT ÚSDTz
LODO_hp30 ©ÚsynthÚhp30)rR   Ú	infer_allrM   ÚNÚto_evÚofficialÚP_STAYÚSCALEr  r/   rå   )ræ   ÚfeatrD   rH   r:   r^   ÚstreamsÚevÚoffÚdsÚhpÚev_hpÚoff_hps                r.   Ú
score_lodor,  ú   s&  € Ü�k‰k˜%  r¨2¬v°vÓ>€GÜ	
�‰�Ó	€BÜ
�*‰*�T˜2œv¤uÓ
-€CÙ18Ó	9±¨2ˆ"Œk˜' "™+Ó&Ñ
&°€BÐ	9Ü�G‰G�B‹K€EÜ�Z‰Z˜˜e¤V¬UÓ3€FÜˆu�T�F˜#œf˜X T¬%¨°°S¸±X¸c°NÀ%ÈÈEÉ
ÐSVÐGWð XØ�c‘(˜3�˜u S¨¡Z°Ð$4ð6ô 7äˆz˜$˜˜s¤6 (¨$¬u¨g°T¸&À¹+ÀcÐ9JÈ%ÐPVÐW\ÑP]Ð^aÐObÐcÔdÜ�c Ô'¨Ð0Ð0ùò 
:s   ÁDc                 ó<  — g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       |D �	ci c]  }	|	t        ||	   «      “Œ }}	g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       i }t        D �]ú  }	t        j                  | |	||	   i||t         |«      |	   }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t        |«      }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t#        ||¬«      ||	<   t        d|	› dt,        › dt        › d|d   d›d|d   d›d|d   d›d|d   d›�«       t        d|	› dt,        › dt        › d|d   d›d|d   d›�
«       �Œý |S c c}	w )Nr   rm   r‡   z  external emissions mu rÆ   z sd z scale z  external hp30 emissions mu ÚattÚt_endÚatt128Ún128Úsubject)Úr0Úr1r.  r/  r0  r1  r2  g      è?r  zEXT r  r  r  r  r  r  r  r  r  rÇ   r  r  z	EXT_hp30 )r  ÚappendrO   rP   r  Úwhererq   ÚconcatenaterÌ   Ústdr/   r#  r  Ú
TEST_NAMESrR   r  rM   rå   ÚzerosrŠ   ÚEÚscorer"  )ræ   Úfeat_extÚmetaÚmu_inÚsd_inÚcorpus_streamsÚ
corpus_attr^   Úpartsr(  ÚtableÚlabelsr  r  Úmu_eÚsd_eÚ	hp_corpusÚparts_hpÚmu_hpÚsd_hpÚrowsr
  r&  Úmeta_kÚrÚ	stream_hpr*  Úr_hps                               r.   Úscore_externalrQ    sÜ  € Ø€EØ#×)Ñ)Ö+‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�L‰LœŸ™ A¤r§z¡zÓ2´R·X±X¸fÀS¹kÈQÑ>NÐPSÐUYÓ5ZÑZÕ[ñ $ð ,ô ”—‘ Ó&×+Ñ+Ó-Ó.€DÜ”—‘ Ó&×*Ñ*Ó,Ó-€DÜÐ'¨¨S z°°d¸3°Z¸wÄuÀgÐNÔOá?MÓN¹~¸�”[ °Ñ!3Ó4Ñ4¸~€IÐNØ€HØ—_‘_Ö&‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�O‰OœBŸJ™J q¬"¯*©*Ó5¼¿¹ÀÈÁÐPQÑAQÐSVÐX\Ó8]Ñ]Õ^ñ $ð 'ô ”"—.‘. Ó*×/Ñ/Ó1Ó2€EÜ”"—.‘. Ó*×.Ñ.Ó0Ó1€EÜÐ,¨U°3¨K°t¸EÀ#¸;ÀgÌeÈWÐUÔVà€DßˆjˆÜ—‘˜U R¨°"©Ð$6¸¸uÄfÈfÓUÐVXÑYˆØˆØ—l‘l–n‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ˜a¤B§H¡H¬S°«VÓ$4¸&À¹-ÈvÐV]ÉØ"(¨Ñ"2¸À¹ÐQWÐXaÑQbôdˆBˆsŠGð %ô
 �G‰G�B˜˜d¤U™l¬F°DÓ9ˆÜ Ó'ˆ	ØˆØ—o‘oÖ'‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ ¤r§x¡x´°A³Ó'7¸VÀE¹]ÐRXÐY`ÑRaØ%+¨HÑ%5¸FÀ6¹NÐTZÐ[dÑTeôgˆE�#ŠJð (ô
 �w‰w�u˜e U¬U¡]´F¸DÓAˆÜ˜a dÔ+ˆˆR‰Ü�4˜�t˜3œv˜h d¬5¨'°°a¸±f¸S°\ÀÀqÈÁxÐPSÀnð UØ˜‘f˜S�\  q¨¡x° nð6ô 	7ä�9˜R˜D ¤F 8¨4´¨w°d¸4À¹9ÀS¸/ÈÈtÐTYÉ{Ð[^ÐN_Ð`Öað) ð* €KùòA Os   Ã?Pc                  ó¤  — t         j                  j                  dg d¢¬«       i i }} t        D �]Š  }g }t	        d«      D ]f  }t
        j                  j                  t        d|› d|› d�«      }t        |d«      5 }|j                  t        j                  |«      «       d d d «       Œh i i c| |<   ||<   |d	   D ]à  }|D �cg c]0  }||   d
   ||   d   z
  j                  t        j                  «      ‘Œ2 }	}|d	   |   }
t        j                   |	d«      | |   |<   t#        t        j$                  |
d   «      t        j$                  |
d   t        j&                  «      t        j$                  |
d   «      t)        |
d   «      t)        |
d   «      ¬«      ||   |<   Œâ t+        d|› dt-        | |   «      › d�«       �Œ� | |fS # 1 sw Y   �Œ‹xY wc c}w )NÚ
eaP_n5_t60)ÚenvÚonsetÚdom)ÚprepÚtargetsr…   Úext_clf_Ú_w10b3sw2P_evidence_sz.pklÚrbr   r3  r4  ri   r.  r/  r0  r1  r2  )r.  r/  r0  r1  r2  z  external z: z trials)r;  ÚCONFÚupdater9  rˆ   r%   r'   r5   ÚEVIDr*   r5  ÚpicklerK   r	  rO   r\   Ústackrå   rP   r  rL   r/   rŠ   )Úlogitsr>  r(  Úevsr˜   r'   r-   r  r&  ÚcolsÚe0s              r.   Úload_externalre  4  sª  € Ü‡F�F‡M�M�|Ò-D€MÔEØ�rˆD€FßˆjˆØˆÜ�q–ˆAÜ—7‘7—<‘<¤¨°°Ð4IÈ!ÈÈDÐ&QÓRˆDÜ�d˜DÔ! RØ—
‘
œ6Ÿ;™; r›?Ô+÷ "Ð!ð ð  " 2Ðˆˆr‰
�D˜‘HØ�q”6ˆCÙQTÓUÑQTÈ2�R˜‘W˜T‘] R¨¡W¨T¡]Ñ2×:Ñ:¼2¿:¹:ÕFÐQTˆDÐUØ�Q‘˜‘ˆBÜ Ÿh™h t¨QÓ/ˆF�2‰J�s‰OÜ Ü—J‘J˜r %™yÓ)´·±¸B¸w¹KÌÏÉÓ1TÜ—z‘z " X¡,Ó/´c¸"¸V¹*³oÌsÐSUÐV_ÑS`ÓOaôcˆD�‰H�SŠMð	 ô 	�;˜r˜d "¤S¨°©£_Ð$5°WÐ=Ö>ð ð �4ˆ<Ð÷ "Ñ!üò Vs   Á9%G Â?5GÇ G
c                  ó2  — t        j                  t         j                  j                  t        «      d¬«       t        t        d«      j                  «        t        j                  t        j                  j                  «       rdnd«      } t        d| › dt        › dt        › d	t        › d
t        › dt         › dt"        › dt$        › �«       dt        j&                  j                  j(                  _        dt        j&                  j,                  _        t/        j0                  | «       t3        j4                  «        t/        j6                  «       d   }t        j                  t8        d¬«       i }t:        D �]7  }t=        |«      }t:        D �cg c]
  }||k7  sŒ	|‘Œ }}t/        j>                  ||«      \  }}t        d|› d|› �«       tA        |||| t        t        d|› �«      \  }	}
}}}t        jB                  |	jE                  «       |
|||t        ||tF        t        t        t         t"        dœt         j                  jI                  t8        d|› d�«      «       tK        |	||
||| «      \  }}tM        |||¬«      ||<   ~	| jN                  dk(  s�Œt        j                  jQ                  «        �Œ: t=        d«      }t        d|› �«       t/        j>                  |tS        t:        «      «      \  }}tA        |||| t        t        d«      \  }	}
}}}t        jB                  |	jE                  «       |
||tS        t:        «      t        ||tF        t        t        t         t"        dœt         j                  jI                  t8        d«      «       t/        jT                  |	||
|tV        | «      }tY        «       \  }}t[        j\                  |«      d   }t_        |	|||
||t2        j`                  d   | «      }tc        te        jf                  t:        D �cg c]  }||   d   d   d   ‘Œ c}«      «      }tc        te        jf                  t:        D �cg c]  }||   d   d   d   ‘Œ c}«      «      }t        d|d›d|d›�«       tM        th        tj        t        t        t        t        t         t"        t$        t:        D �ci c]  }|||   d   “Œ c}t:        D �ci c]  }|||   d    “Œ c}tM        ||¬!«      ||¬"«      }t        j                  t         j                  j                  tl        «      d¬«       t        tl        d«      5 }to        jp                  ||d#tb        ¬$«       d d d «       t        d%tl        › �«       y c c}w c c}w c c}w c c}w c c}w # 1 sw Y   Œ5xY w)&NTr    Úwrú   r@   zdevice z steps z batch z
 p_switch z p_switch2 z	 min_gap z	 sw_gain z init r   zfold held-out=r3   )rG   rD   rH   ÚinitrI   ré   rê   r  rC   r�   r‘   r’   rË   r4   )Úscoresr  rê   r1   z6all-5 synth-switch fine-tune for AASD and Carta, init r2   r.  ri  r  r  r  zLODO mean H rÆ   r  r  r  )r  r  )Úp_stayÚscaleré   rê   r�   r‘   r’   rË   Úinit_dirÚlodoÚ
lodo_statsÚ	lodo_meanÚexternalÚ
all5_statsri   )ÚindentÚdefaultzwrote )9r%   r&   r'   r(   r)   r*   ÚcloserJ   r^   rú   Úis_availabler/   r   r   r   r   r   r   r6   ÚbackendsÚmatmulÚ
allow_tf32ÚcudnnrR   Úassert_causalr  Úload_allÚbuild_featuresÚCKPT_DIRr   r=   Útrial_groupsrÿ   ÚsaveÚ
state_dictÚCFGr5   r,  rå   rý   rþ   r]   r  rM   re  r  Úbuild_features_fromrQ  ÚGrq   rO   rÌ   r"  r#  ÚOUTÚjsonÚdump)r^   Úfeat_allÚperr:   r'   r  Útrain_dsrç   rè   rí   rD   rH   Úusedr  ri  Ú_streamsÚall_pathrA  Ú
ext_logitsÚext_metaÚext_featÚextÚmean_hÚmean_accr  r-   s                             r.   Úmainr“  I  s  € Ü‡K�K”—‘—‘¤Ó$¨tÕ4ÜŒˆcƒN×ÑÔÜ�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜØ
�&�˜¤  w¬u¨gð 6Ü�:˜[¬¨°9¼W¸Ið FÜ�)˜6¤' ð	,ô-ð -1„E‡N�N×Ñ×ÑÔ)Ø&*„E‡N�N×ÑÔ#Ü‡O�O�FÔÜ‡J�J„LÜ×ÑÓ! $Ñ'€HÜ‡K�K” 4Õ(à
€Cß�ˆÜ˜DÓ!ˆÝ&Ó4™w˜!¨!¨t«)’A˜wˆÐ4ÜŸ™ x°Ó:‰ˆ�Ü�> $  v¨d¨VÐ4Ô5Ü#/Ø�&˜% ¬´¸¸t¸f°~ó$GÑ ˆˆR��T˜5ä�
‰
˜SŸ^™^Ó-°R¸rÈ4Ø%´ÀØ"¬3Ü (´yÜ&´7ñ	<ô
 —7‘7—<‘<¤¨E°$°°sÐ*;Ó<ô	>ô & c¨8°R¸¸TÀ6ÓJÑˆ�Ü ¨e¸4Ô@ˆˆD‰	ØØ�;‰;˜&Ô Ü�J‰J×"Ñ"Ö$ð# ô& ˜FÓ#€HÜÐEÀhÀZÐPÔQÜ—N‘N 8¬T´'«]Ó;�M€FˆEÜ+Ø�&˜% ¬´°vó ?Ñ€CˆˆR��uä	‡J�J˜Ÿ™Ó)°¸2ÀxÜœg›´ÀØ¤sÜ$´9Ü"¬wñ	8ô
 �w‰w�|‰|œH iÓ0ô2ô —[‘[  h°°B¼ÀÓG€NÜ(›?Ñ€J�Ü×%Ñ% jÓ1°$Ñ7€HÜ
˜˜h¨°"°b¸.Ì!Ï#É#ÈeÉ*ÐV\Ó
]€Cä”2—7‘7ÅGÓLÁG¸q˜C ™F 8Ñ,¨WÑ5°cÓ:ÀGÑLÓMÓN€FÜ”R—W‘WÍÓPÉÀ1˜c !™f XÑ.¨wÑ7¸Ó>ÈÑPÓQÓR€HÜˆ|˜F 3˜< u¨X°c¨NÐ;Ô<ä
ÜœU¬%´uÜ¤Y¼ÌÜÝ+2Ó3©7 aˆa��Q‘˜Ñ!Ñ!¨7Ñ3Ý07Ó8±¨1�A�s˜1‘v˜g‘Ñ&°Ñ8Ü˜ XÔ.ØØô	€Cô ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ü�	‰	�#�r !¬UÕ3÷ 
äˆv”c�Uˆ^Õùòe 5ùòB MùÚPùò 4ùÚ8÷ 
ˆús0   Æ
U4ÆU4Ð
U9ÑU>Ò3VÓVÔ;VÖVÚ__main__)F)FÚ__doc__rÔ   r…  r´   r%   r_  r×   ÚnumpyrO   rJ   Útorch.nn.functionalrÞ   Ú
functionalrv   Úensemble_clf_nestedr  Úensemble_clf_transformer_v2rR   Úensemble_clf_transformer_v4r  Úeval_externalr;  Úcommonr   r'   r(   ÚabspathÚ__file__ÚEXPr5   r6   r8   r}  r)   r„  r^  r9  rL   ÚenvironÚgetr   r   râ   rÑ   r"  r#  rq   r   r   r   r   r   r   r�  rM   r/   r=   rg   rƒ   rž   r­   r¿   rø   rÿ   r  r,  rQ  re  r“  Ú__name__© r>   r.   Ú<module>r¥     s>  ðñó( Û Û Û 	Û Û ã Û ß Ð ã Û 'Û (Û Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø
�'‰'�,‰,�s˜H oÓ
6€Ø�7‰7�<‰<˜˜X }Ó5€Ø�7‰7�<‰<˜˜XÐ'?Ó@€Ø‡g�g‡l�l�3˜Ð'CÓD€Ø‡g�g‡l�l�3˜	 :Ð/LÓM€Øk€Ø"€
áˆB�J‰J�N‰N˜7 FÓ+Ó,€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€Ø€	Ø	€Ø	€Ø€á�—‘—‘ 
¨EÓ2Ó3€Ù�"—*‘*—.‘. ¨eÓ4Ó5€	Ù
ˆb�j‰j�n‰n˜Y¨Ó,Ó
-€Ù
�—
‘
—‘˜y¨%Ó0Ó
1€Ù�—‘—‘ ¨dÓ3Ó4€
Ù	ˆr�z‰z�~‰~˜h¨Ó.Ó	/€Ø�D˜"˜b ! T¨2Ð.€Ø	€òò3ò(,ð& )0¸Èó ð 19ÀIØ!(ó#òLò	ò+Aó\Sò ò
1ò*òZò*DðN ˆzÒÙ…Fð r>   