Ë
    ªSãjV  ã                   ó°  — d Z ddlZddlZddlZddlZddlZddlZddlZddl	Z	ddl
mc mZ ddlZddlZddlZddlZddlZddlmZ ej4                  j7                  ej4                  j9                  e«      «      Zej>                  jA                  dej4                  jC                  edd«      «      Z"ej>                  jA                  dej4                  jC                  edd«      «      Z#ej4                  jC                  edd	«      Z$ej4                  jC                  ed
d«      Z%ej4                  jC                  eddd«      Z&dZ'dZ( e)ej>                  jA                  dd«      «      Z* e)ej>                  jA                  dd«      «      Z+ e,ej>                  jA                  dd«      «      Z-ej>                  jA                  dd«      j]                  «       Z/e/r e,e/«      ndZ0ej>                  jA                  dd«      dk(  Z1dZ2dZ3dZ4dZ5d d!d"d#d$d%e3fZ6d"Z7d&Z8 e9d'd(¬)«      Z:d*„ Z;d+„ Z<d9d,„Z=d-„ Z>d.„ Z?d:d/„Z@d0„ ZAd1„ ZBd2„ ZCd3„ ZDd4„ ZEd5„ ZFd6„ ZGd7„ ZHeId8k(  r eH«        yy);u›  Focal-BCE fine-tune of stem_ms96 from IRM (preferred) or SWA.

Replace recipe BCE with focal BCE (Lin et al.):
  FL = Î±_t * (1 âˆ’ p_t)^Î³ * BCE_with_logits
keeping post-switch sample weights + TV. Architecture unchanged (ms, w96).

Init models/stem_ms96_irm/{held-*,all5}.pt (fallback SWA via INIT_DIR);
restore causal -inf mask. EMA 0.995 eval. HMM preset 0.994 / 0.8.
Also report causal tau-30 high-pass of the evidence.

Smoke: Î³ âˆˆ {1.0, 2.0}; optional Î±=0.25 (when Î± set, skip class pos_weight).
After LODO, also score fuse w=0.5 with frozen stem_synth_switch
(focal-IRM â†” synth) â€” tip comparison vs IRMâ†”synth 0.8192/75.52.

Distinct from AVGC Î» upweight, avgc-curriculum, soft-H, fuse-conf-resid,
PCGrad/SAM.

usage:
  FOCAL_GAMMA=2.0 STEPS=800 python stem_ms96_focal_avgc.py
  SMOKE=1 STEPS=40 python stem_ms96_focal_avgc.py   # pick Î³; no full score
  TUNE_GAMMA=1 python ...   # smoke then full LODO
é    N)ÚDS_KEYSÚINIT_DIRÚmodelsÚstem_ms96_irmÚ	SYNTH_DIRÚstem_ms96_synth_switchÚstem_ms96_focal_avgcÚexperimentszstem_ms96_focal_avgc.logÚresultsÚresearchzstem_ms96_focal_avgc.jsonzb/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/results/research)ÚAASDÚ	Carta2026ÚSTEPSÚ800ÚBATCHÚ512ÚFOCAL_GAMMAz2.0ÚFOCAL_ALPHAÚ ÚSMOKEÚ0Ú1g×£p=
×ï?g-Cëâ6J?g+‡ÙÎï?gš™™™™™é?Ú	stem_ms96Úmsé`   é@   é   Tç      à?g-Cëâ6ê?gáz®GáR@©ÚHÚAccc                 ó   — t        | d¬«       t        j                  t        j                  j	                  t
        «      d¬«       t        t
        d«      5 }|j                  | dz   «       d d d «       y # 1 sw Y   y xY w)NT)Úflush©Úexist_okÚaÚ
)ÚprintÚosÚmakedirsÚpathÚdirnameÚLOGÚopenÚwrite)ÚtextÚfhs     ústem_ms96_focal_avgc.pyÚlog_liner3   E   sL   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ø
�‰�˜‘Ô÷ 
�‰ús   ÁA4Á4A=c                 ó$  — t        j                  | dd¬«      }|d   \  }}}}}}}	|dk7  s|r	|t        k7  rt        d|d   › �«      ‚t	        t        j                  |d   «      j                  d   «      }
t        j                  |
|||d	¬
«      }|j                  j                  «       j                  «       }|j                  |d   «       |j                  j                  |«       t        j                  |j                  «      j!                  «       rt        d| › �«      ‚|j#                  |«      }t        j                  |d   t
        j$                  «      }t        j                  |d   t
        j$                  «      }|||t'        |d   «      fS )NÚcpuF)Úmap_locationÚweights_onlyÚcfgr   zunexpected stem cfg Úmur   T)Úd_modelÚnlayersÚstemÚstatez-causal mask still has nan after restore from ÚsdÚtrain)ÚtorchÚloadÚWINDOWÚRuntimeErrorÚintÚnpÚasarrayÚshapeÚVÚLogitTransformerÚmaskÚdetachÚcloneÚload_state_dictÚcopy_ÚisnanÚanyÚtoÚfloat32Úlist)r+   ÚdeviceÚblobÚnameÚfamilyÚwindowr:   r;   r<   Ú_lrÚc_inÚnetÚ	good_maskr9   r>   s                  r2   Ú	load_initr]   L   sK  € Ü�:‰:�d¨¸UÔC€DØ8<¸U¹Ñ5€Dˆ&�&˜' 7¨D°#Øˆ{Ò¡$¨&´FÒ*:ÜÐ1°$°u±+°Ð?Ó@Ð@ÜŒr�z‰z˜$˜t™*Ó%×+Ñ+¨AÑ.Ó/€DÜ
×
Ñ
˜T 6°7ÀGÐRVÔ
W€CØ—‘—‘Ó!×'Ñ'Ó)€IØ×Ñ˜˜W™Ô&Ø‡H�H‡N�N�9ÔÜ‡{�{�3—8‘8Ó× Ñ Ô"ÜÐJÈ4È&ÐQÓRÐRØ
�&‰&�‹.€CÜ	�‰�D˜‘J¤§
¡
Ó	+€BÜ	�‰�D˜‘J¤§
¡
Ó	+€BØ��Bœ˜T '™]Ó+Ð+Ð+ó    c                 óx  — t        j                  ||«      }t        j                  | «      }||z  d|z
  d|z
  z  z   }d|z
  j	                  dd«      j                  |«      }	|�/||z  d|z
  d|z
  z  z   }
t        j                  | |d¬«      }|	|
z  }	nt        j                  | ||d¬«      }||z  |	z  }||z  j                  «       j                  d«      }||z  j                  «       |z  }| dd…dd…f   | dd…dd…f   z
  j                  «       }|dd…dd…f   |dd…dd…f   z  }|d	||z  j                  «       z  |j                  «       j                  d«      z  z   }t        |	|z  j                  «       j                  «       |j                  «       j                  d«      j                  «       z  «      }||fS )
zDFocal BCE + post-switch weights + TV (matches stem recipe skeleton).ç      ð?g        NÚnone)Ú	reduction)Ú
pos_weightrb   é   éÿÿÿÿgš™™™™™©?)rH   Úswitch_weightsr@   ÚsigmoidÚclampÚpowÚFÚ binary_cross_entropy_with_logitsÚsumÚ	clamp_minÚabsÚfloatÚitem)ÚlogitÚyÚmrc   ÚgammaÚalphaÚswÚpÚptÚmodÚalpha_tÚbceÚwÚdenomÚlossÚdvÚm2Úmean_mods                     r2   Ú	focal_bcer‚   ^   s®  € ä	
×	Ñ	˜!˜QÓ	€BÜ�‰�eÓ€AØ	
ˆQ‰�#˜‘'˜c A™gÑ&Ñ	&€BØ�‰8×
Ñ
˜3 Ó
$×
(Ñ
(¨Ó
/€CØÐØ˜!‘)˜s U™{¨s°Q©wÑ7Ñ7ˆÜ×0Ñ0°¸ÀVÔLˆØ�G‰m‰ä×0Ñ0Ø�1 °vô?ˆà
ˆQ‰�‰€AØ�!‰V�L‰L‹N×$Ñ$ SÓ)€EØ�!‰G�=‰=‹?˜UÑ"€DØ
’�1‘2�‰,˜šq # 2 #˜v™Ñ
&×	+Ñ	+Ó	-€BØ	
Š1ˆa‰bˆ5‰�A’a˜˜"˜�f‘IÑ	€BØ�$˜"˜r™'Ÿ™›Ñ(¨2¯6©6«8×+=Ñ+=¸cÓ+BÑBÑB€DÜ�c˜A‘g—]‘]“_×)Ñ)Ó+¨a¯e©e«g×.?Ñ.?ÀÓ.D×.IÑ.IÓ.KÑKÓL€HØ�ˆ>Ðr^   c                 ó  — t        dt        |dz  d«      «      }||k  r||dz   z  |z  }nJ||z
  t        ||z
  d«      z  }dd|dz
  z  dt        j                  t        j                  |z  «      z   z  z   }| j
                  D ]  }||d<   Œ	 |S )Né(   é
   rd   gñhãˆµøä>r   r`   Úlr)ÚminÚmaxÚmathÚcosÚpiÚparam_groups)ÚoptÚstepÚtotalÚbaseÚwarmr†   rw   Úgroups           r2   Úset_lrr“   u   s˜   € Üˆr”3�u ‘{ AÓ&Ó'€DØˆd‚{Ø�T˜A‘XÑ Ñ%‰à�D‰[œC ¨¡¨aÓ0Ñ0ˆØ�C˜4 $™;Ñ'¨3´·±¼$¿'¹'ÀA¹+Ó1FÑ+FÑGÑGˆØ×!Ô!ˆØˆˆdŠð "à€Ir^   c                 óæ  — t        |j                  «       «      }t        j                  d|z
  t	        |d«      z  g|¬«      }t        j
                  j                  | j                  «       t        d¬«      }t        j                  j                  t        j                  «      }t        j                  | «      j!                  «       }| j#                  «        t%        j$                  «       }d x}}t'        |«      D �]ò  }t)        |||t        «       t        j*                  ||t,        |||«      \  }}}t        j.                  |«      j1                  |d¬«      }t        j.                  |«      j1                  |d¬«      }t        j.                  |«      j1                  |d¬«      }t        j2                  |«      }|j5                  d¬«        | |«      }t7        |||||	|
«      \  }}t        j8                  |«      s%t;        d	|› d
|› d|j=                  «       › d|› �«      ‚|j?                  «        t        j@                  jB                  jE                  | j                  «       d«       |jG                  «        t        jH                  | |tJ        «       t        |j=                  «       «      }|}|dk(  s|dz   dz  dk(  s
|dz   |k(  s�ŒÎtM        d|› d|dz   › d|› d|d›d|d›d|	› d|
› �«       �Œõ |j!                  «        t        jN                  ||t,        |||«      }tM        d|› d|d›d|d›d|d›d|	› d|
› dt%        j$                  «       |z
  d›d�«       |tQ        ||||	|
tS        |«      ¬«      fS )Nr`   gü©ñÒMbP?)rT   g-Cëâ6?)r†   Úweight_decayT)Únon_blocking)Úset_to_noneznon-finite loss at step z for z: loss=z
 mean_mod=r   rd   éÈ   z    z step Ú/z loss ú.4fz
 mean_mod õ    Î³ õ    Î± z
  trained z frame-acc ú.3fz (z.0fzs))r~   r�   Ú	frame_accrt   ru   Ún_env)*ro   Úmeanr@   Útensorrˆ   ÚoptimÚAdamWÚ
parametersÚLRrE   ÚrandomÚdefault_rngrH   Ú
TRAIN_SEEDÚcopyÚdeepcopyÚevalr?   ÚtimeÚranger“   Úsample_batchrB   Ú
from_numpyrQ   ÚaugmentÚ	zero_gradr‚   ÚisfiniterC   rp   ÚbackwardÚnnÚutilsÚclip_grad_norm_rŽ   Ú
ema_updateÚ	EMA_DECAYr3   Útrain_frame_accÚdictÚlen)ÚmodelÚgroupsÚy_allr9   r>   rT   ÚstepsÚbatchÚtagrt   ru   Úposrc   r�   ÚrngÚemaÚt0ÚlastÚlast_modrŽ   ÚxbÚybÚmbÚxrr   rs   rq   r~   r�   Úaccs                                 r2   Útrain_focalrÍ   �   s!  € Ü
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.´2ÀDÐ
Ó
I€CÜ
�)‰)×
Ñ
¤§¡Ó
-€CÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€CØ	‡K�K„MÜ	�‰‹€BØÐ€Dˆ8Ü�e—ˆÜˆs�D˜%¤Ô$Ü—^‘^ C¨´¸ÀÀBÓG‰
ˆˆB�Ü×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ�I‰I�a‹LˆØ�‰ $ˆÔ'Ù�a“ˆÜ" 5¨!¨Q°
¸EÀ5ÓI‰ˆˆhÜ�~‰~˜dÔ#ÜØ*¨4¨&°°c°Uð ;ØŸ	™	›�} J¨x¨jð:ó;ð ;ð 	�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
Ü	�‰�U˜C¤Ô+Ü�T—Y‘Y“[Ó!ˆØˆØ�1Š9˜ ™ SÑ(¨AÒ-°¸±¸UÔ1BÜØ�s�e˜6 $¨¡( ¨1¨U¨G°6¸$¸s¸ð DØ$ S˜>¨¨e¨W°D¸¸ðAöBð+ ð0 ‡H�H„JÜ
×
Ñ
˜C ¬°°R¸Ó
@€CÜØ
�S�E˜  S˜z¨°H¸S°>ð BØ˜�I˜T % ¨¨U¨G°2´d·i±i³kÀBÑ6FÀsÐ5KÈ2ð	OôPð ”Ø˜H°Ø˜5¬¨F«ô5ð 5ð 5r^   c
                 ó`  — t        | |«      \  }
}}}	 t        |
||||||||||«      \  }}|||||fS # t        j                  j                  $ r^ |	r‚ t        d|› d|› d�«       ~
|j                  dk(  rt        j                  j                  «        t        | |||||dz  |||d¬«
      cY S w xY w)Nz	  OOM on z
 at batch z; halving onceÚcudar   T)Úhalved)	r]   rÍ   r@   rÏ   ÚOutOfMemoryErrorr3   ÚtypeÚempty_cacheÚfit_with_oom)Ú	init_pathr½   r¾   rT   r¿   rÀ   rÁ   rt   ru   rÐ   r¼   r9   r>   Ú_trainrÄ   Ústatss                   r2   rÔ   rÔ   ¬   sÏ   € Ü% i°Ó8Ñ€Eˆ2ˆr�6ðÜ Ø�6˜5 " b¨&°%¸ÀÀUÈEóS‰
ˆˆUà�B˜˜E 5Ð(Ð(øÜ�:‰:×&Ñ&ò 	ÙØÜ�9˜S˜E ¨E¨7°.ÐAÔBØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$ÜØ�v˜u f¨e°U¸a±ZÀÀeÈUØôò 	ð	ús   “2 ²A8B-Â,B-c                 ó  — i }| j                  «       D ]r  \  }}t        j                  t        j                  |t        j
                  «      d d …d f   «      j                  d«      j                  t        j
                  «      ||<   Œt |S )Nre   )ÚitemsÚV4ÚhighpassrE   rF   Úfloat64ÚreshapeÚastype)ÚstreamÚoutÚkeyÚds       r2   Úhp30_streamrã   ¾   sg   € Ø
€CØ—,‘,–.‰ˆˆQÜ—;‘;œrŸz™z¨!¬R¯Z©ZÓ8º¸D¸ÑAÓB×JÑJÈ2ÓN×UÑUÔVX×V`ÑV`ÓaˆˆCŠð !à€Jr^   c                 óX  — i }| D ]¢  }t        j                  | |   t         j                  «      }t        j                  ||   t         j                  «      }t        t	        |«      t	        |«      «      }||d | z  d|z
  |d | z  z   j                  t         j                  «      ||<   Œ¤ |S )Nr`   )rE   rF   rÜ   r‡   r»   rÞ   )Úa_streamÚb_streamr|   rà   rá   r&   ÚbÚns           r2   Ú	blend_oneré   Å   s’   € Ø
€CÛˆÜ�J‰J�x ‘}¤b§j¡jÓ1ˆÜ�J‰J�x ‘}¤b§j¡jÓ1ˆÜ”�A“œ˜A›ÓˆØ˜˜"˜1˜‘I  q¡¨A¨b¨q¨EÑ 1Ñ1×9Ñ9¼"¿*¹*ÓEˆˆCŠð	 ð
 €Jr^   c                 ó2  — t        j                  | |||t        |«      }t        j                  |«      }t        j
                  ||t        t        «      }|D �	ci c]  }	|	t        ||	   «      “Œ }
}	t        j
                  |t        j                  |
«      t        t        «      }t        d|› dt        › dt        › d|d   d›d|d   d	›d
|d   d›d|d   d	›�«       t        d|› dt        › dt        › d|d   d›d|d   d	›�
«       t        ||¬«      |fS c c}	w )NzLODO ú p ú sc ú  H r    rš   ú Acc r!   ú.2fú L ÚLr�   ú SDT ÚSDTz
LODO_hp30 ©ÚfocalÚhp30)rH   Ú	infer_allrB   ÚNÚto_evÚofficialÚP_STAYÚSCALErã   r3   rº   )r¼   Úfeatr9   r>   ÚheldrT   ÚstreamsÚevÚoffÚdsÚhpÚoff_hps               r2   Ú
score_lodor  Ï   s!  € Ü�k‰k˜%  r¨2¬v°vÓ>€GÜ	
�‰�Ó	€BÜ
�*‰*�T˜2œv¤uÓ
-€CÙ18Ó	9±¨2ˆ"Œk˜' "™+Ó&Ñ
&°€BÐ	9Ü�Z‰Z˜œaŸg™g b›k¬6´5Ó9€FÜˆu�T�F˜#œf˜X T¬%¨°°S¸±X¸c°NÀ%ÈÈEÉ
ÐSVÐGWð XØ�c‘(˜3�˜u S¨¡Z°Ð$4ð6ô 7äˆz˜$˜˜s¤6 (¨$¬u¨g°T¸&À¹+ÀcÐ9JÈ%ÐPVÐW\ÑP]Ð^aÐObÐcÔdÜ�c Ô'¨Ð0Ð0ùò 
:s   ÁDc                 ó<  — g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       |D �	ci c]  }	|	t        ||	   «      “Œ }}	g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       i }t        D �]ú  }	t        j                  | |	||	   i||t         |«      |	   }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t        |«      }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t#        ||¬«      ||	<   t        d|	› dt,        › dt        › d|d   d›d|d   d›d|d   d›d|d   d›�«       t        d|	› dt,        › dt        › d|d   d›d|d   d›�
«       �Œý |S c c}	w )Nr   r`   ç      ð¿z  external emissions mu rš   z sd z scale z  external hp30 emissions mu ÚattÚt_endÚatt128Ún128Úsubject©Úr0Úr1r  r	  r
  r  r  ç      è?rô   zEXT rë   rì   rí   r    rî   r!   rï   rð   rñ   r�   rò   ró   z	EXT_hp30 )rÙ   ÚappendrE   rF   rÜ   Úwherero   Úconcatenater    Ústdr3   rü   rã   Ú
TEST_NAMESrH   r÷   rB   rº   Úzerosr»   ÚEÚscorerû   )r¼   Úfeat_extÚmetaÚmu_inÚsd_inÚcorpus_streamsÚ
corpus_attrT   Úpartsr  ÚtableÚlabelsrá   râ   Úmu_eÚsd_eÚ	hp_corpusÚparts_hpÚmu_hpÚsd_hpÚrowsrß   r   Úmeta_kÚrÚ	stream_hpÚev_hpÚr_hps                               r2   Úscore_externalr.  Û   sÜ  € Ø€EØ#×)Ñ)Ö+‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�L‰LœŸ™ A¤r§z¡zÓ2´R·X±X¸fÀS¹kÈQÑ>NÐPSÐUYÓ5ZÑZÕ[ñ $ð ,ô ”—‘ Ó&×+Ñ+Ó-Ó.€DÜ”—‘ Ó&×*Ñ*Ó,Ó-€DÜÐ'¨¨S z°°d¸3°Z¸wÄuÀgÐNÔOá?MÓN¹~¸�”[ °Ñ!3Ó4Ñ4¸~€IÐNØ€HØ—_‘_Ö&‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�O‰OœBŸJ™J q¬"¯*©*Ó5¼¿¹ÀÈÁÐPQÑAQÐSVÐX\Ó8]Ñ]Õ^ñ $ð 'ô ”"—.‘. Ó*×/Ñ/Ó1Ó2€EÜ”"—.‘. Ó*×.Ñ.Ó0Ó1€EÜÐ,¨U°3¨K°t¸EÀ#¸;ÀgÌeÈWÐUÔVà€DßˆjˆÜ—‘˜U R¨°"©Ð$6¸¸uÄfÈfÓUÐVXÑYˆØˆØ—l‘l–n‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ˜a¤B§H¡H¬S°«VÓ$4¸&À¹-ÈvÐV]ÉØ"(¨Ñ"2¸À¹ÐQWÐXaÑQbôdˆBˆsŠGð %ô
 �G‰G�B˜˜d¤U™l¬F°DÓ9ˆÜ Ó'ˆ	ØˆØ—o‘oÖ'‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ ¤r§x¡x´°A³Ó'7¸VÀE¹]ÐRXÐY`ÑRaØ%+¨HÑ%5¸FÀ6¹NÐTZÐ[dÑTeôgˆE�#ŠJð (ô
 �w‰w�u˜e U¬U¡]´F¸DÓAˆÜ˜a dÔ+ˆˆR‰Ü�4˜�t˜3œv˜h d¬5¨'°°a¸±f¸S°\ÀÀqÈÁxÐPSÀnð UØ˜‘f˜S�\  q¨¡x° nð6ô 	7ä�9˜R˜D ¤F 8¨4´¨w°d¸4À¹9ÀS¸/ÈÈtÐTYÉ{Ð[^ÐN_Ð`Öað) ð* €KùòA Os   Ã?Pc                  ó¤  — t         j                  j                  dg d¢¬«       i i }} t        D �]Š  }g }t	        d«      D ]f  }t
        j                  j                  t        d|› d|› d�«      }t        |d«      5 }|j                  t        j                  |«      «       d d d «       Œh i i c| |<   ||<   |d	   D ]à  }|D �cg c]0  }||   d
   ||   d   z
  j                  t        j                  «      ‘Œ2 }	}|d	   |   }
t        j                   |	d«      | |   |<   t#        t        j$                  |
d   «      t        j$                  |
d   t        j&                  «      t        j$                  |
d   «      t)        |
d   «      t)        |
d   «      ¬«      ||   |<   Œâ t+        d|› dt-        | |   «      › d�«       �Œ� | |fS # 1 sw Y   �Œ‹xY wc c}w )NÚ
eaP_n5_t60)ÚenvÚonsetÚdom)ÚprepÚtargetsé   Úext_clf_Ú_w10b3sw2P_evidence_sz.pklÚrbr   r  r  rd   r  r	  r
  r  r  )r  r	  r
  r  r  z  external z: z trials)r  ÚCONFÚupdater  r­   r)   r+   ÚjoinÚEVIDr.   r  ÚpicklerA   rÞ   rE   rR   Ústackrº   rF   rÜ   rD   r3   r»   )Úlogitsr  r  ÚevsÚir+   r1   rá   r   ÚcolsÚe0s              r2   Úload_externalrE    sª  € Ü‡F�F‡M�M�|Ò-D€MÔEØ�rˆD€FßˆjˆØˆÜ�q–ˆAÜ—7‘7—<‘<¤¨°°Ð4IÈ!ÈÈDÐ&QÓRˆDÜ�d˜DÔ! RØ—
‘
œ6Ÿ;™; r›?Ô+÷ "Ð!ð ð  " 2Ðˆˆr‰
�D˜‘HØ�q”6ˆCÙQTÓUÑQTÈ2�R˜‘W˜T‘] R¨¡W¨T¡]Ñ2×:Ñ:¼2¿:¹:ÕFÐQTˆDÐUØ�Q‘˜‘ˆBÜ Ÿh™h t¨QÓ/ˆF�2‰J�s‰OÜ Ü—J‘J˜r %™yÓ)´·±¸B¸w¹KÌÏÉÓ1TÜ—z‘z " X¡,Ó/´c¸"¸V¹*³oÌsÐSUÐV_ÑS`ÓOaôcˆD�‰H�SŠMð	 ô 	�;˜r˜d "¤S¨°©£_Ð$5°WÐ=Ö>ð ð �4ˆ<Ð÷ "Ñ!üò Vs   Á9%G Â?5GÇ G
c                 óø  — d}t         j                  j                  t        d|› d�«      }t        D �cg c]
  }||k7  sŒ	|‘Œ }}t        j                  | |«      \  }}t         j                  j                  dd«      j                  d«      D �cg c]  }t        |«      ‘Œ }	}dg}
t         j                  j                  dd	«      d	k(  r|
j                  d
«       t        t         j                  j                  dd«      «      }g }|	D ]ä  }|
D ]Ý  }d|› d|› �}t        d|› d|› d|› �«       	 t        |||||t        |||«	      \  }}}}}~|j                   dk(  rt"        j$                  j'                  «        |d   duxr" t)        j*                  |d   «      xr |d   dkD  }t-        d(||dœ|¤Ž}|j                  |«       t        d|› d|› d|› d|d   d›d|d   d›d|d   d›�«       Œß Œæ |D �cg c]  }|j                  d!«      sŒ|‘Œ }}|st3        d"|› �«      ‚d#„ }t5        ||¬$«      }t        d%|d&   › d|d'   › d|d   d›d|d   d›d|d   d›�
«       t        |d&   «      |d'   |fS c c}w c c}w # t.        $ rs}t        d|› d|› d|› �«       |j                  t-        ||dt1        |«      ¬ «      «       |j                   dk(  rt"        j$                  j'                  «        Y d}~�Œäd}~ww xY wc c}w ))u7   Short train on held-AVGC fold for Î³ (and optional Î±).ÚAVGCúheld-ú.ptÚSMOKE_GAMMASz1.0,2.0Ú,NÚSMOKE_ALPHAr   g      Ð?ÚSMOKE_STEPSÚ40u   smoke-Î³u   -Î±u	   SMOKE Î³=õ    Î±=z steps=rÏ   r~   rž   gš™™™™™á?)ÚokrÀ   z ok=z loss=rš   z mod=r�   z frame=r�   z	 FAILED: F)rt   ru   rP  ÚerrorrP  u   all smoke Î³ failed: c                 ó8   — | d   | d   t        | d   dz
  «       fS )Nrž   r�   rt   g      ø?)rn   )r*  s    r2   Ú	score_rowzsmoke_gamma.<locals>.score_rowD  s(   € à�+‘  *¡´°A°g±JÀÑ4DÓ0EÐ/EÐFÐFr^   )rá   u   SMOKE chose Î³=rt   ru   © )r)   r+   r<  r   r   rH   Útrial_groupsÚenvironÚgetÚsplitro   r  rD   r3   rÔ   r   rÒ   r@   rÏ   rÓ   r‰   r²   rº   Ú	ExceptionÚstrrC   rˆ   )Úfeat_allrT   rþ   r+   râ   Útrain_dsr½   r¾   rË   ÚgammasÚalphasÚsmoke_stepsr   rt   ru   rÁ   rÄ   r9   r>   Úusedr×   rP  ÚrowÚexcr*  Úok_rowsrS  Úbests                               r2   Úsmoke_gammare    s0  € à€DÜ�7‰7�<‰<œ E¨$¨¨sÐ"3Ó4€DÝ"Ó0™7�a a¨4£i’˜7€HÐ0Ü—N‘N 8¨XÓ6�M€FˆEÜ "§
¡
§¡¨~¸yÓ I× OÑ OÐPSÔ TÓUÑ T˜1Œe�A�hÐ T€FÐUàˆV€FÜ	‡z�z‡~�~�m SÓ)¨SÒ0Ø�‰�dÔÜ”b—j‘j—n‘n ]°DÓ9Ó:€KØ€GÛˆÛˆEØ˜U˜G 3 u gÐ.ˆCÜ�y   t¨E¨7°'¸+¸ÐGÔHð-Ü+7Ø˜& %¨°¼eÀSÈ%ÐQVó,XÑ(��R˜˜T 5àØ—;‘; &Ò(Ü—J‘J×*Ñ*Ô,Ø˜F‘m¨4Ð/ò 4´D·M±MÀ%ÈÁ-Ó4Pò 4Ø Ñ,¨tÑ3ð äÐ6˜b¨Ñ6°Ñ6�Ø—‘˜sÔ#ÜØ ˜w d¨5¨'°°b°T¸ÀÀfÁÈcÐ?Rð SØ  Ñ,¨SÐ1°¸¸{Ñ9KÈCÐ8PðRõSñ ð ñ, "Ó1™'�Q Q§U¡U¨4¥[Šq˜'€GÐ1ÙÜÐ2°7°)Ð<Ó=Ð=òGô ˆw˜IÔ&€DÜØ
˜$˜w™-˜¨¨T°'©]¨Oð <Ø�kÑ" 3Ð' v¨d°6©l¸3Ð-?¸uÀTÈ*ÑEUÐVYÐDZð	\ô]ô ��g‘Ó  g¡°Ð7Ð7ùòW 1ùâUøô0 ò -Ü˜9 U G¨4°¨w°iÀ¸uÐEÔFØ—‘œt¨%°uÀÌcÐRUËhÔWÔXØ—;‘; &Ò(Ü—J‘J×*Ñ*Ô,ÿùð	-üò
 2s6   ³
I.¾I.ÂI3Ä+B>I8Ç1K7ÈK7É8	K4ÊA(K/Ë/K4c                 ó’  — t         j                  j                  t        d|› d�«      }t         j                  j	                  |«      st        d|› d|› �«       yt        j                  ||«      \  }}}t        j                  ||||t        |«      }~|j                  dk(  rt        j                  j                  «        i }	| D ]  }
t        | |
   ||
   t         «      |	|
<   Œ t#        j$                  |t#        j&                  |	«      t(        t*        «      }t        dt         › d|› d	t(        › d
t*        › d|d   d›d|d   d›�«       |S )zDScore w=0.5 blend of focal held streams with frozen synth held ckpt.rH  rI  z
FUSE skip z
: missing NrÏ   ÚFUSE_wÚ rë   rì   rí   r    rš   rî   r!   rï   )r)   r+   r<  r   Úisfiler3   ÚFuseÚ	load_ckptrH   r÷   rB   rÒ   r@   rÏ   rÓ   ré   ÚFUSE_Wrø   rú   rù   rû   rü   )Úfocal_streamsr[  rþ   rT   r+   Ú	synth_netÚsynth_muÚsynth_sdÚ	synth_allÚblendedr  r  s               r2   Úscore_fuse_lodors  O  s&  € ä�7‰7�<‰<œ	 U¨4¨&°Ð#4Ó5€DÜ�7‰7�>‰>˜$ÔÜ�:˜d˜V :¨d¨VÐ4Ô5ØÜ$(§N¡N°4¸Ó$@Ñ!€Iˆx˜Ü—‘˜I x°¸8ÄVÈVÓT€IØØ‡{�{�fÒÜ�
‰
×ÑÔ Ø€GÛˆÜ ¨bÑ 1°9¸R±=Ä&ÓIˆ�Šð ä
�*‰*�Tœ1Ÿ7™7 7Ó+¬V´UÓ
;€CÜØ
”�˜˜$˜˜s¤6 (¨$¬u¨gð 6Ø�‰X�cˆN˜%  E¡
¨3Ð/ð	1ô2ð €Jr^   c                  óz  — t        j                  t         j                  j                  t        «      d¬«       t        t        d«      j                  «        t        j                  t        j                  j                  «       rdnd«      } t        d| › dt        › dt        › d	t        › d
t        › dt         › dt"        › dt$        › �«       dt        j&                  j                  j(                  _        dt        j&                  j,                  _        t/        j0                  | «       t3        j4                  «        t/        j6                  «       d   }t        j                  t8        d¬«       t        }t        }d }t$        s#t         j:                  j=                  dd«      dk(  r³t?        || «      \  }}}t$        r�tA        |||t         ¬«      }t        j                  t         j                  j                  tB        «      d¬«       t        tB        jE                  dd«      d«      5 }tG        jH                  ||dtJ        ¬«       d d d «       t        d«       y i }tL        D �]‰  }t         j                  jO                  t         d|› d�«      }	t         j                  jQ                  |	«      stS        |	«      ‚tL        D �
cg c]
  }
|
|k7  sŒ	|
‘Œ }}
t/        jT                  ||«      \  }}t        d|› d|	› d|› d|› �«       tW        |	||| t        t        d|› �||«	      \  }}}}}t        jX                  |j[                  «       |||	|t        ||||t\        dœt         j                  jO                  t8        d|› d�«      «       t_        |||||| «      \  }}ta        |||| «      }|�||d<   tA        |||¬«      ||<   ~| jb                  dk(  s�Œlt        j                  je                  «        �ŒŒ t        d t         › d!|› d|› �«       t/        jT                  |tg        tL        «      «      \  }}t         j                  jO                  t         d"«      }tW        |||| t        t        d#||«	      \  }}}}}t        jX                  |j[                  «       |||tg        tL        «      t        ||||t\        dœt         j                  jO                  t8        d"«      «       t/        jh                  ||||tj        | «      }tm        «       \  }}to        jp                  |«      d   }ts        ||||||t2        jt                  d$   | «      }d }t         j                  jO                  t"        d"«      }t         j                  jQ                  |«      �r¾tw        jx                  || «      \  }}} t/        jh                  |||| tj        | «      }!t/        jh                  |||| tj        | «      }"~| jb                  dk(  rt        j                  je                  «        |D �#ci c]  }#|#t{        ||#   |!|#   t|        «      “Œ }$}#g }%|$j                  «       D ]„  \  }#}&t2        jt                  d$   |#   }'|&j                  «       D ]V  \  }(}
|%j�                  tƒ        j„                  |
t‚        j†                  «      tƒ        jˆ                  |'|(   d%k(  d&d'«      z  «       ŒX Œ† tK        tƒ        jŠ                  |%«      j�                  «       «      })tK        tƒ        jŠ                  |%«      j�                  «       «      }*t/        jh                  ||||tj        | «      }+i }t�        D ]ù  }#t{        |+|#   |"|#   t|        «      },i }-|,j                  «       D ]q  \  }(}
||#   |(   }.tƒ        j„                  |
t‚        j†                  «      }
tA        |
tƒ        j’                  t•        |
«      «      |.d$   |.d(   |.d)   |.d*   |.d+   ¬,«      |-|(<   Œs t—        j˜                  |-|)|*tš        z  tœ        d-«      }/|/||#<   t        d.t|        › d/|#› d0tœ        › d1tš        › d2|/d3   d4›d5|/d6   d7›�«       Œû ~n~t        d8|› �«       tK        tƒ        jŒ                  tL        D �
cg c]  }
||
   d9   d:   d3   ‘Œ c}
«      «      }0tK        tƒ        jŒ                  tL        D �
cg c]  }
||
   d9   d:   d6   ‘Œ c}
«      «      }1t        d;|0d4›d5|1d7›�«       |d<   d9   d:   }2t        d=|2d3   d4›d>|2d6   d7›d?tž        d3   d4›d>tž        d6   d7›d@|2d3   tž        d3   z
  dA›dB|2d6   tž        d6   z
  dC›�«       d|d<   d9   v �r
|d<   d9   d   }3t        dDt|        › dE|3d3   d4›d>|3d6   d7›d?tž        d3   d4›d>tž        d6   d7›d@|3d3   tž        d3   z
  dA›dB|3d6   tž        d6   z
  dC›�«       tK        tƒ        jŒ                  tL        D �
cg c]  }
d||
   d9   v r||
   d9   d   d3   ‘Œ c}
«      «      }4tK        tƒ        jŒ                  tL        D �
cg c]  }
d||
   d9   v r||
   d9   d   d6   ‘Œ c}
«      «      }5t        d.t|        › dF|4d4›d5|5d7›�«       nd x}4}5tA        d\i dGtœ        “dHtš        “dIt        “dJt        “dK|“dL|“dMt         “dNt"        “dOt|        “dP|“dQtž        “dRtL        D �
ci c]  }
|
||
   d9   “Œ c}
“dStL        D �
ci c]  }
|
||
   dT   “Œ c}
“dUtA        |0|1¬V«      “dW|4�tA        |4|5¬V«      nd “dX|“dY|“dZ|“Ž}t        j                  t         j                  j                  tB        «      d¬«       t        tB        d«      5 }tG        jH                  ||dtJ        ¬«       d d d «       t        d[tB        › �«       y # 1 sw Y   �	Œ:xY wc c}
w c c}#w c c}
w c c}
w c c}
w c c}
w c c}
w c c}
w # 1 sw Y   ŒQxY w)]NTr$   r|   rÏ   r5   zdevice z steps z batch r›   rœ   z init z synth z smoke=r   Ú
TUNE_GAMMAr   r   )ÚsmokeÚchosen_gammaÚchosen_alphaÚinit_dirz.jsonz_smoke.jsonrd   )ÚindentÚdefaultz&SMOKE done; exiting without full scorerH  rI  zfold held-out=u    Î³=rO  )r=   r9   r>   Úinitr?   r¿   rÀ   Úfocal_gammaÚfocal_alphar×   r8   Úfuse_w05)Úscoresr×   rÀ   z/all-5 focal fine-tune for AASD and Carta, init u   /all5.pt Î³=zall5.ptÚall5r  r   r`   r  r	  r
  r  r  r  r  rg  z EXT rë   rì   rí   r    rš   rî   r!   rï   zFUSE ext skipped; missing r€  rõ   zLODO mean H rG  zAVGC focal r™   z vs tip u    Î”H z+.4fu    Î”Acc z+.2fzAVGC fuse_wrh  z LODO mean H Úp_stayÚscaler¿   rÀ   r}  r~  ry  Ú	synth_dirÚfuse_wrv  Útip_avgcÚlodoÚ
lodo_statsr×   Ú	lodo_meanr   Úfuse_lodo_meanÚexternalÚfuse_externalÚ
all5_statszwrote rT  )Pr)   r*   r+   r,   r-   r.   Úcloser@   rT   rÏ   Úis_availabler3   r   r   r   r   r   r   r   ÚbackendsÚmatmulÚ
allow_tf32ÚcudnnrH   Úassert_causalrø   Úload_allÚbuild_featuresÚCKPT_DIRrV  rW  re  rº   ÚOUTÚreplaceÚjsonÚdumpro   r   r<  ri  ÚFileNotFoundErrorrU  rÔ   ÚsaveÚ
state_dictÚCFGr  rs  rÒ   rÓ   rS   r÷   rB   rE  rÚ   Úbuild_features_fromr.  ÚGrj  rk  ré   rl  rÙ   r  rE   rF   rÜ   r  r  r    r  r  r  r»   r  r  rü   rû   ÚTIP_AVGC)6rT   r[  rt   ru   Ú
smoke_inforà   r1   Úperrþ   r+   râ   r\  r½   r¾   rÄ   r9   r>   r`  r×   r€  rÿ   Úfuse_offÚall_pathr  Ú
ext_logitsÚext_metaÚext_featÚextÚfuse_extÚ
synth_all5rn  ro  rp  Úsynth_corpusÚ	synth_extr  Úblend_corpusr  r   r!  rá   r"  r#  Ú	focal_extÚblend_streamr   r)  r*  Úmean_hÚmean_accÚavgcÚfavÚfuse_mean_hÚfuse_mean_accs6                                                         r2   Úmainr¸  d  s  € Ü‡K�K”—‘—‘¤Ó$¨tÕ4ÜŒˆcƒN×ÑÔÜ�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜØ
�&�˜¤  w¬u¨g°T¼+¸ÀdÌ;È-ð XÜˆz˜¤ ¨7´5°'ð	;ô<ð -1„E‡N�N×Ñ×ÑÔ)Ø&*„E‡N�N×ÑÔ#Ü‡O�O�FÔÜ‡J�J„LÜ×ÑÓ! $Ñ'€HÜ‡K�K” 4Õ(ä€EÜ€EØ€JÝ”—
‘
—‘˜|¨SÓ1°SÒ8Ü#.¨x¸Ó#@Ñ ˆˆu�jÝÜØ ¨uÀ5Ü!ô#ˆCô �K‰KœŸ™Ÿ™¬Ó,°tÕ<Ü”c—k‘k '¨=Ó9¸3Ô?À2Ü—	‘	˜#˜r¨!´UÕ;÷ @äÐ=Ô>Øà
€Cß�ˆÜ�w‰w�|‰|œH¨¨d¨V°3Ð&7Ó8ˆÜ�w‰w�~‰~˜dÔ#Ü# DÓ)Ð)Ý&Ó4™w˜!¨!¨t«)’A˜wˆÐ4ÜŸ™ x°Ó:‰ˆ�Ü�> $  v¨d¨V°4¸°w¸dÀ5À'ÐJÔKÜ#/Ø�&˜% ¬´¸¸t¸f°~ÀuÈeó$UÑ ˆˆR��T˜5ä�
‰
Ø—n‘nÓ&¨b¸ÀDØ¬¸Ø!°%À%ÔPSñUô �G‰G�L‰Lœ U¨4¨&°Ð#4Ó5ô		7ô
 % S¨(°B¸¸DÀ&ÓI‰ˆ�Ü" 7¨H°d¸FÓCˆØÐØ!)ˆF�:ÑÜ ¨e¸4Ô@ˆˆD‰	ØØ�;‰;˜&Ô Ü�J‰J×"Ñ"Ö$ð+ ô. ð Ü�J˜l¨5¨'°°e°Wð>ô ?ä—N‘N 8¬T´'«]Ó;�M€FˆEÜ�w‰w�|‰|œH iÓ0€HÜ+Ø�&˜% ¬´°v¸uÀeó MÑ€CˆˆR��uä	‡J�JØ—.‘.Ó"¨"°BÀÜ”w“-¬%¸$Ø¨e¸eÌCñ	Qô 	�‰�‰”X˜yÓ)ô	+ô
 —[‘[  h°°B¼ÀÓG€NÜ(›?Ñ€J�Ü×%Ñ% jÓ1°$Ñ7€HÜ
˜˜h¨°"°b¸.Ì!Ï#É#ÈeÉ*ÐV\Ó
]€Cð €HÜ—‘—‘œi¨Ó3€JÜ	‡w�w‡~�~�jÕ!Ü(,¯©°zÀ6Ó(JÑ%ˆ	�8˜XÜ—{‘{ 9¨h¸À(ÌFÐTZÓ[ˆÜ—K‘K 	¨8°X¸xÌÐQWÓXˆ	ØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$ñ %ó&á$�ð ”	˜.¨Ñ,¨l¸2Ñ.>ÄÓGÑGØ$ð 	ð &ð ˆØ%×+Ñ+Ö-‰IˆB�Ü—S‘S˜‘Z ‘^ˆFØŸ+™+ž-‘��QØ—‘œRŸZ™Z¨¬2¯:©:Ó6¼¿¹À&ÈÁ+ÐQRÑBRÐTWÐY]Ó9^Ñ^Õ_ñ (ð .ô ”R—^‘^ EÓ*×/Ñ/Ó1Ó2ˆÜ”R—^‘^ EÓ*×.Ñ.Ó0Ó1ˆä—K‘K  X¨r°2´v¸vÓFˆ	ØˆßˆBÜ$ Y¨r¡]°I¸b±MÄ6ÓJˆLØˆBØ&×,Ñ,Ö.‘��QØ! "™ cÑ*�Ü—J‘J˜q¤"§*¡*Ó-�ÜØœRŸX™X¤c¨!£fÓ-°6¸%±=ÈÈwÉØ! (Ñ+°&¸±.È&ÐQZÑJ[ô]��3’ð /ô —‘˜˜D $¬¡,´¸Ó=ˆAØˆH�R‰LÜØœ˜  b T¨¬V¨H°D¼¸ð @Ø�s‘V˜C�L  a¨¡h¨s ^ð5õ6ð ñ àÜÐ-¨j¨\Ð:Ô;ä”2—7‘7ÅGÓLÁG¸q˜C ™F 8Ñ,¨WÑ5°cÓ:ÀGÑLÓMÓN€FÜ”R—W‘WÍÓPÉÀ1˜c !™f XÑ.¨wÑ7¸Ó>ÈÑPÓQÓR€HÜˆ|˜F 3˜< u¨X°c¨NÐ;Ô<Øˆv‰;�xÑ  Ñ)€DÜØ
�d˜3‘i �_ A d¨5¡k°#Ð%6°hÜ�C‰=˜Ð
˜Qœx¨™¨sÐ3ð 4Ø�C‰yœ8 C™=Ñ(¨Ð.¨g°d¸5±kÄHÈUÁOÑ6SÐTXÐ5Yð	[ô\ð �S˜‘[ Ñ*Ò*Ø�&‰k˜(Ñ# JÑ/ˆÜØœ&˜  3 s¡8¨C .°°#°e±*¸SÐ1AÀÜ˜‰}˜SÐ! ¤8¨E¡?°3Ð"7ð 8Ø�s‘8œh s™mÑ+¨DÐ1°¸¸U¹ÄhÈuÁoÑ9UÐVZÐ8[ð]ô	^ô œBŸG™GÕPWó %HÑPWÈ1Ø(2°c¸!±f¸XÑ6FÑ(Fð &)¨¡V¨HÑ%5°jÑ%AÀ#Ó%FÐPWñ %Hó Ió JˆäœbŸg™gÕT[ó 'JÑT[ÈqØ*4¸¸A¹¸xÑ8HÑ*Hð (+¨1¡v¨hÑ'7¸
Ñ'CÀEÓ'JÐT[ñ 'Jó Kó Lˆä�6œ&˜ ¨{¸3Ð.?¸uÀ]ÐSVÐDWÐXÕYà&*Ð*ˆ�mä
ò ÝðÝ"ðÝ*/ðÝ7<ðáðá',ðå7?ðõ ðõ %+ðñ 3=ðõ ð	õ
 ,3Ó3©7 aˆa��Q‘˜Ñ!Ñ!¨7Ò3ðõ 18Ó8±¨1�A�s˜1‘v˜g‘Ñ&°Ò8ðô ˜ XÕ.ðð 'Ð2ô ˜{°Õ>Ø8<øðñ ðñ ðñ ð€Cô ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ü�	‰	�#�r !¬UÕ3÷ 
äˆv”c�Uˆ^Õ÷} @Ñ?üò 5ùòZ&ùò@ MùÚPùò%Hùò'Jùò 4ùÚ8÷ 
ˆúsN   È&m<Ê>
n	Ë	n	Øná,nâ(nçnèn"ê!n'ê=n,ín1í<nî1n:Ú__main__)N)F)JÚ__doc__r©   rš  r‰   r)   r>  r¬   ÚnumpyrE   r@   Útorch.nn.functionalr´   Ú
functionalrj   Úensemble_clf_nestedrø   Úensemble_clf_transformer_v2rH   Úensemble_clf_transformer_v4rÚ   Úeval_externalr  Ústem_ms96_irm_swa_fuserj  Úcommonr   r+   r,   ÚabspathÚ__file__ÚEXPrV  rW  r<  r   r   r—  r-   r˜  r=  r  rD   r   r   ro   r   ÚstripÚ_FOCAL_ALPHA_RAWr   r   r¸   r¥   rû   rü   rŸ  rB   rl  rº   r¢  r3   r]   r‚   r“   rÍ   rÔ   rã   ré   r  r.  rE  re  rs  r¸  Ú__name__rT  r^   r2   Ú<module>rÊ     s,  ðñó, Û Û Û 	Û Û ã Û ß Ð ã Û 'Û (Û Û %Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø�:‰:�>‰>Ø�—‘—‘˜S (¨OÓ<ó>€à�J‰J�N‰NØ�—‘—‘˜c 8Ð-EÓFóH€	à�7‰7�<‰<˜˜XÐ'=Ó>€Ø‡g�g‡l�l�3˜Ð'AÓB€Ø‡g�g‡l�l�3˜	 :Ð/JÓK€Øk€Ø"€
áˆB�J‰J�N‰N˜7 EÓ*Ó+€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€Ù�B—J‘J—N‘N =°%Ó8Ó9€à—:‘:—>‘> -°Ó4×:Ñ:Ó<Ð Ù)9‰eÐ$Ô%¸t€Ø
�
‰
�‰�w Ó$¨Ñ+€Ø€	Ø	€Ø	€Ø€Ø�D˜"˜b ! T¨2Ð.€Ø	€Ø	€Ù�&˜eÔ$€òò,ó$ò.	ò(5óVò$òò	1ò*òZò*/8òdò*Vðr ˆzÒÙ…Fð r^   