Ë
    DUàjï5  ã                   ó’  — d Z ddlZddlZddlZddlZddlZddlZddlZddl	Z	ddl
mZ ddlmc mZ ddlZddlZddlZddlZddlmZ ej2                  j5                  ej2                  j7                  e«      «      Zej2                  j=                  edd«      Zej2                  j=                  edd«      Z ej2                  j=                  edd«      Z!ej2                  j=                  ed	d
d«      Z"dZ#dZ$ e%ejL                  jO                  dd«      «      Z( e%ejL                  jO                  dd«      «      Z) e*ejL                  jO                  dd«      «      Z+ e*ejL                  jO                  dd«      «      Z,dZ-dZ.dZ/dZ0dddddde.fZ1dZ2d „ Z3d!„ Z4d"„ Z5d#„ Z6d$„ Z7d%„ Z8d&„ Z9d'„ Z:d/d(„Z;d)„ Z<d*„ Z=d+„ Z>d,„ Z?d-„ Z@eAd.k(  r e@«        yy)0a-  Representation Self-Challenging (RSC) fine-tune of published stem_ms96.

Huang et al., ECCV 2020: with probability RSC_P, mute the top RSC_DROP fraction
of feature channels with largest |dL/dh|, then train on the muted forward so the
network cannot rely only on the currently strongest cues.

Init from models/logit_tf_v2/stem_ms96__held-*.pt. Architecture unchanged.
Evaluate EMA weights (decay 0.995). HMM preset p_stay 0.994 scale 0.8.
Also report causal tau-30 high-pass of the RSC evidence (honest; corpus emissions).

usage:
  python stem_ms96_rsc.py
é    N)ÚDS_KEYSÚmodelsÚlogit_tf_v2Ústem_ms96_rscÚexperimentszstem_ms96_rsc.logÚresultsÚresearchzstem_ms96_rsc.jsonzb/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/results/research)ÚAASDÚ	Carta2026ÚSTEPSÚ1000ÚBATCHÚ512ÚRSC_DROPz0.33ÚRSC_Pz0.5g×£p=
×ï?g-Cëâ6J?g+‡ÙÎï?gš™™™™™é?Ú	stem_ms96Úmsé`   é@   é   Tc                 ó   — t        | d¬«       t        j                  t        j                  j	                  t
        «      d¬«       t        t
        d«      5 }|j                  | dz   «       d d d «       y # 1 sw Y   y xY w)NT)Úflush©Úexist_okÚaÚ
)ÚprintÚosÚmakedirsÚpathÚdirnameÚLOGÚopenÚwrite)ÚtextÚfhs     ú(/root/disk_3tb/eeg-thao/stem_ms96_rsc.pyÚlog_liner(   4   sL   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ø
�‰�˜‘Ô÷ 
�‰ús   ÁA4Á4A=c                 ó(  — t        j                  | dd¬«      }|d   \  }}}}}}}	|dk7  s|r	|t        k7  rt        d|d   › �«      ‚t	        t        j                  |d   «      j                  d   «      }
t        j                  |
|||d	¬
«      }|j                  |d   «       |j                  |«      }t        j                  |d   t
        j                  «      }t        j                  |d   t
        j                  «      }|||t        |d   «      fS )NÚcpuF)Úmap_locationÚweights_onlyÚcfgr   zunexpected stem cfg Úmur   T)Úd_modelÚnlayersÚstemÚstateÚsdÚtrain)ÚtorchÚloadÚWINDOWÚRuntimeErrorÚintÚnpÚasarrayÚshapeÚVÚLogitTransformerÚload_state_dictÚtoÚfloat32Úlist)r    ÚdeviceÚblobÚnameÚfamilyÚwindowr/   r0   r1   Ú_lrÚc_inÚnetr.   r3   s                 r'   Ú	load_stemrK   ;   sö   € Ü�:‰:�d¨¸UÔC€DØ8<¸U¹Ñ5€Dˆ&�&˜' 7¨D°#Øˆ{Ò¡$¨&´FÒ*:ÜÐ1°$°u±+°Ð?Ó@Ð@ÜŒr�z‰z˜$˜t™*Ó%×+Ñ+¨AÑ.Ó/€DÜ
×
Ñ
˜T 6°7ÀGÐRVÔ
W€CØ×Ñ˜˜W™Ô&Ø
�&‰&�‹.€CÜ	�‰�D˜‘J¤§
¡
Ó	+€BÜ	�‰�D˜‘J¤§
¡
Ó	+€BØ��Bœ˜T '™]Ó+Ð+Ð+ó    c           	      óª  — |}| j                   �T|| j                  t        j                  |j                  dd«      | j                  df«      «      j                  dd«      z   }| j                  |«      }| j                  D ]
  } ||«      }Œ || j                  dd…d|j                  d«      …f   z   }| j                  || j                  ¬«      }||fS )z7Post-encoder representation and raw input for the skip.Né   r   r   )Úmask)ÚdwÚFÚpadÚ	transposeÚdw_padÚprojÚblocksÚposÚsizeÚencrO   )ÚmodelÚxÚrawÚhÚblocks        r'   Úencoder_   I   s¸   € à
€CØ‡x�xÐØ�—‘œŸ™˜qŸ{™{¨1¨aÓ0°5·<±<ÀÐ2CÓDÓE×OÑOÐPQÐSTÓUÑUˆØ�
‰
�1‹€AØ—”ˆÙ�!‹H‰ð à	ˆE�I‰I’a˜˜1Ÿ6™6 !›9˜�nÑ%Ñ%€AØ�	‰	�!˜%Ÿ*™*ˆ	Ó%€AØˆcˆ6€MrL   c                 ó„   — | j                  |«      j                  d«      | j                  |«      j                  d«      z   S ©Néÿÿÿÿ)ÚheadÚsqueezeÚskip)rZ   r]   r\   s      r'   Údecoderf   V   s3   € Ø�:‰:�a‹=× Ñ  Ó$ u§z¡z°#£×'>Ñ'>¸rÓ'BÑBÐBrL   c                 óÄ  — t        j                  ||«      }t        j                  | ||d¬«      }||z  j	                  «       j                  d«      }||z  |z  j	                  «       |z  }| d d …dd …f   | d d …d d…f   z
  j                  «       }|d d …dd …f   |d d …d d…f   z  }	|d||	z  j	                  «       z  |	j	                  «       j                  d«      z  z   }|S )NÚnone)Ú
pos_weightÚ	reductionç      ð?rN   rb   gš™™™™™©?)r=   Úswitch_weightsrQ   Ú binary_cross_entropy_with_logitsÚsumÚ	clamp_minÚabs)
ÚlogitÚyÚmri   ÚswÚbceÚdenomÚlossÚdvÚm2s
             r'   Úweighted_bcerz   Z   sÝ   € Ü	
×	Ñ	˜!˜QÓ	€BÜ
×
,Ñ
,¨U°AÀ*ÐX^Ô
_€CØ�!‰V�L‰L‹N×$Ñ$ SÓ)€EØ�"‰H�q‰L×ÑÓ %Ñ'€DØ
’�1‘2�‰,˜šq # 2 #˜v™Ñ
&×	+Ñ	+Ó	-€BØ	
Š1ˆa‰bˆ5‰�A’a˜˜"˜�f‘IÑ	€BØ�$˜"˜r™'Ÿ™›Ñ(¨2¯6©6«8×+=Ñ+=¸cÓ+BÑBÑB€DØ€KrL   c           	      óü  — t         j                  j                  || dd¬«      d   }|j                  «       j	                  «       j                  d¬«      }|j                  \  }}t        dt        t        ||z  «      «      «      }t        ||«      }t        j                  ||d¬«      \  }}	t        j                  |d|| j                  | j                  ¬«      }
|
j                  d|	j!                  d«      d«       |
S )	zJMute top-drop_ratio channels by |dL/dh| mean over time. No graph retained.F)Úretain_graphÚcreate_graphr   rN   )Údim)rC   Údtyper   g        )r5   ÚautogradÚgradÚdetachrp   Úmeanr<   Úmaxr9   ÚroundÚminÚtopkÚonesrC   r   Úscatter_Ú	unsqueeze)r]   Ú
loss_probeÚ
drop_ratioÚgÚscoreÚbszr~   ÚkÚ_Útop_idxrO   s              r'   Úrsc_mute_maskr“   e   sÌ   € ä�‰×Ñ˜J¨¸ÈEÐÓRÐSTÑU€AØ�H‰H‹J�N‰NÓ×!Ñ! aÐ!Ó(€EØ�{‰{�H€CˆÜˆAŒs”5˜˜zÑ)Ó*Ó+Ó,€AÜˆAˆs‹€AÜ—‘˜E 1¨!Ô,�J€A€wÜ�:‰:�c˜1˜c¨!¯(©(¸!¿'¹'ÔB€DØ‡M�M�!�W×&Ñ& qÓ)¨3Ô/Ø€KrL   c                 ó  — t        dt        |dz  d«      «      }||k  r||dz   z  |z  }nJ||z
  t        ||z
  d«      z  }dd|dz
  z  dt        j                  t        j                  |z  «      z   z  z   }| j
                  D ]  }||d<   Œ	 |S )Né(   é
   rN   gñhãˆµøä>g      à?rk   Úlr)r†   r„   ÚmathÚcosÚpiÚparam_groups)ÚoptÚstepÚtotalÚbaseÚwarmr—   ÚpÚgroups           r'   Úset_lrr£   r   s˜   € Üˆr”3�u ‘{ AÓ&Ó'€DØˆd‚{Ø�T˜A‘XÑ Ñ%‰à�D‰[œC ¨¡¨aÓ0Ñ0ˆØ�C˜4 $™;Ñ'¨3´·±¼$¿'¹'ÀA¹+Ó1FÑ+FÑGÑGˆØ×!Ô!ˆØˆˆdŠð "à€IrL   c	                 óò  — t        |j                  «       «      }	t        j                  d|	z
  t	        |	d«      z  g|¬«      }
t        j
                  j                  | j                  «       t        d¬«      }t        j                  j                  t        j                  «      }t        j                  | «      j!                  «       }| j#                  «        t%        j$                  «       }d }d}t'        |«      D �]”  }t)        |||t        «       t        j*                  ||t,        |||«      \  }}}t        j.                  |«      j1                  |d¬«      }t        j.                  |«      j1                  |d¬«      }t        j.                  |«      j1                  |d¬«      }t        j2                  |«      }|j5                  d¬	«       t7        |j                  «       t8        k  «      }|r¢t;        | |«      \  }}|j=                  «       j?                  d«      }tA        tC        | ||j=                  «       «      |||
«      }t        jD                  |«      stG        d
|› d|› �«      ‚tI        ||tJ        «      }tC        | ||z  |«      }|dz  }n | |«      }tA        ||||
«      }t        jD                  |«      stG        d|› d|› �«      ‚|jM                  «        t        jN                  jP                  jS                  | j                  «       d«       |jU                  «        t        jV                  | |tX        «       t        |j[                  «       «      }|dk(  s|dz   dz  dk(  s
|dz   |k(  s�Œwt]        d|› d|dz   › d|› d|d›d|› �
«       �Œ— |j!                  «        t        j^                  ||t,        |||«      } t]        d|› d|d›d| d›d|› d|› dt%        j$                  «       |z
  d›d�«       ||fS )Nrk   gü©ñÒMbP?)rC   g-Cëâ6?)r—   Úweight_decayr   T)Únon_blocking)Úset_to_noneznon-finite probe loss at step z for rN   znon-finite loss at step éÈ   z    z step Ú/z loss ú.4fz rsc_steps z
  trained z frame-acc ú.3fz (z.0fzs))0Úfloatrƒ   r5   Útensorr„   ÚoptimÚAdamWÚ
parametersÚLRr:   ÚrandomÚdefault_rngr=   Ú
TRAIN_SEEDÚcopyÚdeepcopyÚevalr4   ÚtimeÚranger£   Úsample_batchr7   Ú
from_numpyr@   ÚaugmentÚ	zero_gradÚboolr   r_   r‚   Úrequires_grad_rz   rf   Úisfiniter8   r“   r   ÚbackwardÚnnÚutilsÚclip_grad_norm_r�   Ú
ema_updateÚ	EMA_DECAYÚitemr(   Útrain_frame_acc)!rZ   ÚgroupsÚy_allr.   r3   rC   ÚstepsÚbatchÚtagrW   ri   rœ   ÚrngÚemaÚt0ÚlastÚn_rscr�   ÚxbÚybÚmbr[   rr   rs   Ú	apply_rscr]   r\   Úh_prober‹   rO   rq   rw   Úaccs!                                    r'   Ú	train_rscrÙ   ~   se  € Ü
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.´2ÀDÐ
Ó
I€CÜ
�)‰)×
Ñ
¤§¡Ó
-€CÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€CØ	‡K�K„MÜ	�‰‹€BØ€DØ€EÜ�e—ˆÜˆs�D˜%¤Ô$Ü—^‘^ C¨´¸ÀÀBÓG‰
ˆˆB�Ü×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ�I‰I�a‹LˆØ�‰ $ˆÔ'ä˜Ÿ™›¬Ñ-Ó.ˆ	ÙÜ˜E 1Ó%‰FˆAˆsØ—h‘h“j×/Ñ/°Ó5ˆGÜ%¤f¨U°G¸S¿Z¹Z»\Ó&JÈAÈqÐR\Ó]ˆJÜ—>‘> *Ô-Ü"Ð%CÀDÀ6ÈÈsÈeÐ#TÓUÐUÜ  ¨*´hÓ?ˆDÜ˜5 ! d¡(¨CÓ0ˆEØ�Q‰J‰Eá˜!“HˆEä˜E 1 a¨Ó4ˆÜ�~‰~˜dÔ#ÜÐ!9¸$¸¸uÀSÀEÐJÓKÐKØ�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
Ü	�‰�U˜C¤Ô+Ü�T—Y‘Y“[Ó!ˆØ�1Š9˜ ™ SÑ(¨AÒ-°¸±¸UÔ1BÜ�t˜C˜5  t¨a¡x j°°%°¸¸tÀC¸jÈÐTYÐSZÐ[Ö\ð? ð@ ‡H�H„JÜ
×
Ñ
˜C ¬°°R¸Ó
@€CÜˆz˜#˜˜f T¨# J¨k¸#¸c¸À+ÈeÈWÐTUÐV[ÐU\ð ]Ü—‘“˜rÑ! #Ð& bð*ô +à�ˆ:ÐrL   c                 óX  — t        | |«      \  }}	}
}	 t        ||||	|
||||«	      \  }}||	|
||fS # t        j                  j                  $ r\ |r‚ t        d|› d|› d�«       ~|j                  dk(  rt        j                  j                  «        t        | |||||dz  |d¬«      cY S w xY w)Nz	  OOM on z
 at batch z; halving onceÚcudar   T)Úhalved)	rK   rÙ   r5   rÛ   ÚOutOfMemoryErrorr(   ÚtypeÚempty_cacheÚfit_with_oom)Ú	stem_pathrÉ   rÊ   rC   rË   rÌ   rÍ   rÜ   rZ   r.   r3   Ú_trainrÏ   rÒ   s                 r'   rà   rà   ¯   sÃ   € Ü% i°Ó8Ñ€Eˆ2ˆr�6ð
cÜ˜u f¨e°R¸¸VÀUÈEÐSVÓW‰
ˆˆUØ�B˜˜E 5Ð(Ð(øÜ�:‰:×&Ñ&ò cÙØÜ�9˜S˜E ¨E¨7°.ÐAÔBØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$Ü˜I v¨u°f¸eÀUÈaÁZÐQTÐ]aÔbÒbðcús   “0 °A6B)Â(B)c                 ó  — i }| j                  «       D ]r  \  }}t        j                  t        j                  |t        j
                  «      d d …d f   «      j                  d«      j                  t        j
                  «      ||<   Œt |S ra   )ÚitemsÚV4Úhighpassr:   r;   Úfloat64ÚreshapeÚastype)ÚstreamÚoutÚkeyÚds       r'   Úhp30_streamrî   ¾   sg   € Ø
€CØ—,‘,–.‰ˆˆQÜ—;‘;œrŸz™z¨!¬R¯Z©ZÓ8º¸D¸ÑAÓB×JÑJÈ2ÓN×UÑUÔVX×V`ÑV`ÓaˆˆCŠð !à€JrL   c                 ó6  — t        j                  | |||t        |«      }t        j                  |«      }t        j
                  ||t        t        «      }|D �	ci c]  }	|	t        ||	   «      “Œ }
}	t        j                  |
«      }t        j
                  ||t        t        «      }t        d|› dt        › dt        › d|d   d›d|d   d	›d
|d   d›d|d   d	›�«       t        d|› dt        › dt        › d|d   d›d|d   d	›�
«       t        ||¬«      |fS c c}	w )NzLODO ú p ú sc ú  H ÚHrª   ú Acc ÚAccú.2fú L ÚLr«   ú SDT ÚSDTz
LODO_hp30 ©ÚrscÚhp30)r=   Ú	infer_allr7   ÚNÚto_evÚofficialÚP_STAYÚSCALErî   r(   Údict)rZ   Úfeatr.   r3   ÚheldrC   ÚstreamsÚevÚoffÚdsÚhpÚev_hpÚoff_hps                r'   Ú
score_lodor  Å   s&  € Ü�k‰k˜%  r¨2¬v°vÓ>€GÜ	
�‰�Ó	€BÜ
�*‰*�T˜2œv¤uÓ
-€CÙ18Ó	9±¨2ˆ"Œk˜' "™+Ó&Ñ
&°€BÐ	9Ü�G‰G�B‹K€EÜ�Z‰Z˜˜e¤V¬UÓ3€FÜˆu�T�F˜#œf˜X T¬%¨°°S¸±X¸c°NÀ%ÈÈEÉ
ÐSVÐGWð XØ�c‘(˜3�˜u S¨¡Z°Ð$4ð6ô 7äˆz˜$˜˜s¤6 (¨$¬u¨g°T¸&À¹+ÀcÐ9JÈ%ÐPVÐW\ÑP]Ð^aÐObÐcÔdÜ�C˜fÔ% wÐ.Ð.ùò 
:s   ÁDc                 ó<  — g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       |D �	ci c]  }	|	t        ||	   «      “Œ }}	g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       i }t        D �]ú  }	t        j                  | |	||	   i||t         |«      |	   }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t        |«      }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t#        ||¬«      ||	<   t        d|	› dt,        › dt        › d|d   d›d|d   d›d|d   d›d|d   d›�«       t        d|	› dt,        › dt        › d|d   d›d|d   d›�
«       �Œý |S c c}	w )Nr   rk   g      ð¿z  external emissions mu rª   z sd z scale z  external hp30 emissions mu ÚattÚt_endÚatt128Ún128Úsubject)Úr0Úr1r  r  r  r  r  g      è?rû   zEXT rð   rñ   rò   ró   rô   rõ   rö   r÷   rø   r«   rù   rú   z	EXT_hp30 )rä   Úappendr:   r;   rç   Úwherer¬   Úconcatenaterƒ   Ústdr(   r  rî   Ú
TEST_NAMESr=   rþ   r7   r  ÚzerosÚlenÚErŽ   r  )rZ   Úfeat_extÚmetaÚmu_inÚsd_inÚcorpus_streamsÚ
corpus_attrC   Úpartsr
  ÚtableÚlabelsrì   rí   Úmu_eÚsd_eÚ	hp_corpusÚparts_hpÚmu_hpÚsd_hpÚrowsrê   r  Úmeta_kÚrÚ	stream_hpr  Úr_hps                               r'   Úscore_externalr3  Ò   sÜ  € Ø€EØ#×)Ñ)Ö+‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�L‰LœŸ™ A¤r§z¡zÓ2´R·X±X¸fÀS¹kÈQÑ>NÐPSÐUYÓ5ZÑZÕ[ñ $ð ,ô ”—‘ Ó&×+Ñ+Ó-Ó.€DÜ”—‘ Ó&×*Ñ*Ó,Ó-€DÜÐ'¨¨S z°°d¸3°Z¸wÄuÀgÐNÔOá?MÓN¹~¸�”[ °Ñ!3Ó4Ñ4¸~€IÐNØ€HØ—_‘_Ö&‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�O‰OœBŸJ™J q¬"¯*©*Ó5¼¿¹ÀÈÁÐPQÑAQÐSVÐX\Ó8]Ñ]Õ^ñ $ð 'ô ”"—.‘. Ó*×/Ñ/Ó1Ó2€EÜ”"—.‘. Ó*×.Ñ.Ó0Ó1€EÜÐ,¨U°3¨K°t¸EÀ#¸;ÀgÌeÈWÐUÔVà€DßˆjˆÜ—‘˜U R¨°"©Ð$6¸¸uÄfÈfÓUÐVXÑYˆØˆØ—l‘l–n‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ˜a¤B§H¡H¬S°«VÓ$4¸&À¹-ÈvÐV]ÉØ"(¨Ñ"2¸À¹ÐQWÐXaÑQbôdˆBˆsŠGð %ô
 �G‰G�B˜˜d¤U™l¬F°DÓ9ˆÜ Ó'ˆ	ØˆØ—o‘oÖ'‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ ¤r§x¡x´°A³Ó'7¸VÀE¹]ÐRXÐY`ÑRaØ%+¨HÑ%5¸FÀ6¹NÐTZÐ[dÑTeôgˆE�#ŠJð (ô
 �w‰w�u˜e U¬U¡]´F¸DÓAˆÜ˜A DÔ)ˆˆR‰Ü�4˜�t˜3œv˜h d¬5¨'°°a¸±f¸S°\ÀÀqÈÁxÐPSÀnð UØ˜‘f˜S�\  q¨¡x° nð6ô 	7ä�9˜R˜D ¤F 8¨4´¨w°d¸4À¹9ÀS¸/ÈÈtÐTYÉ{Ð[^ÐN_Ð`Öað) ð* €KùòA Os   Ã?Pc                  ó¤  — t         j                  j                  dg d¢¬«       i i }} t        D �]Š  }g }t	        d«      D ]f  }t
        j                  j                  t        d|› d|› d�«      }t        |d«      5 }|j                  t        j                  |«      «       d d d «       Œh i i c| |<   ||<   |d	   D ]à  }|D �cg c]0  }||   d
   ||   d   z
  j                  t        j                  «      ‘Œ2 }	}|d	   |   }
t        j                   |	d«      | |   |<   t#        t        j$                  |
d   «      t        j$                  |
d   t        j&                  «      t        j$                  |
d   «      t)        |
d   «      t)        |
d   «      ¬«      ||   |<   Œâ t+        d|› dt-        | |   «      › d�«       �Œ� | |fS # 1 sw Y   �Œ‹xY wc c}w )NÚ
eaP_n5_t60)ÚenvÚonsetÚdom)ÚprepÚtargetsé   Úext_clf_Ú_w10b3sw2P_evidence_sz.pklÚrbr   r  r  rN   r  r  r  r  r  )r  r  r  r  r  z  external z: z trials)r  ÚCONFÚupdater  r¹   r   r    ÚjoinÚEVIDr#   r  Úpickler6   ré   r:   rA   Ústackr  r;   rç   r9   r(   r  )Úlogitsr   r
  ÚevsÚir    r&   rì   r  ÚcolsÚe0s              r'   Úload_externalrJ  ÿ   sª  € Ü‡F�F‡M�M�|Ò-D€MÔEØ�rˆD€FßˆjˆØˆÜ�q–ˆAÜ—7‘7—<‘<¤¨°°Ð4IÈ!ÈÈDÐ&QÓRˆDÜ�d˜DÔ! RØ—
‘
œ6Ÿ;™; r›?Ô+÷ "Ð!ð ð  " 2Ðˆˆr‰
�D˜‘HØ�q”6ˆCÙQTÓUÑQTÈ2�R˜‘W˜T‘] R¨¡W¨T¡]Ñ2×:Ñ:¼2¿:¹:ÕFÐQTˆDÐUØ�Q‘˜‘ˆBÜ Ÿh™h t¨QÓ/ˆF�2‰J�s‰OÜ Ü—J‘J˜r %™yÓ)´·±¸B¸w¹KÌÏÉÓ1TÜ—z‘z " X¡,Ó/´c¸"¸V¹*³oÌsÐSUÐV_ÑS`ÓOaôcˆD�‰H�SŠMð	 ô 	�;˜r˜d "¤S¨°©£_Ð$5°WÐ=Ö>ð ð �4ˆ<Ð÷ "Ñ!üò Vs   Á9%G Â?5GÇ G
c                  óè
  — t        j                  t         j                  j                  t        «      d¬«       t        t        d«      j                  «        t        j                  t        j                  j                  «       rdnd«      } t        d| › dt        › dt        › d	t        › d
t        › �
«       dt        j                   j                  j"                  _        dt        j                   j&                  _        t)        j*                  | «       t-        j.                  «        t)        j0                  «       d   }t        j                  t2        d¬«       i }t4        D �]J  }t         j                  j7                  t8        d|› d�«      }t4        D �cg c]
  }||k7  sŒ	|‘Œ }}t)        j:                  ||«      \  }}t        d|› d|› �«       t=        |||| t        t        d|› �«      \  }	}
}}}t        j>                  |	jA                  «       |
|||t        ||t        t        tB        dœt         j                  j7                  t2        d|› d�«      «       tE        |	||
||| «      \  }}tG        |||¬«      ||<   ~	| jH                  dk(  s�Œ-t        j                  jK                  «        �ŒM t        d«       t)        j:                  |tM        t4        «      «      \  }}t         j                  j7                  t8        d«      }t=        |||| t        t        d«      \  }	}
}}}t        j>                  |	jA                  «       |
||tM        t4        «      t        ||t        t        tB        dœt         j                  j7                  t2        d«      «       t)        jN                  |	||
|tP        | «      }tS        «       \  }}tU        jV                  |«      d   }tY        |	|||
||t,        jZ                  d   | «      }t]        t_        j`                  t4        D �cg c]  }||   d   d   d   ‘Œ c}«      «      }t]        t_        j`                  t4        D �cg c]  }||   d   d   d   ‘Œ c}«      «      }t        d|d›d|d›�«       tG        tb        td        t        t        t        t        t4        D �ci c]  }|||   d   “Œ c}tG        ||¬ «      |¬!«	      }t        j                  t         j                  j                  tf        «      d¬«       t        tf        d«      5 }ti        jj                  ||d"t\        ¬#«       d d d «       t        d$tf        › �«       y c c}w c c}w c c}w c c}w # 1 sw Y   Œ0xY w)%NTr   ÚwrÛ   r*   zdevice z steps z batch z
 rsc_drop z rsc_p r   zstem_ms96__held-z.ptzfold held-out=z from zheld-)r2   r.   r3   r1   r4   rË   rÌ   Ú	rsc_stepsÚrsc_dropÚrsc_pr-   )ÚscoresrM  rÌ   zDall-5 RSC fine-tune for AASD and Carta, init stem_ms96__held-AVGC.ptzstem_ms96__held-AVGC.ptÚall5zall5.ptr  rP  rü   ró   rõ   zLODO mean H rª   rô   rö   )ró   rõ   )	Úp_stayÚscalerË   rÌ   rN  rO  ÚlodoÚ	lodo_meanÚexternalrN   )ÚindentÚdefaultzwrote )6r   r   r    r!   r"   r#   Úcloser5   rC   rÛ   Úis_availabler(   r   r   r   r   ÚbackendsÚmatmulÚ
allow_tf32Úcudnnr=   Úassert_causalrÿ   Úload_allÚbuild_featuresÚCKPT_DIRr   rA  ÚSTEM_DIRÚtrial_groupsrà   ÚsaveÚ
state_dictÚCFGr  r  rÞ   rß   rB   rþ   r7   rJ  rå   Úbuild_features_fromr3  ÚGr¬   r:   rƒ   r  r  ÚOUTÚjsonÚdump)rC   Úfeat_allÚperr  r    rí   Útrain_dsrÉ   rÊ   rÏ   r.   r3   ÚusedrÒ   rP  Ú_streamsÚall_pathr#  Ú
ext_logitsÚext_metaÚext_featÚextÚmean_hÚmean_accrë   r&   s                             r'   Úmainry    sB  € Ü‡K�K”—‘—‘¤Ó$¨tÕ4ÜŒˆcƒN×ÑÔÜ�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜˆw�v�h˜g¤e W¨G´E°7¸*ÄXÀJÈgÔV[ÐU\Ð]Ô^Ø,0„E‡N�N×Ñ×ÑÔ)Ø&*„E‡N�N×ÑÔ#Ü‡O�O�FÔÜ‡J�J„LÜ×ÑÓ! $Ñ'€HÜ‡K�K” 4Õ(à
€Cß�ˆÜ�w‰w�|‰|œHÐ(8¸¸¸cÐ&BÓCˆÝ&Ó4™w˜!¨!¨t«)’A˜wˆÐ4ÜŸ™ x°Ó:‰ˆ�Ü�> $  v¨d¨VÐ4Ô5Ü#/Ø�&˜% ¬´¸¸t¸f°~ó$GÑ ˆˆR��T˜5ä�
‰
˜SŸ^™^Ó-°R¸rÈ4Ø%´ÀÐSXÜ (´5ÄñFô —7‘7—<‘<¤¨E°$°°sÐ*;Ó<ô	>ô & c¨8°R¸¸TÀ6ÓJÑˆ�Ü °%¸tÔDˆˆD‰	ØØ�;‰;˜&Ô Ü�J‰J×"Ñ"Ö$ð ô" ÐSÔTÜ—N‘N 8¬T´'«]Ó;�M€FˆEÜ�w‰w�|‰|œHÐ&?Ó@€HÜ+Ø�&˜% ¬´°vó ?Ñ€CˆˆR��uä	‡J�J˜Ÿ™Ó)°¸2ÀxÜœg›´ÀÐTYÜ$¬u¼SñBô �w‰w�|‰|œH iÓ0ô2ô —[‘[  h°°B¼ÀÓG€NÜ(›?Ñ€J�Ü×%Ñ% jÓ1°$Ñ7€HÜ
˜˜h¨°"°b¸.Ì!Ï#É#ÈeÉ*ÐV\Ó
]€Cä”2—7‘7Å'ÓJÁ'¸Q˜C ™F 8Ñ,¨UÑ3°CÓ8À'ÑJÓKÓL€FÜ”R—W‘WÅgÓNÁgÀ˜c !™f XÑ.¨uÑ5°eÓ<ÀgÑNÓOÓP€HÜˆ|˜F 3˜< u¨X°c¨NÐ;Ô<ä
ÜœU¬%´uÜ¤Ý+2Ó3©7 aˆa��Q‘˜Ñ!Ñ!¨7Ñ3Ü˜ XÔ.Øô€Cô ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ü�	‰	�#�r !¬UÕ3÷ 
äˆv”c�Uˆ^ÕùòW 5ùò: KùÚNùò 4÷
 
ˆús*   Æ
UÆ UÐUÑUÒ.U#ÔU(Õ(U1Ú__main__)F)BÚ__doc__rµ   rk  r˜   r   rC  r¸   Únumpyr:   r5   Útorch.nnrÂ   Útorch.nn.functionalÚ
functionalrQ   Úensemble_clf_nestedrÿ   Úensemble_clf_transformer_v2r=   Úensemble_clf_transformer_v4rå   Úeval_externalr  Úcommonr   r    r!   ÚabspathÚ__file__ÚEXPrA  rc  rb  r"   rj  rB  r  r9   ÚenvironÚgetr   r   r¬   r   r   rÆ   r±   r  r  rg  r7   r(   rK   r_   rf   rz   r“   r£   rÙ   rà   rî   r  r3  rJ  ry  Ú__name__© rL   r'   Ú<module>rŒ     s±  ðñó Û Û Û 	Û Û ã Û Ý ß Ð ã Û 'Û (Û Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø�7‰7�<‰<˜˜X }Ó5€Ø�7‰7�<‰<˜˜X Ó7€Ø‡g�g‡l�l�3˜Ð':Ó;€Ø‡g�g‡l�l�3˜	 :Ð/CÓD€Øk€Ø"€
áˆB�J‰J�N‰N˜7 FÓ+Ó,€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€Ù�—‘—‘ 
¨FÓ3Ó4€Ùˆb�j‰j�n‰n˜W eÓ,Ó-€Ø€	Ø	€Ø	€Ø€Ø�D˜"˜b ! T¨2Ð.€Ø	€òò,ò
òCòò
ò	ò.óbcòò
/ò*òZò*:ðz ˆzÒÙ…Fð rL   