Ë
    íûâjI  ã                   óŠ  — d Z ddlZddlZddlZddlZddlZddlZddlZddlZ	ddl
Z
ddlmc mZ ddlZddlZddlZddlZddlmZ ej2                  j5                  ej2                  j7                  e«      «      Zej<                  j?                  dd«      jA                  «       jC                  «       Z"ej2                  jG                  edde"› �«      Z$ej2                  jG                  edd«      Z%ej2                  jG                  ed	d
«      Z&ej2                  jG                  eddd«      Z'dZ(dZ) e*ej<                  j?                  dd«      «      Z+ e*ej<                  j?                  dd«      «      Z, e-ej<                  j?                  dd«      «      Z.ej<                  j?                  dd«      dk(  Z/ej<                  j?                  dd«      dk(  Z0ej<                  j?                  dd«      dk(  Z1dZ2dZ3dZ4dZ5dd d!d"d#d$e3fZ6d!Z7d%Z8d&„ Z9d'„ Z:d(„ Z;d6d)„Z<d*„ Z=d+„ Z>d,„ Z?d7d-„Z@	 d8d.„ZAd/„ ZBd0„ ZCd1„ ZDd2„ ZEd3„ ZFd4„ ZGeHd5k(  r eG«        yy)9uR  Stochastic depth (DropPath) fine-tune of stem_ms96 from SWA checkpoints.

Huang et al. / DeiT-style DropPath on transformer residual branches of the
published abs-pos stem_ms96 recipe (dilated stem + 24-d ms + w96). Distinct
from v4 `rel_ms` relative-bias local attention which already used stochdepth
0.1 â€” this patches FFN (and optionally attention) residuals on the SWA abs-pos
encoder while keeping absolute `pos`.

Init: models/stem_ms96_swa/{held-*,all5}.pt (IRM only if env INIT=irm).
Eval: EMA decay 0.995. HMM preset p_stay 0.994 scale 0.8. Also report causal
tau-30 high-pass of the evidence. Never uses AASD/Carta labels.

usage:
  DROP_PATH=0.1 STEPS=1000 python stem_ms96_stochdepth.py
  TUNE_DROP=1 STEPS=1000 python stem_ms96_stochdepth.py   # smoke p then full
  SMOKE=1 STEPS=40 python stem_ms96_stochdepth.py         # smoke only
é    N)ÚDS_KEYSÚINITÚswaÚmodelsÚ
stem_ms96_Ústem_ms96_stochdepthÚexperimentszstem_ms96_stochdepth.logÚresultsÚresearchzstem_ms96_stochdepth.jsonzb/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/results/research)ÚAASDÚ	Carta2026ÚSTEPSÚ1000ÚBATCHÚ512Ú	DROP_PATHz0.1Ú	ATTN_DROPÚ1ÚSMOKEÚ0Ú	TUNE_DROPg×£p=
×ï?g-Cëâ6J?g+‡ÙÎï?gš™™™™™é?Ú	stem_ms96Úmsé`   é@   é   TgìQ¸…ëå?c                 ó   — t        | d¬«       t        j                  t        j                  j	                  t
        «      d¬«       t        t
        d«      5 }|j                  | dz   «       d d d «       y # 1 sw Y   y xY w)NT)Úflush©Úexist_okÚaÚ
)ÚprintÚosÚmakedirsÚpathÚdirnameÚLOGÚopenÚwrite)ÚtextÚfhs     ú//root/disk_3tb/eeg-thao/stem_ms96_stochdepth.pyÚlog_liner.   <   sL   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ø
�‰�˜‘Ô÷ 
�‰ús   ÁA4Á4A=c                 óä   — |dk  s|s| S d|z
  }| j                   d   fd| j                  dz
  z  z   }| j                  |«      j                  |«      }| j	                  |«      j                  |«      S )z1Per-sample residual DropPath (keep-prob scaling).ç        ç      ð?r   )é   r2   )ÚshapeÚndimÚ	new_emptyÚ
bernoulli_ÚmulÚdiv_)ÚxÚ	drop_probÚtrainingÚkeepr3   Úmasks         r-   Ú	drop_pathr>   C   sm   € à�CÒ™xØˆØ�‰?€DØ�W‰W�Q‰ZˆM˜D A§F¡F¨Q¡JÑ/Ñ/€EØ�;‰;�uÓ×(Ñ(¨Ó.€DØ�5‰5�‹;×Ñ˜DÓ!Ð!ó    c                 óL   ‡‡— dˆˆfd„	}t        j                  || «      | _        y)z‘Replace TransformerEncoderLayer.forward with DropPath residuals.

    norm_first Pre-LN: x = x + DP(sa(norm1(x))); x = x + DP(ff(norm2(x))).
    Nc                 óü   •— |}| j                  | j                  |«      |||¬«      }|t        |‰| j                  «      z   }| j	                  | j                  |«      «      }|t        |‰	| j                  «      z   }|S )N)Ú	is_causal)Ú	_sa_blockÚnorm1r>   r;   Ú	_ff_blockÚnorm2)
ÚselfÚsrcÚsrc_maskÚsrc_key_padding_maskrB   r9   ÚsaÚffÚ	drop_attnÚdrop_ffns
           €€r-   Úforwardz%_patch_layer_forward.<locals>.forwardS   sq   ø€ ØˆØ�^‰^˜DŸJ™J q›M¨8Ð5IÐU^ˆ^Ó_ˆØ”	˜"˜i¨¯©Ó7Ñ7ˆØ�^‰^˜DŸJ™J q›MÓ*ˆØ”	˜"˜h¨¯©Ó6Ñ6ˆØˆr?   )NNF)ÚtypesÚ
MethodTyperO   )ÚlayerrM   rN   rO   s    `` r-   Ú_patch_layer_forwardrS   M   s   ù€ öô ×$Ñ$ W¨eÓ4€E…Mr?   c                 ó–  — t        | j                  j                  «      }t        t	        |«      d«      }g }t        |«      D ]]  \  }}t        |«      t        |dz   «      z  t        |«      z  }|r|nd}	|}
t        ||	|
«       |j                  t        ||	|
¬«      «       Œ_ || _
        t        |«      | _        t        |«      | _        |S )zILinear depth schedule: layer i uses p * (i+1)/N on FFN (and attn if set).r2   r0   )rR   rM   rN   )ÚlistÚencÚlayersÚmaxÚlenÚ	enumerateÚfloatrS   ÚappendÚdictÚ_stochdepth_ratesÚ_stochdepth_pÚboolÚ_stochdepth_attn)Úmodelr>   Ú	attn_droprW   ÚnÚratesÚirR   ÚprM   rN   s              r-   Úapply_stochdepthrh   ^   sµ   € ä�%—)‘)×"Ñ"Ó#€FÜŒC�‹K˜Ó€AØ€EÜ˜fÖ%‰ˆˆ5Ü�)Óœu Q¨¡U›|Ñ+¬e°A«hÑ6ˆÙ"‘A¨ˆ	ØˆÜ˜U I¨xÔ8Ø�‰”T ¨YÀÔJÕKð &ð $€EÔÜ 	Ó*€EÔÜ! )›_€EÔØ€Lr?   c                 óB  — t        j                  | dd¬«      }|d   \  }}}}}	}
}|dk7  s|
r	|t        k7  rt        d|d   › �«      ‚t	        t        j                  |d   «      j                  d   «      }t        j                  ||||	d	¬
«      }|j                  j                  «       j                  «       }|j                  |d   «       |j                  j                  |«       t        j                  |j                  «      j!                  «       rt        d| › �«      ‚t#        |||¬«      }|j%                  |«      }t        j                  |d   t
        j&                  «      }t        j                  |d   t
        j&                  «      }|||t)        |d   «      |fS )NÚcpuF)Úmap_locationÚweights_onlyÚcfgr   zunexpected stem cfg Úmur   T)Úd_modelÚnlayersÚstemÚstatez-causal mask still has nan after restore from ©rc   ÚsdÚtrain)ÚtorchÚloadÚWINDOWÚRuntimeErrorÚintÚnpÚasarrayr3   ÚVÚLogitTransformerr=   ÚdetachÚcloneÚload_state_dictÚcopy_ÚisnanÚanyrh   ÚtoÚfloat32rU   )r&   Údevicer>   rc   ÚblobÚnameÚfamilyÚwindowro   rp   rq   Ú_lrÚc_inÚnetÚ	good_maskre   rn   rt   s                     r-   Ú	load_initr�   o   s[  € Ü�:‰:�d¨¸UÔC€DØ8<¸U¹Ñ5€Dˆ&�&˜' 7¨D°#Øˆ{Ò¡$¨&´FÒ*:ÜÐ1°$°u±+°Ð?Ó@Ð@ÜŒr�z‰z˜$˜t™*Ó%×+Ñ+¨AÑ.Ó/€DÜ
×
Ñ
˜T 6°7ÀGÐRVÔ
W€CØ—‘—‘Ó!×'Ñ'Ó)€IØ×Ñ˜˜W™Ô&Ø‡H�H‡N�N�9ÔÜ‡{�{�3—8‘8Ó× Ñ Ô"ÜÐJÈ4È&ÐQÓRÐRÜ˜S )°yÔA€EØ
�&‰&�‹.€CÜ	�‰�D˜‘J¤§
¡
Ó	+€BÜ	�‰�D˜‘J¤§
¡
Ó	+€BØ��Bœ˜T '™]Ó+¨UÐ2Ð2r?   c                 óÄ  — t        j                  ||«      }t        j                  | ||d¬«      }||z  j	                  «       j                  d«      }||z  |z  j	                  «       |z  }| d d …dd …f   | d d …d d…f   z
  j                  «       }|d d …dd …f   |d d …d d…f   z  }	|d||	z  j	                  «       z  |	j	                  «       j                  d«      z  z   }|S )NÚnone)Ú
pos_weightÚ	reductionr1   r2   éÿÿÿÿgš™™™™™©?)r}   Úswitch_weightsÚFÚ binary_cross_entropy_with_logitsÚsumÚ	clamp_minÚabs)
ÚlogitÚyÚmr“   ÚswÚbceÚdenomÚlossÚdvÚm2s
             r-   Úweighted_bcer¥   ‚   sÝ   € Ü	
×	Ñ	˜!˜QÓ	€BÜ
×
,Ñ
,¨U°AÀ*ÐX^Ô
_€CØ�!‰V�L‰L‹N×$Ñ$ SÓ)€EØ�"‰H�q‰L×ÑÓ %Ñ'€DØ
’�1‘2�‰,˜šq # 2 #˜v™Ñ
&×	+Ñ	+Ó	-€BØ	
Š1ˆa‰bˆ5‰�A’a˜˜"˜�f‘IÑ	€BØ�$˜"˜r™'Ÿ™›Ñ(¨2¯6©6«8×+=Ñ+=¸cÓ+BÑBÑB€DØ€Kr?   c                 ó  — t        dt        |dz  d«      «      }||k  r||dz   z  |z  }nJ||z
  t        ||z
  d«      z  }dd|dz
  z  dt        j                  t        j                  |z  «      z   z  z   }| j
                  D ]  }||d<   Œ	 |S )Né(   é
   r2   gñhãˆµøä>g      à?r1   Úlr)ÚminrX   ÚmathÚcosÚpiÚparam_groups)ÚoptÚstepÚtotalÚbaseÚwarmr©   rg   Úgroups           r-   Úset_lrrµ   �   s˜   € Üˆr”3�u ‘{ AÓ&Ó'€DØˆd‚{Ø�T˜A‘XÑ Ñ%‰à�D‰[œC ¨¡¨aÓ0Ñ0ˆØ�C˜4 $™;Ñ'¨3´·±¼$¿'¹'ÀA¹+Ó1FÑ+FÑGÑGˆØ×!Ô!ˆØˆˆdŠð "à€Ir?   c
                 ó4  — t        |j                  «       «      }
t        j                  d|
z
  t	        |
d«      z  g|¬«      }t        j
                  j                  | j                  «       t        d¬«      }t        j                  j                  t        j                  «      }t        j                  | «      j!                  «       }t#        |t%        | dd«      t%        | dd	«      ¬
«       |j!                  «        | j'                  «        t)        j(                  «       }d }g }t        t%        | dd«      «      }t+        |«      D �]A  }t-        |||t        «       t        j.                  ||t0        |||«      \  }}}t        j2                  |«      j5                  |d	¬«      }t        j2                  |«      j5                  |d	¬«      }t        j2                  |«      j5                  |d	¬«      }t        j6                  |«      }|j9                  d	¬«       t;         | |«      |||«      }t        j<                  |«      st?        d|› d|› �«      ‚|jA                  «        t        jB                  jD                  jG                  | j                  «       d«       |jI                  «        t        jJ                  | |tL        «       t        |jO                  «       «      }||	k  rn|jQ                  |«       |dz   |	k(  rUt        t        j                  |«      «      }tS        d|› d|	› d|d›�«       |tT        k\  rt?        d|› d|d›dtT        › �«      ‚|dk(  s|dz   dz  dk(  s
|dz   |k(  s�Œ$tS        d|› d|dz   › d|› d|d›d|› �
«       �ŒD |j!                  «        t        jV                  ||t0        |||«      }tS        d|› d|d›d|d›d|› d t)        j(                  «       |z
  d!›d"�«       |tY        |||t[        t%        | dd	«      «      t%        | d#d «      ¬$«      fS )%Nr1   gü©ñÒMbP?)r‡   g-Cëâ6?)r©   Úweight_decayr_   r0   ra   Trs   )Únon_blocking)Úset_to_noneznon-finite loss at step z for r2   z    z early-abort check mean_loss@Ú=ú.4fzearly abort z: mean loss z >= chance r   éÈ   z step Ú/z loss ú drop_path z
  trained z frame-acc ú.3fz (z.0fzs)r^   )r¢   Ú	frame_accr>   rc   re   ).r[   Úmeanrv   ÚtensorrX   ÚoptimÚAdamWÚ
parametersÚLRr{   ÚrandomÚdefault_rngr}   Ú
TRAIN_SEEDÚcopyÚdeepcopyÚevalrh   Úgetattrru   ÚtimeÚrangerµ   Úsample_batchrx   Ú
from_numpyr…   ÚaugmentÚ	zero_gradr¥   Úisfinitery   ÚbackwardÚnnÚutilsÚclip_grad_norm_r°   Ú
ema_updateÚ	EMA_DECAYÚitemr\   r.   ÚCHANCE_LOSSÚtrain_frame_accr]   r`   )rb   ÚgroupsÚy_allrn   rt   r‡   ÚstepsÚbatchÚtagÚabort_afterÚposr“   r¯   ÚrngÚemaÚt0ÚlastÚearly_lossesrg   r°   ÚxbÚybÚmbr9   r�   rž   r¢   Ú
mean_earlyÚaccs                                r-   Útrain_stochrï   ™   s¦  € Ü
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.´2ÀDÐ
Ó
I€CÜ
�)‰)×
Ñ
¤§¡Ó
-€CÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€Cä�Sœ' %¨¸#Ó>Ü& uÐ.@À$ÓGõIà‡H�H„JØ	‡K�K„MÜ	�‰‹€BØ€DØ€LÜŒg�e˜_¨cÓ2Ó3€AÜ�e—ˆÜˆs�D˜%¤Ô$Ü—^‘^ C¨´¸ÀÀBÓG‰
ˆˆB�Ü×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ�I‰I�a‹LˆØ�‰ $ˆÔ'Ü™E !›H a¨¨JÓ7ˆÜ�~‰~˜dÔ#ÜÐ!9¸$¸¸uÀSÀEÐJÓKÐKØ�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
Ü	�‰�U˜C¤Ô+Ü�T—Y‘Y“[Ó!ˆØ�+ÒØ×Ñ Ô%Ø�a‰x˜;Ò&Ü"¤2§7¡7¨<Ó#8Ó9�
Ü˜4 ˜uÐ$AÀ+ÀÈaÐPZÐ[^ÐO_Ð`ÔaØ¤Ò,Ü&Ø& s e¨<¸
À3Ð7GÀ{ÔS^ÐR_Ð`óbð bà�1Š9˜ ™ SÑ(¨AÒ-°¸±¸UÔ1BÜ�t˜C˜5  t¨a¡x j°°%°¸¸tÀC¸jÈÐTUÐSVÐWÖXð3 ð4 ‡H�H„JÜ
×
Ñ
˜C ¬°°R¸Ó
@€CÜØ
�S�E˜  S˜z¨°S¸°I¸[ÈÈð LÜ�I‰I‹K˜"Ñ˜SÐ! ð	%ô&ð ”˜$¨#¸Ü#¤G¨EÐ3EÀtÓ$LÓMÜ" 5Ð*=¸tÓDôFð Fð Fr?   c
                 ó„  — t        | |||«      \  }
}}}}t        d|› d|› �«       	 t        |
||||||||«	      \  }}|||||fS # t        j                  j
                  $ r^ |	r‚ t        d|› d|› d�«       ~
|j                  dk(  rt        j                  j                  «        t        | |||||dz  |||d¬	«
      cY S w xY w)
Nz  z stochdepth rates z	  OOM on z
 at batch z; halving onceÚcudar   T)Úhalved)	r�   r.   rï   rv   rñ   ÚOutOfMemoryErrorÚtypeÚempty_cacheÚfit_with_oom)Ú	init_pathrÞ   rß   r‡   rà   rá   râ   r>   rc   rò   rb   rn   rt   Ú_trainre   ræ   Ústatss                    r-   rö   rö   Ì   sä   € ä#,¨Y¸À	È9Ó#UÑ €Eˆ2ˆr�6˜5Üˆr�#�Ð(¨¨Ð0Ô1ð$Ü  ¨°°r¸2¸vÀuÈeÐUXÓY‰
ˆˆUØ�B˜˜E 5Ð(Ð(øÜ�:‰:×&Ñ&ò 	$ÙØÜ�9˜S˜E ¨E¨7°.ÐAÔBØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$ÜØ�v˜u f¨e°U¸a±ZÀÀiØ˜dô$ò 	$ð	$ús   §A ÁA8B?Â>B?c                 ó  — i }| j                  «       D ]r  \  }}t        j                  t        j                  |t        j
                  «      d d …d f   «      j                  d«      j                  t        j
                  «      ||<   Œt |S )Nr•   )ÚitemsÚV4Úhighpassr{   r|   Úfloat64ÚreshapeÚastype)ÚstreamÚoutÚkeyÚds       r-   Úhp30_streamr  ß   sg   € Ø
€CØ—,‘,–.‰ˆˆQÜ—;‘;œrŸz™z¨!¬R¯Z©ZÓ8º¸D¸ÑAÓB×JÑJÈ2ÓN×UÑUÔVX×V`ÑV`ÓaˆˆCŠð !à€Jr?   c                 ó6  — t        j                  | |||t        |«      }t        j                  |«      }t        j
                  ||t        t        «      }|D �	ci c]  }	|	t        ||	   «      “Œ }
}	t        j                  |
«      }t        j
                  ||t        t        «      }t        d|› dt        › dt        › d|d   d›d|d   d	›d
|d   d›d|d   d	›�«       t        d|› dt        › dt        › d|d   d›d|d   d	›�
«       t        ||¬«      |fS c c}	w )NzLODO ú p ú sc ú  H ÚHr»   ú Acc ÚAccú.2fú L ÚLr¿   ú SDT ÚSDTz
LODO_hp30 ©ÚstochÚhp30)r}   Ú	infer_allrx   ÚNÚto_evÚofficialÚP_STAYÚSCALEr  r.   r]   )rb   Úfeatrn   rt   Úheldr‡   ÚstreamsÚevÚoffÚdsÚhpÚev_hpÚoff_hps                r-   Ú
score_lodor$  æ   s&  € Ü�k‰k˜%  r¨2¬v°vÓ>€GÜ	
�‰�Ó	€BÜ
�*‰*�T˜2œv¤uÓ
-€CÙ18Ó	9±¨2ˆ"Œk˜' "™+Ó&Ñ
&°€BÐ	9Ü�G‰G�B‹K€EÜ�Z‰Z˜˜e¤V¬UÓ3€FÜˆu�T�F˜#œf˜X T¬%¨°°S¸±X¸c°NÀ%ÈÈEÉ
ÐSVÐGWð XØ�c‘(˜3�˜u S¨¡Z°Ð$4ð6ô 7äˆz˜$˜˜s¤6 (¨$¬u¨g°T¸&À¹+ÀcÐ9JÈ%ÐPVÐW\ÑP]Ð^aÐObÐcÔdÜ�c Ô'¨Ð0Ð0ùò 
:s   ÁDc                 ó<  — g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       |D �	ci c]  }	|	t        ||	   «      “Œ }}	g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       i }t        D �]ú  }	t        j                  | |	||	   i||t         |«      |	   }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t        |«      }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t#        ||¬«      ||	<   t        d|	› dt,        › dt        › d|d   d›d|d   d›d|d   d›d|d   d›�«       t        d|	› dt,        › dt        › d|d   d›d|d   d›�
«       �Œý |S c c}	w )Nr   r1   g      ð¿z  external emissions mu r»   z sd z scale z  external hp30 emissions mu ÚattÚt_endÚatt128Ún128Úsubject)Úr0Úr1r&  r'  r(  r)  r*  g      è?r  zEXT r  r  r	  r
  r  r  r  r  r  r¿   r  r  z	EXT_hp30 )rû   r\   r{   r|   rþ   Úwherer[   ÚconcatenaterÁ   Ústdr.   r  r  Ú
TEST_NAMESr}   r  rx   r]   ÚzerosrY   ÚEÚscorer  )rb   Úfeat_extÚmetaÚmu_inÚsd_inÚcorpus_streamsÚ
corpus_attr‡   Úpartsr   ÚtableÚlabelsr  r  Úmu_eÚsd_eÚ	hp_corpusÚparts_hpÚmu_hpÚsd_hpÚrowsr  r  Úmeta_kÚrÚ	stream_hpr"  Úr_hps                               r-   Úscore_externalrH  ó   sÜ  € Ø€EØ#×)Ñ)Ö+‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�L‰LœŸ™ A¤r§z¡zÓ2´R·X±X¸fÀS¹kÈQÑ>NÐPSÐUYÓ5ZÑZÕ[ñ $ð ,ô ”—‘ Ó&×+Ñ+Ó-Ó.€DÜ”—‘ Ó&×*Ñ*Ó,Ó-€DÜÐ'¨¨S z°°d¸3°Z¸wÄuÀgÐNÔOá?MÓN¹~¸�”[ °Ñ!3Ó4Ñ4¸~€IÐNØ€HØ—_‘_Ö&‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�O‰OœBŸJ™J q¬"¯*©*Ó5¼¿¹ÀÈÁÐPQÑAQÐSVÐX\Ó8]Ñ]Õ^ñ $ð 'ô ”"—.‘. Ó*×/Ñ/Ó1Ó2€EÜ”"—.‘. Ó*×.Ñ.Ó0Ó1€EÜÐ,¨U°3¨K°t¸EÀ#¸;ÀgÌeÈWÐUÔVà€DßˆjˆÜ—‘˜U R¨°"©Ð$6¸¸uÄfÈfÓUÐVXÑYˆØˆØ—l‘l–n‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ˜a¤B§H¡H¬S°«VÓ$4¸&À¹-ÈvÐV]ÉØ"(¨Ñ"2¸À¹ÐQWÐXaÑQbôdˆBˆsŠGð %ô
 �G‰G�B˜˜d¤U™l¬F°DÓ9ˆÜ Ó'ˆ	ØˆØ—o‘oÖ'‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ ¤r§x¡x´°A³Ó'7¸VÀE¹]ÐRXÐY`ÑRaØ%+¨HÑ%5¸FÀ6¹NÐTZÐ[dÑTeôgˆE�#ŠJð (ô
 �w‰w�u˜e U¬U¡]´F¸DÓAˆÜ˜a dÔ+ˆˆR‰Ü�4˜�t˜3œv˜h d¬5¨'°°a¸±f¸S°\ÀÀqÈÁxÐPSÀnð UØ˜‘f˜S�\  q¨¡x° nð6ô 	7ä�9˜R˜D ¤F 8¨4´¨w°d¸4À¹9ÀS¸/ÈÈtÐTYÉ{Ð[^ÐN_Ð`Öað) ð* €KùòA Os   Ã?Pc                  ó¤  — t         j                  j                  dg d¢¬«       i i }} t        D �]Š  }g }t	        d«      D ]f  }t
        j                  j                  t        d|› d|› d�«      }t        |d«      5 }|j                  t        j                  |«      «       d d d «       Œh i i c| |<   ||<   |d	   D ]à  }|D �cg c]0  }||   d
   ||   d   z
  j                  t        j                  «      ‘Œ2 }	}|d	   |   }
t        j                   |	d«      | |   |<   t#        t        j$                  |
d   «      t        j$                  |
d   t        j&                  «      t        j$                  |
d   «      t)        |
d   «      t)        |
d   «      ¬«      ||   |<   Œâ t+        d|› dt-        | |   «      › d�«       �Œ� | |fS # 1 sw Y   �Œ‹xY wc c}w )NÚ
eaP_n5_t60)ÚenvÚonsetÚdom)ÚprepÚtargetsé   Úext_clf_Ú_w10b3sw2P_evidence_sz.pklÚrbr   r+  r,  r2   r&  r'  r(  r)  r*  )r&  r'  r(  r)  r*  z  external z: z trials)r2  ÚCONFÚupdater0  rÏ   r$   r&   ÚjoinÚEVIDr)   r\   Úpicklerw   r   r{   r†   Ústackr]   r|   rþ   rz   r.   rY   )Úlogitsr5  r   Úevsrf   r&   r,   r  r  ÚcolsÚe0s              r-   Úload_externalr^     sª  € Ü‡F�F‡M�M�|Ò-D€MÔEØ�rˆD€FßˆjˆØˆÜ�q–ˆAÜ—7‘7—<‘<¤¨°°Ð4IÈ!ÈÈDÐ&QÓRˆDÜ�d˜DÔ! RØ—
‘
œ6Ÿ;™; r›?Ô+÷ "Ð!ð ð  " 2Ðˆˆr‰
�D˜‘HØ�q”6ˆCÙQTÓUÑQTÈ2�R˜‘W˜T‘] R¨¡W¨T¡]Ñ2×:Ñ:¼2¿:¹:ÕFÐQTˆDÐUØ�Q‘˜‘ˆBÜ Ÿh™h t¨QÓ/ˆF�2‰J�s‰OÜ Ü—J‘J˜r %™yÓ)´·±¸B¸w¹KÌÏÉÓ1TÜ—z‘z " X¡,Ó/´c¸"¸V¹*³oÌsÐSUÐV_ÑS`ÓOaôcˆD�‰H�SŠMð	 ô 	�;˜r˜d "¤S¨°©£_Ð$5°WÐ=Ö>ð ð �4ˆ<Ð÷ "Ñ!üò Vs   Á9%G Â?5GÇ G
c                 óH  — d}t         j                  j                  t        d|› d�«      }t        D �cg c]
  }||k7  sŒ	|‘Œ }}t        j                  | |«      \  }}t         j                  j                  dd«      j                  d«      D �	cg c]  }	t        |	«      ‘Œ }
}	t        t         j                  j                  dd«      «      }g }|
D ]Ú  }t        d	|› d
|› d|› �«       	 t        |||||t        d|› �||«	      \  }}}}}~|j                  dk(  rt         j"                  j%                  «        |d   duxr0 t'        j(                  |d   «      xr |d   dkD  xr |d   t*        k  }|j-                  t/        d!||dœ|¤Ž«       t        d	|› d|› d|d   d›d|d   d›�«       ŒÜ |D �cg c]  }|j                  d«      sŒ|‘Œ }}|st5        d|› �«      ‚t7        |d„ ¬«      }t        d|d    › d|d   d›d|d   d›�«       t        |d    «      |fS c c}w c c}	w # t0        $ ro}t        d	|› d|› �«       |j-                  t/        |dt3        |«      ¬«      «       |j                  dk(  rt         j"                  j%                  «        Y d}~�ŒÈd}~ww xY wc c}w )"uQ   Short train on held-AVGC for pâˆˆ{0.05,0.1,0.2}; pick finite + highest frame_acc.ÚAVGCúheld-ú.ptÚSMOKE_DROPSz0.05,0.1,0.2Ú,ÚSMOKE_STEPSÚ40zSMOKE drop_path=ú attn_drop=z steps=zsmoke-prñ   r¢   NrÀ   gš™™™™™á?)Úokrá   z ok=z loss=r»   z frame=r¿   z	 FAILED: F)r>   rh  Úerrorrh  zall smoke drop_path failed: c                 ó   — | d   | d    fS )NrÀ   r¢   © )rE  s    r-   Ú<lambda>zsmoke_drop.<locals>.<lambda>S  s   €  q¨¡~¸¸&¹	°zÑ&Br?   )r  zSMOKE chose drop_path=r>   rk  )r$   r&   rV  ÚINIT_DIRr   r}   Útrial_groupsÚenvironÚgetÚsplitr[   rz   r.   rö   r   rô   rv   rñ   rõ   r«   rÔ   rÜ   r\   r]   Ú	ExceptionÚstrry   rX   )Úfeat_allr‡   rc   r  r&   r  Útrain_dsrÞ   rß   r9   Ú
candidatesÚsmoke_stepsr
   rg   ræ   rn   rt   Úusedrù   rh  ÚexcrE  Úok_rowsÚbests                           r-   Ú
smoke_dropr|  5  s½  € à€DÜ�7‰7�<‰<œ E¨$¨¨sÐ"3Ó4€DÝ"Ó0™7�a a¨4£i’˜7€HÐ0Ü—N‘N 8¨XÓ6�M€FˆEÜ$&§J¡J§N¡N°=À.Ó$Q×$WÑ$WÐX[Ô$\Ó]Ñ$\˜q”%˜•(Ð$\€JÐ]Ü”b—j‘j—n‘n ]°DÓ9Ó:€KØ€GÛˆÜÐ# A 3 k°)°¸GÀKÀ=ÐQÔRð	)Ü'3Ø�f˜e V¨[¼%À7È1È#ÀÐPQÐS\ó(^Ñ$ˆC��R˜˜uàØ�{‰{˜fÒ$Ü—
‘
×&Ñ&Ô(Ø˜‘- tÐ+ò P´·±¸eÀF¹mÓ0Lò PØ˜KÑ(¨4Ñ/òPØ49¸&±MÄKÑ4Oð à�N‰Nœ4Ð; 2¨TÑ;°UÑ;Ô<ÜÐ'¨ s¨$¨r¨d°&¸¸v¹ÀsÐ8Kð LØ# KÑ0°Ð5ð7õ 8ð ñ$ "Ó1™'�Q Q§U¡U¨4¥[Šq˜'€GÐ1ÙÜÐ9¸'¸ÐCÓDÐDÜˆwÑBÔC€DÜÐ% d¨;Ñ&7Ð%8¸ÀÀ[Ñ@QÐRUÐ?Vð WØ˜&‘\ #Ð&ð(ô )ä��kÑ"Ó# WÐ,Ð,ùò; 1ùâ]øô  ò 	)ÜÐ'¨ s¨)°C°5Ð9Ô:Ø�N‰Nœ4¨!°¼SÀ»XÔFÔGØ�{‰{˜fÒ$Ü—
‘
×&Ñ&Ô(ÿùð		)üò
 2s6   ³
H¾HÂHÃ'CH$Æ0JÇJÈ$	JÈ-A$JÊJc                  ó  — t        j                  t         j                  j                  t        «      d¬«       t        t        d«      j                  «        t        j                  t        j                  j                  «       rdnd«      } t        dvrt        dt        › �«      ‚t         j                  j                  t        «      st        t        «      ‚t!        d| › d	t"        › d
t$        › dt&        › dt(        › dt        › dt*        › dt,        › �«       dt        j.                  j                  j0                  _        dt        j.                  j4                  _        t7        j8                  | «       t;        j<                  «        t7        j>                  «       d   }t        j                  t@        d¬«       t&        }d }t*        st,        r»tC        || t(        «      \  }}t*        r¡tE        ||t        t(        ¬«      }t        j                  t         j                  j                  tF        «      d¬«       t        tF        jI                  dd«      d«      5 }tK        jL                  ||dtN        ¬«       d d d «       t!        d«       y i }tP        D �]y  }t         j                  jS                  t        d|› d�«      }t         j                  jU                  |«      st        |«      ‚tP        D �	cg c]
  }	|	|k7  sŒ	|	‘Œ }
}	t7        jV                  ||
«      \  }}t!        d|› d|› d|› �«       tY        |||| t"        t$        d|› �|t(        «	      \  }}}}}t        jZ                  |j]                  «       ||||
t"        ||t(        |t^        dœt         j                  jS                  t@        d|› d�«      «       ta        |||||| «      \  }}tE        |||¬«      ||<   ~| jb                  dk(  s�Œ\t        j                  je                  «        �Œ| t!        dt        › d|› �«       t7        jV                  |tg        tP        «      «      \  }}t         j                  jS                  t        d «      }tY        |||| t"        t$        d!|t(        «	      \  }}}}}t        jZ                  |j]                  «       |||tg        tP        «      t"        ||t(        |t^        dœt         j                  jS                  t@        d «      «       t7        jh                  ||||tj        | «      }tm        «       \  }}to        jp                  |«      d   }ts        ||||||t:        jt                  d"   | «      }tO        tw        jx                  tP        D �	cg c]  }	||	   d#   d$   d%   ‘Œ c}	«      «      }tO        tw        jx                  tP        D �	cg c]  }	||	   d#   d$   d&   ‘Œ c}	«      «      }t!        d'|d(›d)|d*›�«       tE        tz        t|        t"        t$        |t(        t        |tP        D �	ci c]  }	|	||	   d#   “Œ c}	tP        D �	ci c]  }	|	||	   d+   “Œ c}	tE        ||¬,«      ||¬-«      }t        j                  t         j                  j                  tF        «      d¬«       t        tF        d«      5 }tK        jL                  ||dtN        ¬«       d d d «       t!        d.tF        › �«       y # 1 sw Y   �ŒixY wc c}	w c c}	w c c}	w c c}	w c c}	w # 1 sw Y   ŒBxY w)/NTr   Úwrñ   rj   )r   ÚirmzINIT must be swa|irm, got zdevice z steps z batch r¾   rg  z init=z smoke=z tune_drop=r   )ÚsmokeÚchosen_drop_pathÚinitrc   z.jsonz_smoke.jsonr2   )ÚindentÚdefaultz&SMOKE done; exiting without full scorera  rb  zfold held-out=z init z drop_path=)rr   rn   rt   r‚  ru   rà   rá   r>   rc   rù   rm   )Úscoresrù   rá   z4all-5 stochdepth fine-tune for AASD and Carta, init z/all5.pt drop_path=zall5.ptÚall5r&  r…  r  r
  r  zLODO mean H r»   r  r  rù   )r
  r  )Úp_stayÚscalerà   rá   r>   rc   r‚  r€  ÚlodoÚ
lodo_statsÚ	lodo_meanÚexternalÚ
all5_statszwrote )?r$   r%   r&   r'   r(   r)   Úcloserv   r‡   rñ   Úis_availableÚ	INIT_NAMEry   Úisdirrm  ÚFileNotFoundErrorr.   r   r   r   r   r   r   ÚbackendsÚmatmulÚ
allow_tf32Úcudnnr}   Úassert_causalr  Úload_allÚbuild_featuresÚCKPT_DIRr|  r]   ÚOUTÚreplaceÚjsonÚdumpr[   r   rV  Úisfilern  rö   ÚsaveÚ
state_dictÚCFGr$  rô   rõ   rU   r  rx   r^  rü   Úbuild_features_fromrH  ÚGr{   rÁ   r  r  )r‡   rt  Údrop_pÚ
smoke_infor  r,   Úperr  r&   r  ru  rÞ   rß   ræ   rn   rt   rx  rù   r…  Ú_streamsÚall_pathr8  Ú
ext_logitsÚext_metaÚext_featÚextÚmean_hÚmean_accs                               r-   Úmainr°  Y  s‘  € Ü‡K�K”—‘—‘¤Ó$¨tÕ4ÜŒˆcƒN×ÑÔÜ�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜ˜Ñ&ÜÐ7¼	°{ÐCÓDÐDÜ�7‰7�=‰=œÔ"Ü¤Ó)Ð)Üˆw�v�h˜g¤e W¨G´E°7¸+ÄiÀ[ð QÜ#˜ F¬9¨+°W¼U¸GÀ;ÌyÈkð[ô \à,0„E‡N�N×Ñ×ÑÔ)Ø&*„E‡N�N×ÑÔ#Ü‡O�O�FÔÜ‡J�J„LÜ×ÑÓ! $Ñ'€HÜ‡K�K” 4Õ(ä€FØ€JÝ•	Ü'¨°&¼)ÓDÑˆ�
ÝÜ˜Z¸&ÄyÜ!*ô,ˆCä�K‰KœŸ™Ÿ™¬Ó,°tÕ<Ü”c—k‘k '¨=Ó9¸3Ô?À2Ü—	‘	˜#˜r¨!´UÕ;÷ @äÐ=Ô>Øà
€Cß�ˆÜ�w‰w�|‰|œH¨¨d¨V°3Ð&7Ó8ˆÜ�w‰w�~‰~˜dÔ#Ü# DÓ)Ð)Ý&Ó4™w˜!¨!¨t«)’A˜wˆÐ4ÜŸ™ x°Ó:‰ˆ�Ü�> $  v¨d¨V°;¸v¸hÐGÔHÜ#/Ø�&˜% ¬´¸¸t¸f°~ÀvÌyó$ZÑ ˆˆR��T˜5ä�
‰
˜SŸ^™^Ó-°R¸rÈ4Ø%´ÀØ!'´iÈ%ÔX[ñ]ô —7‘7—<‘<¤¨E°$°°sÐ*;Ó<ô	>ô & c¨8°R¸¸TÀ6ÓJÑˆ�Ü ¨e¸4Ô@ˆˆD‰	ØØ�;‰;˜&Ô Ü�J‰J×"Ñ"Ö$ð# ô& ÐCÄHÀ:ð NØ ˜ð#ô $ä—N‘N 8¬T´'«]Ó;�M€FˆEÜ�w‰w�|‰|œH iÓ0€HÜ+Ø�&˜% ¬´°v¸vÄyó RÑ€CˆˆR��uä	‡J�J˜Ÿ™Ó)°¸2ÀxÜœg›´ÀØ#´)ÀeÔTWñYô �w‰w�|‰|œH iÓ0ô2ô —[‘[  h°°B¼ÀÓG€NÜ(›?Ñ€J�Ü×%Ñ% jÓ1°$Ñ7€HÜ
˜˜h¨°"°b¸.Ì!Ï#É#ÈeÉ*ÐV\Ó
]€Cä”2—7‘7ÅGÓLÁG¸q˜C ™F 8Ñ,¨WÑ5°cÓ:ÀGÑLÓMÓN€FÜ”R—W‘WÍÓPÉÀ1˜c !™f XÑ.¨wÑ7¸Ó>ÈÑPÓQÓR€HÜˆ|˜F 3˜< u¨X°c¨NÐ;Ô<ä
ÜœU¬%´uØ¤I´IÀZÝ+2Ó3©7 aˆa��Q‘˜Ñ!Ñ!¨7Ñ3Ý07Ó8±¨1�A�s˜1‘v˜g‘Ñ&°Ñ8Ü˜ XÔ.ØØô€Cô ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ü�	‰	�#�r !¬UÕ3÷ 
äˆv”c�Uˆ^Õ÷q @Ñ?üò 5ùò< MùÚPùò 4ùÚ8÷ 
ˆús<   É[Ë/
[)Ë:[)Õ?[.Ö;[3Ø[8Ø5[=Ú#\Û[&Ü\Ú__main__)T)é2   )F)IÚ__doc__rÊ   r�  r«   r$   rX  rÎ   rP   Únumpyr{   rv   Útorch.nn.functionalrÖ   Ú
functionalr—   Úensemble_clf_nestedr  Úensemble_clf_transformer_v2r}   Úensemble_clf_transformer_v4rü   Úeval_externalr2  Úcommonr   r&   r'   ÚabspathÚ__file__ÚEXPro  rp  ÚstripÚlowerr�  rV  rm  rš  r(   r›  rW  r0  rz   r   r   r[   r   r   r   r   rÚ   rÆ   r  r  r¢  rx   rÜ   r.   r>   rS   rh   r�   r¥   rµ   rï   rö   r  r$  rH  r^  r|  r°  Ú__name__rk  r?   r-   Ú<module>rÂ     s!  ðñó" Û Û Û 	Û Û Û ã Û ß Ð ã Û 'Û (Û Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø�J‰J�N‰N˜6 5Ó)×/Ñ/Ó1×7Ñ7Ó9€	Ø�7‰7�<‰<˜˜X¨°I°;Ð'?Ó@€Ø�7‰7�<‰<˜˜XÐ'=Ó>€Ø‡g�g‡l�l�3˜Ð'AÓB€Ø‡g�g‡l�l�3˜	 :Ð/JÓK€Øk€Ø"€
áˆB�J‰J�N‰N˜7 FÓ+Ó,€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€Ù�"—*‘*—.‘. ¨eÓ4Ó5€	Ø�J‰J�N‰N˜;¨Ó,°Ñ3€	Ø
�
‰
�‰�w Ó$¨Ñ+€Ø�J‰J�N‰N˜;¨Ó,°Ñ3€	Ø€	Ø	€Ø	€Ø€Ø�D˜"˜b ! T¨2Ð.€Ø	€Ø€òò"ò5ó"ò"3ò&ò	ó0Fðh $)ó$ò&ò
1ò*òZò*!-òHQðh ˆzÒÙ…Fð r?   