Ë
    ù·âjîU  ã                   ó\  — d Z ddlZddlZddlZddlZddlZddlZddlZddl	Z	ddl
mZ ddlmc mZ ddlZddlZddlZddlZddlmZ ej2                  j5                  ej2                  j7                  e«      «      Zej2                  j=                  edd«      Zej2                  j=                  edd«      Z ej2                  j=                  edd«      Z!ej2                  j=                  edd	«      Z"ej2                  j=                  ed
dd«      Z#dZ$dZ% e&ejN                  jQ                  dd«      «      Z) e&ejN                  jQ                  dd«      «      Z* e&ejN                  jQ                  dd«      «      Z+ e,ejN                  jQ                  dd«      «      Z-dZ.dZ/dZ0dZ1dddddde/fZ2dZ3d Z4d!Z5d"„ Z6d#„ Z7e5ddfd$„Z8d%„ Z9 G d&„ d'ejt                  «      Z; G d(„ d)ejt                  «      Z<d*„ Z=d+„ Z>d,„ Z?d-„ Z@d.„ ZAd/„ ZB G d0„ d1eC«      ZDd:d2„ZE	 d;d3„ZFd4„ ZGd5„ ZHd6„ ZId7„ ZJd8„ ZKeLd9k(  r eK«        yy)<uì  RoPE (rotary) Q/K fine-tune of stem_ms96 (replace absolute pos).

Removes absolute `self.pos` embeddings from LogitTransformer and applies
rotary embeddings to projected Q/K inside a custom causal TransformerEncoder
(2 layers, d=64, window 96, ms features, dilated stem kept).

NOT ALiBi. NOT v3/v4 local relative-bias span 6.25s. NOT env_xattn / TFDirect.

Init from models/stem_ms96_swa/{held-*,all5}.pt (drop `pos`; remap
TransformerEncoderLayer MHA â†’ RoPE qkv/out_proj; restore causal mask).
EMA 0.995 eval. Score LODO 5 + AASD + Carta at HMM p_stay=0.994 scale=0.8;
also report linear_hp30 on logits.

Early abort: if after EARLY_STEPS the train loss is still ~chance (â‰ˆ0.69), stop.

usage:
  STEPS=1000 BATCH=512 python stem_ms96_rope.py
é    N)ÚDS_KEYSÚmodelsÚstem_ms96_swaÚlogit_tf_v2Ústem_ms96_ropeÚexperimentszstem_ms96_rope.logÚresultsÚresearchzstem_ms96_rope.jsonzb/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/results/research)ÚAASDÚ	Carta2026ÚSTEPSÚ1000ÚBATCHÚ512ÚEARLY_STEPSÚ80ÚEARLY_ABORT_LOSSz0.65g×£p=
×ï?g-Cëâ6J?g+‡ÙÎï?gš™™™™™é?Úmsé`   é@   é   Té   g     ˆÃ@c                 ó   — t        | d¬«       t        j                  t        j                  j	                  t
        «      d¬«       t        t
        d«      5 }|j                  | dz   «       d d d «       y # 1 sw Y   y xY w)NT)Úflush©Úexist_okÚaÚ
)ÚprintÚosÚmakedirsÚpathÚdirnameÚLOGÚopenÚwrite)ÚtextÚfhs     ú)/root/disk_3tb/eeg-thao/stem_ms96_rope.pyÚlog_liner*   <   sL   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ø
�‰�˜‘Ô÷ 
�‰ús   ÁA4Á4A=c                 ób   — | j                  dd¬«      \  }}t        j                  | |fd¬«      S )Nr   éÿÿÿÿ©Údim)ÚchunkÚtorchÚcat)ÚxÚx1Úx2s      r)   Úrotate_halfr5   C   s/   € Ø�W‰W�Q˜BˆWÓ�F€BˆÜ�9‰9�r�c˜2�Y BÔ'Ð'ó    c                 óB  — |dz  dk7  rt        d|› �«      ‚d|t        j                  d|dt        j                  ¬«      |z  z  z  }t        j                  | t        j                  ¬«      }t        j                  ||«      }t        j
                  ||fd¬«      }|j                  «       dddd…dd…f   }	|j                  «       dddd…dd…f   }
|�$|	j                  |¬	«      }	|
j                  |¬	«      }
|�$|	j                  |¬«      }	|
j                  |¬«      }
|	|
fS )
zEcos/sin tables shaped (1, 1, T, Dh) for broadcast over (B, H, T, Dh).r   r   z RoPE head_dim must be even, got ç      ð?©Údtyper,   r-   N©Údevice)	Ú
ValueErrorr0   ÚarangeÚfloat32Úouterr1   ÚcosÚsinÚto)Úseq_lenÚhead_dimÚbaser<   r:   Úinv_freqÚtÚfreqsÚembrA   rB   s              r)   Úbuild_rope_cacherK   H   s  € à�!�|�qÒÜÐ;¸H¸:ÐFÓGÐGØ�dœuŸ|™|¨A¨x¸Ä%Ç-Á-ÔPÐS[Ñ[Ñ\Ñ]€HÜ�‰�W¤E§M¡MÔ2€AÜ�K‰K˜˜8Ó$€EÜ
�)‰)�U˜E�N¨Ô
+€CØ
�'‰'‹)�D˜$¢¢1Ð$Ñ
%€CØ
�'‰'‹)�D˜$¢¢1Ð$Ñ
%€CØÐØ�f‰f˜FˆfÓ#ˆØ�f‰f˜FˆfÓ#ˆØÐØ�f‰f˜5ˆfÓ!ˆØ�f‰f˜5ˆfÓ!ˆØ�ˆ8€Or6   c                 ót   — | j                  d«      }| |dd|…dd…f   z  t        | «      |dd|…dd…f   z  z   S )zx, cos, sin: (..., T, Dh).éþÿÿÿ.N)Úsizer5   )r2   rA   rB   rH   s       r)   Ú
apply_roperO   [   sD   € à	�‰ˆr‹
€AØˆs�3˜˜˜šA�:‰Ñ¤¨Q£°#°c¸2¸A¸2ºq°j±/Ñ!AÑAÐAr6   c                   ó*   ‡ — e Zd ZdZdˆ fd„	Zd„ Zˆ xZS )ÚRopeEncoderLayerzNPre-norm causal attention with RoPE on Q/K + GELU FFN (matches stem TF layer).c                 ó&  •— t         ‰| �  «        ||z  dk7  rt        d«      ‚|| _        || _        ||z  | _        t        j                  |«      | _        t        j                  |«      | _	        t        j                  |d|z  «      | _        t        j                  ||«      | _        t        j                  ||«      | _        t        j                  ||«      | _        t        j                  |«      | _        t        j                  |«      | _        y )Nr   z"d_model must be divisible by nheadé   )ÚsuperÚ__init__r=   Úd_modelÚnheadrE   ÚnnÚ	LayerNormÚnorm1Únorm2ÚLinearÚqkvÚout_projÚlinear1Úlinear2ÚDropoutÚdropoutÚ	attn_drop)ÚselfrV   rW   Údim_feedforwardrb   Ú	__class__s        €r)   rU   zRopeEncoderLayer.__init__d   sÌ   ø€ Ü‰ÑÔØ�U‰?˜aÒÜÐAÓBÐBØˆŒØˆŒ
Ø 5Ñ(ˆŒÜ—\‘\ 'Ó*ˆŒ
Ü—\‘\ 'Ó*ˆŒ
Ü—9‘9˜W a¨'¡kÓ2ˆŒÜŸ	™	 '¨7Ó3ˆŒÜ—y‘y ¨/Ó:ˆŒÜ—y‘y °'Ó:ˆŒÜ—z‘z 'Ó*ˆŒÜŸ™ GÓ,ˆ�r6   c           	      ó  — |j                   \  }}}| j                  |«      }| j                  |«      j                  ||d| j                  | j
                  «      }	|	j                  ddddd«      }	|	d   |	d   |	d   }}}
t        |
||«      }
t        |||«      }| j
                  dz  }t        j                  |
|j                  dd«      «      |z  }||d |…d |…f   j                  |j                  |j                  ¬	«      z   }| j                  t        j                  |d¬
«      «      }t        j                  ||«      }|j                  dd«      j!                  «       j                  ||| j"                  «      }|| j%                  | j'                  |«      «      z   }| j)                  |«      }| j+                  | j%                  t-        j.                  | j1                  |«      «      «      «      }|| j%                  |«      z   S )NrS   r   r   é   r   g      à¿rM   r,   )r:   r<   r-   )ÚshaperZ   r]   ÚviewrW   rE   ÚpermuterO   r0   ÚmatmulÚ	transposerC   r:   r<   rc   ÚsoftmaxÚ
contiguousrV   rb   r^   r[   r`   ÚFÚgelur_   )rd   r2   rA   rB   Úcausal_maskÚbrH   Ú_Úhr]   ÚqÚkÚvÚscaleÚattnÚouts                   r)   ÚforwardzRopeEncoderLayer.forwardt   s«  € à—'‘'‰ˆˆ1ˆaØ�J‰J�q‹MˆØ�h‰h�q‹k×Ñ˜q ! Q¨¯
©
°D·M±MÓBˆØ�k‰k˜!˜Q  1 aÓ(ˆØ�a‘&˜#˜a™& # a¡&ˆaˆ1ˆÜ�q˜#˜sÓ#ˆÜ�q˜#˜sÓ#ˆØ—‘ Ñ%ˆÜ�|‰|˜A˜qŸ{™{¨2¨rÓ2Ó3°eÑ;ˆØ�k " 1 " b q b &Ñ)×,Ñ,°4·:±:ÀdÇkÁkÐ,ÓRÑRˆØ�~‰~œeŸm™m¨D°bÔ9Ó:ˆÜ�l‰l˜4 Ó#ˆØ�m‰m˜A˜qÓ!×,Ñ,Ó.×3Ñ3°A°q¸$¿,¹,ÓGˆØ�—‘˜TŸ]™]¨3Ó/Ó0Ñ0ˆØ�J‰J�q‹MˆØ�L‰L˜Ÿ™¤a§f¡f¨T¯\©\¸!«_Ó&=Ó>Ó?ˆØ�4—<‘< “?Ñ"Ð"r6   )çš™™™™™¹?©Ú__name__Ú
__module__Ú__qualname__Ú__doc__rU   r|   Ú__classcell__©rf   s   @r)   rQ   rQ   a   s   ø„ ÙXõ-ö #r6   rQ   c                   ó*   ‡ — e Zd ZdZdˆ fd„	Zd„ Zˆ xZS )ÚLogitTransformerRoPEzJstem_ms96 LogitTransformer with absolute pos removed and RoPE on attn Q/K.c                 ó  •— t         ‰| �  «        |st        d«      ‚|| _        || _        || _        ||z  | _        d| _        t        j                  ||| j                  dz   |¬«      | _
        t        j                  j                  | j                  j                  «       t        j                  j                  | j                  j                  «       t        j                  ||«      | _        t        j"                  dD �cg c]  }t%        j&                  |d||¬«      ‘Œ c}«      | _        t        j"                  t+        |«      D �	cg c]  }	t-        |||dz  |¬	«      ‘Œ c}	«      | _        t        j                  |d«      | _        t        j                  |dd
¬«      | _        t        j4                  j7                  |«      }
| j9                  d|
«       t;        || j                  «      \  }}| j9                  d|«       | j9                  d|«       t        j                  j                  | j0                  j                  «       t        j                  j                  | j0                  j                  «       t        j                  j                  | j2                  j                  «       t=        j>                  «       5  d| j2                  j                  dd tA        d|«      …f<   d d d «       y c c}w c c}	w # 1 sw Y   y xY w)NzRoPE script expects stem=Trueé   rh   )Úgroups)rh   r   r   rˆ   é   )rw   Údilationrb   r   )rb   F)ÚbiasÚmaskÚrope_cosÚrope_sing      Ð?r   r   )!rT   rU   r=   ÚwindowrW   rV   rE   Údw_padrX   ÚConv1dÚdwÚinitÚzeros_ÚweightrŒ   r\   ÚprojÚ
ModuleListÚVÚDilatedResidualÚblocksÚrangerQ   ÚlayersÚheadÚskipÚTransformerÚgenerate_square_subsequent_maskÚregister_bufferrK   r0   Úno_gradÚmin)rd   Úc_inr�   rV   rW   Únlayersrb   ÚstemÚdrt   r�   rA   rB   rf   s                €r)   rU   zLogitTransformerRoPE.__init__Œ   s2  ø€ Ü‰ÑÔÙÜÐ<Ó=Ð=ØˆŒØˆŒ
ØˆŒØ 5Ñ(ˆŒØˆŒÜ—)‘)˜D $¨¯©°a©ÀÔEˆŒÜ
�‰�‰�t—w‘w—~‘~Ô&Ü
�‰�‰�t—w‘w—|‘|Ô$Ü—I‘I˜d GÓ,ˆŒ	Ü—m‘má!ó%
á!�ô ×Ñ˜g¨°QÀÖHØ!ñ%
ó ˆŒô
 —m‘mä˜7”^ó%
á#�ô ˜W e¨W°q©[À'ÖJØ#ñ%
ó ˆŒô —I‘I˜g qÓ)ˆŒ	Ü—I‘I˜d A¨EÔ2ˆŒ	Ü�~‰~×=Ñ=¸fÓEˆØ×Ñ˜V TÔ*Ü# F¨D¯M©MÓ:‰ˆˆSØ×Ñ˜Z¨Ô-Ø×Ñ˜Z¨Ô-Ü
�‰�‰�t—y‘y×'Ñ'Ô(Ü
�‰�‰�t—y‘y—~‘~Ô&Ü
�‰�‰�t—y‘y×'Ñ'Ô(Ü�]‰]�_Ø2;ˆD�I‰I×Ñ˜Q ¤# a¨£, Ð.Ñ/÷ ˆ_ùò'%
ùò
%
÷ ˆ_ús   Ä K3Å
K8Ë(K=Ë=Lc           	      ó²  — |}|| j                  t        j                  |j                  dd«      | j                  df«      «      j                  dd«      z   }| j                  |«      }| j                  D ]
  } ||«      }Œ |j                  d«      }| j                  dd |…d d …f   j                  |j                  ¬«      }| j                  dd |…d d …f   j                  |j                  ¬«      }| j                  D ]  } ||||| j                  «      }Œ | j                  |«      j                  d«      | j!                  |«      j                  d«      z   S )Nrh   r   r   .r9   r,   )r“   rp   Úpadrm   r‘   r—   r›   rN   rŽ   rC   r:   r�   r�   r�   rž   ÚsqueezerŸ   )	rd   r2   Úrawru   ÚblockrH   rA   rB   Úlayers	            r)   r|   zLogitTransformerRoPE.forward¯   s  € ØˆØ�—‘œŸ™˜aŸk™k¨!¨QÓ/°$·+±+¸qÐ1AÓBÓC×MÑMÈaÐQRÓSÑSˆØ�I‰I�a‹LˆØ—[”[ˆEÙ�a“‰Að !à�F‰F�1‹IˆØ�m‰m˜C  ! ¢Q˜JÑ'×*Ñ*°·±Ð*Ó9ˆØ�m‰m˜C  ! ¢Q˜JÑ'×*Ñ*°·±Ð*Ó9ˆØ—[”[ˆEÙ�a˜˜c 4§9¡9Ó-‰Að !à�y‰y˜‹|×#Ñ# BÓ'¨$¯)©)°C«.×*@Ñ*@ÀÓ*DÑDÐDr6   )r   r   r   r}   Tr~   r„   s   @r)   r†   r†   ‰   s   ø„ ÙTõ!<öFEr6   r†   c                 ó  — i }| j                  «       D ]÷  \  }}|dk(  rŒ|j                  d«      rÀ|t        d«      d }|j                  dd«      }t        |«      dk7  rŒL|\  }}|dk(  r
||d|› d	�<   n||d
k(  r
||d|› d�<   nm|dk(  r
||d|› d�<   n^|dk(  r
||d|› d�<   nO|j                  d«      s3|j                  d«      s"|j                  d«      s|j                  d«      r||d|› d|› �<   ŒÝ|dv s|j                  d«      rŒó|||<   Œù |S )uÇ   Map stem SWA / nn.TransformerEncoder keys onto RoPE module names.

    Drops absolute `pos`. Remaps enc.layers.i.self_attn.{in_proj,out_proj}
    and enc.layers.i.{linear*,norm*} â†’ layers.i.*.
    Úposzenc.layers.NÚ.rh   r   zself_attn.in_proj_weightzlayers.z.qkv.weightzself_attn.in_proj_biasz	.qkv.biaszself_attn.out_proj.weightz.out_proj.weightzself_attn.out_proj.biasz.out_proj.biaszlinear1.zlinear2.znorm1.znorm2.)r�   zenc.)ÚitemsÚ
startswithÚlenÚsplit)Ústater{   rw   rx   ÚrestÚpartsÚidxÚtails           r)   Úremap_swa_stater»   ½   sJ  € ð €CØ—‘–‰ˆˆ1Ø�Š:ØØ�<‰<˜Ô&à”S˜Ó'Ð(Ð)ˆDØ—J‘J˜s AÓ&ˆEÜ�5‹z˜QŠØØ‰IˆC�ØÐ1Ò1Ø23��g˜c˜U +Ð.Ò/ØÐ1Ò1Ø01��g˜c˜U )Ð,Ò-ØÐ4Ò4Ø78��g˜c˜UÐ"2Ð3Ò4ØÐ2Ò2Ø56��g˜c˜U .Ð1Ò2Ø—‘ Ô,°·±À
Ô0KØ—‘ xÔ0°D·O±OÀHÔ4MØ./��g˜c˜U ! D 6Ð*Ñ+àØ�	‰>˜QŸ\™\¨&Ô1ØØˆˆAŠð3 ð4 €Jr6   c                 ó
  — t        j                  d«       t        ddddd¬«      j                  | «      j	                  «       }t        j
                  ddd| ¬	«      }|j                  «       }t        j
                  dd| ¬	«      |d d …d
f<   t        j                  «       5   ||«      } ||«      }d d d «       t        j                  d d …d d
…f   d d …d d
…f   d¬«      st        d«      ‚t        d«       y # 1 sw Y   ŒJxY w)Nr   rˆ   é   é    r   rh   )rV   rW   r¦   r   r;   r,   çñhãˆµøä>)Úatolz&RoPE transformer readout is not causalzRoPE causality check passed)r0   Úmanual_seedr†   rC   ÚevalÚrandnÚcloner£   ÚallcloseÚRuntimeErrorr*   )r<   Úmodelr2   r4   Úy1Úy2s         r)   Úassert_causal_roperÊ   á   sÖ   € Ü	×Ñ�aÔÜ   B°¸!ÀQÔG×JÑJÈ6ÓR×WÑWÓY€EÜ�‰�A�r˜1 VÔ,€AØ	
�‰‹€BÜ—‘˜A˜q¨Ô0€B‚qˆ"€u�IÜ	�‰�Ù�1‹XˆÙ�2‹Yˆ÷ 
ô �>‰>˜"šQ   ˜V™* bª¨C¨R¨C¨¡j°tÕ<ÜÐCÓDÐDÜÐ*Õ+÷ 
ˆús   ÂC9Ã9Dc                 ó  — | dk(  rPt         j                  j                  t        d«      }t         j                  j	                  |«      r|S t        |«      ‚t         j                  j                  t        d| › d�«      }t         j                  j	                  |«      r|S t         j                  j                  t        d| › d�«      }t         j                  j	                  |«      rt        d| › d|› �«       |S t        d| › d	|› d
|› �«      ‚)z9Prefer SWA held-*/all5; fall back to published stem_ms96.Úall5úall5.ptúheld-ú.ptzstem_ms96__held-z  SWA missing for z; falling back to zno init for z: tried z and )r    r"   ÚjoinÚSWA_DIRÚisfileÚFileNotFoundErrorÚSTEM_DIRr*   )ÚheldÚswar§   s      r)   Úresolve_initr×   ï   s×   € àˆv‚~Ü�g‰g�l‰lœ7 IÓ.ˆÜ�7‰7�>‰>˜#ÔØˆJÜ Ó$Ð$Ü
�'‰'�,‰,”w %¨ v¨SÐ 1Ó
2€CÜ	‡w�w‡~�~�cÔØˆ
Ü�7‰7�<‰<œÐ$4°T°F¸#Ð">Ó?€DÜ	‡w�w‡~�~�dÔÜÐ% d VÐ+=¸d¸VÐDÔEØˆÜ
˜l¨4¨&°¸¸¸UÀ4À&ÐIÓ
JÐJr6   c                 óD  — t        j                  | dd¬«      }|d   \  }}}}}}}	|r.t        |«      t        k7  st        |«      dk7  st        |«      dk7  rt	        d|d   › d| › �«      ‚t        t        j                  |d	   «      j                  d
   «      }
t        |
t        |t        |d¬«      }|j                  j                  «       j                  «       }|j                  j                  «       j                  «       }|j                  j                  «       j                  «       }t        |d   «      }|j!                  |d¬«      \  }}|D �ch c]  }|j#                  d«      rŒ|’Œ }}|rt%        dt'        |«      › �«       |rt%        dt'        |«      › �«       |j                  j)                  |«       |j                  j)                  |«       |j                  j)                  |«       t        j*                  |j                  «      j-                  «       rt	        d| › �«      ‚|j/                  |«      }t        j                  |d	   t
        j0                  «      }t        j                  |d   t
        j0                  «      }|||t3        |d   «      fS c c}w )NÚcpuF)Úmap_locationÚweights_onlyÚcfgr   r   zunexpected stem cfg z from Úmur   T)rV   rW   r¦   r§   r¶   )Ústrict)rŽ   r�   r�   z&  warn missing keys after RoPE remap: z  warn unexpected keys: z-causal mask still has nan after restore from ÚsdÚtrain)r0   ÚloadÚintÚWINDOWrÆ   ÚnpÚasarrayri   r†   ÚNHEADr�   ÚdetachrÄ   rŽ   r�   r»   Úload_state_dictr³   r*   ÚsortedÚcopy_ÚisnanÚanyrC   r?   Úlist)r"   r<   ÚblobÚnameÚfamilyr�   rV   r¦   r§   Ú_lrr¥   ÚnetÚ	good_maskÚgood_cosÚgood_sinÚremappedÚmissingÚ
unexpectedÚmÚmiss_okrÝ   rß   s                         r)   Úload_rope_from_swarû      s+  € Ü�:‰:�d¨¸UÔC€DØ8<¸U¹Ñ5€Dˆ&�&˜' 7¨D°#Ù”3�v“;¤&Ò(¬C°«L¸BÒ,>Ä#ÀgÃ,ÐRSÒBSÜÐ1°$°u±+°¸fÀTÀFÐKÓLÐLÜŒr�z‰z˜$˜t™*Ó%×+Ñ+¨AÑ.Ó/€DÜ
ØŒf˜g¬U¸GÈ$ôP€Cà—‘—‘Ó!×'Ñ'Ó)€IØ�|‰|×"Ñ"Ó$×*Ñ*Ó,€HØ�|‰|×"Ñ"Ó$×*Ñ*Ó,€HÜ˜t G™}Ó-€HØ×-Ñ-¨h¸uÐ-ÓEÑ€GˆZÙ!ÓX™'�Q¨¯©Ð6VÕ)WŠq˜'€GÐXáÜÐ9¼&À»/Ð9JÐKÔLÙÜÐ+¬F°:Ó,>Ð+?Ð@ÔAØ‡H�H‡N�N�9ÔØ‡L�L×Ñ�xÔ Ø‡L�L×Ñ�xÔ Ü‡{�{�3—8‘8Ó× Ñ Ô"ÜÐJÈ4È&ÐQÓRÐRØ
�&‰&�‹.€CÜ	�‰�D˜‘J¤§
¡
Ó	+€BÜ	�‰�D˜‘J¤§
¡
Ó	+€BØ��Bœ˜T '™]Ó+Ð+Ð+ùò Ys   ÅJÅ(Jc                 óÄ  — t        j                  ||«      }t        j                  | ||d¬«      }||z  j	                  «       j                  d«      }||z  |z  j	                  «       |z  }| d d …dd …f   | d d …d d…f   z
  j                  «       }|d d …dd …f   |d d …d d…f   z  }	|d||	z  j	                  «       z  |	j	                  «       j                  d«      z  z   }|S )NÚnone)Ú
pos_weightÚ	reductionr8   rh   r,   gš™™™™™©?)r™   Úswitch_weightsrp   Ú binary_cross_entropy_with_logitsÚsumÚ	clamp_minÚabs)
ÚlogitÚyrù   rþ   ÚswÚbceÚdenomÚlossÚdvÚm2s
             r)   Úweighted_bcer    sÝ   € Ü	
×	Ñ	˜!˜QÓ	€BÜ
×
,Ñ
,¨U°AÀ*ÐX^Ô
_€CØ�!‰V�L‰L‹N×$Ñ$ SÓ)€EØ�"‰H�q‰L×ÑÓ %Ñ'€DØ
’�1‘2�‰,˜šq # 2 #˜v™Ñ
&×	+Ñ	+Ó	-€BØ	
Š1ˆa‰bˆ5‰�A’a˜˜"˜�f‘IÑ	€BØ�$˜"˜r™'Ÿ™›Ñ(¨2¯6©6«8×+=Ñ+=¸cÓ+BÑBÑB€DØ€Kr6   c                 ó  — t        dt        |dz  d«      «      }||k  r||dz   z  |z  }nJ||z
  t        ||z
  d«      z  }dd|dz
  z  dt        j                  t        j                  |z  «      z   z  z   }| j
                  D ]  }||d<   Œ	 |S )Né(   é
   rh   r¿   g      à?r8   Úlr)r¤   ÚmaxÚmathrA   ÚpiÚparam_groups)ÚoptÚstepÚtotalrF   Úwarmr  ÚpÚgroups           r)   Úset_lrr  )  s˜   € Üˆr”3�u ‘{ AÓ&Ó'€DØˆd‚{Ø�T˜A‘XÑ Ñ%‰à�D‰[œC ¨¡¨aÓ0Ñ0ˆØ�C˜4 $™;Ñ'¨3´·±¼$¿'¹'ÀA¹+Ó1FÑ+FÑGÑGˆØ×!Ô!ˆØˆˆdŠð "à€Ir6   c                   ó   — e Zd Zy)ÚChanceLikeAbortN)r   r€   r�   © r6   r)   r  r  5  s   „ Ør6   r  c
                 ó‚  — t        |j                  «       «      }
t        j                  d|
z
  t	        |
d«      z  g|¬«      }t        j
                  j                  | j                  «       t        d¬«      }t        j                  j                  t        j                  «      }t        j                  | «      j!                  «       }| j#                  «        t%        j$                  «       }d }g }t'        |«      D �]W  }t)        |||t        «       t        j*                  ||t,        |||«      \  }}}t        j.                  |«      j1                  |d¬«      }t        j.                  |«      j1                  |d¬«      }t        j.                  |«      j1                  |d¬«      }t        j2                  |«      }|j5                  d¬«        | |«      }t7        ||||«      }t        j8                  |«      st;        d	|› d
|› �«      ‚|j=                  «        t        j>                  j@                  jC                  | j                  «       d«       |jE                  «        t        jF                  | |tH        «       t        |jK                  «       «      }|tL        k  r|jO                  |«       |	rn|dz   tL        k(  rbt        t        j                  |dd  «      «      }tQ        d|› dtL        › d|d›dtR        › d�	«       |tR        k\  rtU        d|d›dtL        › d�«      ‚|dk(  s|dz   dz  dk(  s
|dz   |k(  s�Œ=tQ        d|› d|dz   › d|› d|d›�«       �ŒZ |j!                  «        t        jV                  ||t,        |||«      }tQ        d|› d|d›d|d›dt%        j$                  «       |z
  d›d �	«       |tY        ||¬!«      fS )"Nr8   gü©ñÒMbP?r;   g-Cëâ6?)r  Úweight_decayT)Únon_blocking)Úset_to_noneznon-finite loss at step z for rh   iØÿÿÿz    z early@z mean_loss ú.4fz (abort if >= Ú)zchance-like loss z after z stepsr   éÈ   z step Ú/z loss z
  trained z frame-acc ú.3fz (z.0fzs))r
  Ú	frame_acc)-ÚfloatÚmeanr0   Útensorr  ÚoptimÚAdamWÚ
parametersÚLRrä   ÚrandomÚdefault_rngr™   Ú
TRAIN_SEEDÚcopyÚdeepcopyrÂ   rà   Útimerœ   r  Úsample_batchrã   Ú
from_numpyrC   ÚaugmentÚ	zero_gradr  ÚisfiniterÆ   ÚbackwardrX   ÚutilsÚclip_grad_norm_r  Ú
ema_updateÚ	EMA_DECAYÚitemr   Úappendr*   r   r  Útrain_frame_accÚdict)rÇ   r‰   Úy_allrÝ   rß   r<   ÚstepsÚbatchÚtagÚearly_abortr°   rþ   r  ÚrngÚemaÚt0ÚlastÚearly_lossesr  ÚxbÚybÚmbr2   r  rù   r  r
  Ú
mean_earlyÚaccs                                r)   Ú
train_roperT  9  s>  € Ü
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.´2ÀDÐ
Ó
I€CÜ
�)‰)×
Ñ
¤§¡Ó
-€CÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€CØ	‡K�K„MÜ	�‰‹€BØ€DØ€LÜ�e—ˆÜˆs�D˜%¤Ô$Ü—^‘^ C¨´¸ÀÀBÓG‰
ˆˆB�Ü×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ�I‰I�a‹LˆØ�‰ $ˆÔ'Ù�a“ˆÜ˜E 1 a¨Ó4ˆÜ�~‰~˜dÔ#ÜÐ!9¸$¸¸uÀSÀEÐJÓKÐKØ�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
Ü	�‰�U˜C¤Ô+Ü�T—Y‘Y“[Ó!ˆØ”+ÒØ×Ñ Ô%Ù˜4 !™8¤{Ò2ÜœrŸw™w |°C°DÐ'9Ó:Ó;ˆJÜ�t˜C˜5 ¬ }°KÀ
È3Ð?Oð P%Ü%5Ð$6°að9ô :àÔ-Ò-Ü%Ø'¨
°3Ð'7°w¼{¸mÈ6ÐRóTð Tà�1Š9˜ ™ SÑ(¨AÒ-°¸±¸UÔ1BÜ�t˜C˜5  t¨a¡x j°°%°¸¸tÀC¸jÐIÖJð7 ð8 ‡H�H„JÜ
×
Ñ
˜C ¬°°R¸Ó
@€CÜˆz˜#˜˜f T¨# J¨k¸#¸c¸À"ÄTÇYÁYÃ[ÐSUÑEUÐVYÐDZÐZ\Ð]Ô^Ø”˜$¨#Ô.Ð.Ð.r6   c	                 ó^  — t        | |«      \  }	}
}}	 t        |	|||
||||||¬«
      \  }}||
|||fS # t        j                  j                  $ r] |r‚ t        d|› d|› d�«       ~	|j                  dk(  rt        j                  j                  «        t        | |||||dz  ||d¬«	      cY S w xY w)	N©rI  z	  OOM on z
 at batch z; halving onceÚcudar   T)rI  Úhalved)	rû   rT  r0   rW  ÚOutOfMemoryErrorr*   ÚtypeÚempty_cacheÚfit_with_oom)Ú	init_pathr‰   rE  r<   rF  rG  rH  rI  rX  rÇ   rÝ   rß   Ú_trainrK  Ústatss                  r)   r\  r\  e  sÍ   € ä.¨y¸&ÓAÑ€Eˆ2ˆr�6ð2ÜØ�6˜5 " b¨&°%¸ÀØ#ô%‰
ˆˆUð �B˜˜E 5Ð(Ð(øÜ�:‰:×&Ñ&ò 	2ÙØÜ�9˜S˜E ¨E¨7°.ÐAÔBØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$ÜØ�v˜u f¨e°U¸a±ZÀØ#¨Dô2ò 	2ð	2ús   “2 ²A7B,Â+B,c                 ó  — i }| j                  «       D ]r  \  }}t        j                  t        j                  |t        j
                  «      d d …d f   «      j                  d«      j                  t        j
                  «      ||<   Œt |S )Nr,   )r²   ÚV4Úhighpassrä   rå   Úfloat64ÚreshapeÚastype)Ústreamr{   Úkeyr¨   s       r)   Úhp30_streamrh  y  sg   € Ø
€CØ—,‘,–.‰ˆˆQÜ—;‘;œrŸz™z¨!¬R¯Z©ZÓ8º¸D¸ÑAÓB×JÑJÈ2ÓN×UÑUÔVX×V`ÑV`ÓaˆˆCŠð !à€Jr6   c                 ó6  — t        j                  | |||t        |«      }t        j                  |«      }t        j
                  ||t        t        «      }|D �	ci c]  }	|	t        ||	   «      “Œ }
}	t        j                  |
«      }t        j
                  ||t        t        «      }t        d|› dt        › dt        › d|d   d›d|d   d	›d
|d   d›d|d   d	›�«       t        d|› dt        › dt        › d|d   d›d|d   d	›�
«       t        ||¬«      |fS c c}	w )NzLODO ú p ú sc ú  H ÚHr$  ú Acc ÚAccú.2fú L ÚLr(  ú SDT ÚSDTz
LODO_hp30 ©ÚropeÚhp30)r™   Ú	infer_allrã   ÚNÚto_evÚofficialÚP_STAYÚSCALErh  r*   rD  )rÇ   ÚfeatrÝ   rß   rÕ   r<   ÚstreamsÚevÚoffÚdsÚhpÚev_hpÚoff_hps                r)   Ú
score_lodor†  €  s&  € Ü�k‰k˜%  r¨2¬v°vÓ>€GÜ	
�‰�Ó	€BÜ
�*‰*�T˜2œv¤uÓ
-€CÙ18Ó	9±¨2ˆ"Œk˜' "™+Ó&Ñ
&°€BÐ	9Ü�G‰G�B‹K€EÜ�Z‰Z˜˜e¤V¬UÓ3€FÜˆu�T�F˜#œf˜X T¬%¨°°S¸±X¸c°NÀ%ÈÈEÉ
ÐSVÐGWð XØ�c‘(˜3�˜u S¨¡Z°Ð$4ð6ô 7äˆz˜$˜˜s¤6 (¨$¬u¨g°T¸&À¹+ÀcÐ9JÈ%ÐPVÐW\ÑP]Ð^aÐObÐcÔdÜ�S˜vÔ&¨Ð/Ð/ùò 
:s   ÁDc                 ó<  — g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       |D �	ci c]  }	|	t        ||	   «      “Œ }}	g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       i }t        D �]ú  }	t        j                  | |	||	   i||t         |«      |	   }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t        |«      }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t#        ||¬«      ||	<   t        d|	› dt,        › dt        › d|d   d›d|d   d›d|d   d›d|d   d›�«       t        d|	› dt,        › dt        › d|d   d›d|d   d›�
«       �Œý |S c c}	w )Nr   r8   g      ð¿z  external emissions mu r$  z sd z scale z  external hp30 emissions mu ÚattÚt_endÚatt128Ún128Úsubject)Úr0Úr1rˆ  r‰  rŠ  r‹  rŒ  g      è?ru  zEXT rj  rk  rl  rm  rn  ro  rp  rq  rr  r(  rs  rt  z	EXT_hp30 )r²   rB  rä   rå   rc  Úwherer*  Úconcatenater+  Ústdr*   r}  rh  Ú
TEST_NAMESr™   rx  rã   rD  Úzerosr´   ÚEÚscorer|  )rÇ   Úfeat_extÚmetaÚmu_inÚsd_inÚcorpus_streamsÚ
corpus_attr<   r¸   r‚  ÚtableÚlabelsrg  r¨   Úmu_eÚsd_eÚ	hp_corpusÚparts_hpÚmu_hpÚsd_hpÚrowsrf  r€  Úmeta_kÚrÚ	stream_hpr„  Úr_hps                               r)   Úscore_externalr©  �  sÜ  € Ø€EØ#×)Ñ)Ö+‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�L‰LœŸ™ A¤r§z¡zÓ2´R·X±X¸fÀS¹kÈQÑ>NÐPSÐUYÓ5ZÑZÕ[ñ $ð ,ô ”—‘ Ó&×+Ñ+Ó-Ó.€DÜ”—‘ Ó&×*Ñ*Ó,Ó-€DÜÐ'¨¨S z°°d¸3°Z¸wÄuÀgÐNÔOá?MÓN¹~¸�”[ °Ñ!3Ó4Ñ4¸~€IÐNØ€HØ—_‘_Ö&‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�O‰OœBŸJ™J q¬"¯*©*Ó5¼¿¹ÀÈÁÐPQÑAQÐSVÐX\Ó8]Ñ]Õ^ñ $ð 'ô ”"—.‘. Ó*×/Ñ/Ó1Ó2€EÜ”"—.‘. Ó*×.Ñ.Ó0Ó1€EÜÐ,¨U°3¨K°t¸EÀ#¸;ÀgÌeÈWÐUÔVà€DßˆjˆÜ—‘˜U R¨°"©Ð$6¸¸uÄfÈfÓUÐVXÑYˆØˆØ—l‘l–n‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ˜a¤B§H¡H¬S°«VÓ$4¸&À¹-ÈvÐV]ÉØ"(¨Ñ"2¸À¹ÐQWÐXaÑQbôdˆBˆsŠGð %ô
 �G‰G�B˜˜d¤U™l¬F°DÓ9ˆÜ Ó'ˆ	ØˆØ—o‘oÖ'‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ ¤r§x¡x´°A³Ó'7¸VÀE¹]ÐRXÐY`ÑRaØ%+¨HÑ%5¸FÀ6¹NÐTZÐ[dÑTeôgˆE�#ŠJð (ô
 �w‰w�u˜e U¬U¡]´F¸DÓAˆÜ˜Q TÔ*ˆˆR‰Ü�4˜�t˜3œv˜h d¬5¨'°°a¸±f¸S°\ÀÀqÈÁxÐPSÀnð UØ˜‘f˜S�\  q¨¡x° nð6ô 	7ä�9˜R˜D ¤F 8¨4´¨w°d¸4À¹9ÀS¸/ÈÈtÐTYÉ{Ð[^ÐN_Ð`Öað) ð* €KùòA Os   Ã?Pc                  ó¤  — t         j                  j                  dg d¢¬«       i i }} t        D �]Š  }g }t	        d«      D ]f  }t
        j                  j                  t        d|› d|› d�«      }t        |d«      5 }|j                  t        j                  |«      «       d d d «       Œh i i c| |<   ||<   |d	   D ]à  }|D �cg c]0  }||   d
   ||   d   z
  j                  t        j                  «      ‘Œ2 }	}|d	   |   }
t        j                   |	d«      | |   |<   t#        t        j$                  |
d   «      t        j$                  |
d   t        j&                  «      t        j$                  |
d   «      t)        |
d   «      t)        |
d   «      ¬«      ||   |<   Œâ t+        d|› dt-        | |   «      › d�«       �Œ� | |fS # 1 sw Y   �Œ‹xY wc c}w )NÚ
eaP_n5_t60)ÚenvÚonsetÚdom)ÚprepÚtargetsr   Úext_clf_Ú_w10b3sw2P_evidence_sz.pklÚrbr   r�  rŽ  rh   rˆ  r‰  rŠ  r‹  rŒ  )rˆ  r‰  rŠ  r‹  rŒ  z  external z: z trials)r”  ÚCONFÚupdater’  rœ   r    r"   rÐ   ÚEVIDr%   rB  Úpicklerá   re  rä   r?   ÚstackrD  rå   rc  râ   r*   r´   )Úlogitsr—  r‚  ÚevsÚir"   r(   rg  r€  ÚcolsÚe0s              r)   Úload_externalr¾  º  sª  € Ü‡F�F‡M�M�|Ò-D€MÔEØ�rˆD€FßˆjˆØˆÜ�q–ˆAÜ—7‘7—<‘<¤¨°°Ð4IÈ!ÈÈDÐ&QÓRˆDÜ�d˜DÔ! RØ—
‘
œ6Ÿ;™; r›?Ô+÷ "Ð!ð ð  " 2Ðˆˆr‰
�D˜‘HØ�q”6ˆCÙQTÓUÑQTÈ2�R˜‘W˜T‘] R¨¡W¨T¡]Ñ2×:Ñ:¼2¿:¹:ÕFÐQTˆDÐUØ�Q‘˜‘ˆBÜ Ÿh™h t¨QÓ/ˆF�2‰J�s‰OÜ Ü—J‘J˜r %™yÓ)´·±¸B¸w¹KÌÏÉÓ1TÜ—z‘z " X¡,Ó/´c¸"¸V¹*³oÌsÐSUÐV_ÑS`ÓOaôcˆD�‰H�SŠMð	 ô 	�;˜r˜d "¤S¨°©£_Ð$5°WÐ=Ö>ð ð �4ˆ<Ð÷ "Ñ!üò Vs   Á9%G Â?5GÇ G
c                  ó^  — t        j                  t         j                  j                  t        «      d¬«       t        t        d«      j                  «        t        j                  t        j                  j                  «       rdnd«      } t        d| › dt        › dt        › d	t        › d
t        › dt         › dt"        › �«       dt        j$                  j                  j&                  _        dt        j$                  j*                  _        t-        | «       t/        j0                  «        t3        j4                  «       d   }t        j                  t6        d¬«       i }t9        t:        «      D �]1  \  }}t=        |«      }t:        D �cg c]
  }||k7  sŒ	|‘Œ }}t3        j>                  ||«      \  }}	t        d|› d|› �«       	 tA        |||	| t        t        d|› �|dk(  ¬«      \  }
}}}}t        jR                  |
jU                  «       ||||t        ||tV        t        dœ
t         j                  jY                  t6        d|› d�«      «       t[        |
||||| «      \  }}tE        |||¬«      ||<   ~
| j\                  dk(  s�Œt        j                  j_                  «        �Œ4 t=        d«      }t        d|› �«       t3        j>                  |ta        t:        «      «      \  }}	tA        |||	| t        t        dd¬«      \  }
}}}}t        jR                  |
jU                  «       |||ta        t:        «      t        ||tV        t        dœ
t         j                  jY                  t6        d«      «       t3        jb                  |
|||td        | «      }tg        «       \  }}ti        jj                  |«      d   }tm        |
|||||t.        jn                  d   | «      }tO        tq        jr                  t:        D �cg c]  }||   d    d!   d"   ‘Œ c}«      «      }tO        tq        jr                  t:        D �cg c]  }||   d    d!   d#   ‘Œ c}«      «      }t        d$|d%›d&|d'›�«       tE        tt        tv        t        t        t        t:        D �ci c]  }|||   d    “Œ c}t:        D �ci c]  }|||   d(   “Œ c}tE        ||¬)«      ||¬*«
      }t        j                  t         j                  j                  tH        «      d¬«       t        tH        d«      5 }tK        jL                  ||dtN        ¬«       d d d «       t        d+tH        › �«       y c c}w # tB        $ r¹}t        d|› �«       tE        dtG        |«      |¬«      }t        j                  t         j                  j                  tH        «      d¬«       t        tH        d«      5 }tK        jL                  ||dtN        ¬«       d d d «       tQ        d«      ‚# 1 sw Y   tQ        d«      ‚xY wd }~ww xY wc c}w c c}w c c}w c c}w # 1 sw Y   ŒúxY w),NTr   ÚwrW  rÙ   zdevice z steps z batch z EMA z RoPE base z early_abort@z>=r   zfold held-out=z init rÎ   r   rV  zABANDONED: )Ú	abandonedÚreasonrÕ   rh   )ÚindentÚdefaultr   )
r¶   rÝ   rß   r”   rà   rF  rG  r_  rÜ   Ú	rope_baserÏ   )Úscoresr_  rG  rÌ   z.all-5 RoPE fine-tune for AASD and Carta, init FrÍ   rˆ  rÆ  rv  rm  ro  zLODO mean H r$  rn  rp  r_  )rm  ro  )
Úp_stayry   rF  rG  rÅ  ÚlodoÚ
lodo_statsÚ	lodo_meanÚexternalÚ
all5_statszwrote )<r    r!   r"   r#   r$   r%   Úcloser0   r<   rW  Úis_availabler*   r   r   r@  Ú	ROPE_BASEr   r   Úbackendsrl   Ú
allow_tf32ÚcudnnrÊ   ry  Úload_allr™   Úbuild_featuresÚCKPT_DIRÚ	enumerater   r×   Útrial_groupsr\  r  rD  ÚstrÚOUTÚjsonÚdumpr*  Ú
SystemExitÚsaveÚ
state_dictÚCFGrÐ   r†  rZ  r[  rí   rx  rã   r¾  ra  Úbuild_features_fromr©  ÚGrä   r+  r|  r}  )r<   Úfeat_allÚperr»  rÕ   r"   r¨   Útrain_dsr‰   rE  rK  rÝ   rß   Úusedr_  Úexcr{   r(   rÆ  Ú_streamsÚall_pathrš  Ú
ext_logitsÚext_metaÚext_featÚextÚmean_hÚmean_accs                               r)   Úmainrï  Ï  sù  € Ü‡K�K”—‘—‘¤Ó$¨tÕ4ÜŒˆcƒN×ÑÔÜ�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜˆw�v�h˜g¤e W¨G´E°7¸%Ä	¸{ð KÜ#˜ M´+°¸bÔAQÐ@RðTô Uà,0„E‡N�N×Ñ×ÑÔ)Ø&*„E‡N�N×ÑÔ#Ü�vÔÜ‡J�J„LÜ×ÑÓ! $Ñ'€HÜ‡K�K” 4Õ(à
€CÜœW×%‰ˆˆ4Ü˜DÓ!ˆÝ&Ó4™w˜!¨!¨t«)’A˜wˆÐ4ÜŸ™ x°Ó:‰ˆ�Ü�> $  v¨d¨VÐ4Ô5ð
	 Ü'3Ø�f˜e V¬U´E¸UÀ4À&¸>Ø !™Vô(&Ñ$ˆC��R˜˜uô 	�
‰
˜SŸ^™^Ó-°R¸rÈ4Ø%´ÀØ"¬3¼YñHô —7‘7—<‘<¤¨E°$°°sÐ*;Ó<ô	>ô & c¨8°R¸¸TÀ6ÓJÑˆ�Ü ¨e¸4Ô@ˆˆD‰	ØØ�;‰;˜&Ô Ü�J‰J×"Ñ"Ö$ð1 &ô4 ˜FÓ#€HÜÐ=¸h¸ZÐHÔIÜ—N‘N 8¬T´'«]Ó;�M€FˆEÜ+Ø�&˜% ¬´°vÈ5ô RÑ€CˆˆR��uä	‡J�J˜Ÿ™Ó)°¸2ÀxÜœg›´ÀØ¤s¼ñDô �w‰w�|‰|œH iÓ0ô2ô —[‘[  h°°B¼ÀÓG€NÜ(›?Ñ€J�Ü×%Ñ% jÓ1°$Ñ7€HÜ
˜˜h¨°"°b¸.Ì!Ï#É#ÈeÉ*ÐV\Ó
]€Cä”2—7‘7Å7ÓKÁ7¸a˜C ™F 8Ñ,¨VÑ4°SÓ9À7ÑKÓLÓM€FÜ”R—W‘WÅwÓOÁwÀ!˜c !™f XÑ.¨vÑ6°uÓ=ÀwÑOÓPÓQ€HÜˆ|˜F 3˜< u¨X°c¨NÐ;Ô<ä
ÜœU¬%´uÜÝ+2Ó3©7 aˆa��Q‘˜Ñ!Ñ!¨7Ñ3Ý07Ó8±¨1�A�s˜1‘v˜g‘Ñ&°Ñ8Ü˜ XÔ.ØØô€Cô ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ü�	‰	�#�r !¬UÕ3÷ 
äˆv”c�Uˆ^Õùòm 5øô ò 	 Ü�{ 3 %Ð(Ô)Ü ¬c°#«h¸TÔBˆCÜ�K‰KœŸ™Ÿ™¬Ó,°tÕ<Ü”c˜3” 2Ü—	‘	˜#˜r¨!´UÕ;÷  ä˜Q“-Ð÷  ä˜Q“-Ðþð	 üò> LùÚOùò 4ùÚ8÷ 
ˆúsa   Æ
UÆUÇ'U
Ï/XÐ+XÒXÒXÔX#Õ
	XÕA-X× W1×X×1X×6XØXØ#X,Ú__main__)F)FF)Mr‚   r4  rÚ  r  r    r·  r6  Únumpyrä   r0   Útorch.nnrX   Útorch.nn.functionalÚ
functionalrp   Úensemble_clf_nestedry  Úensemble_clf_transformer_v2r™   Úensemble_clf_transformer_v4ra  Úeval_externalr”  Úcommonr   r"   r#   ÚabspathÚ__file__ÚEXPrÐ   rÑ   rÔ   rÕ  r$   rÙ  r¶  r’  râ   ÚenvironÚgetr   r   r   r*  r   r@  r0  r|  r}  rß  rã   ræ   rÏ  r*   r5   rK   rO   ÚModulerQ   r†   r»   rÊ   r×   rû   r  r  rÆ   r  rT  r\  rh  r†  r©  r¾  rï  r   r  r6   r)   Ú<module>r      s#  ðñó$ Û Û Û 	Û Û ã Û Ý ß Ð ã Û 'Û (Û Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø
�'‰'�,‰,�s˜H oÓ
6€Ø�7‰7�<‰<˜˜X }Ó5€Ø�7‰7�<‰<˜˜XÐ'7Ó8€Ø‡g�g‡l�l�3˜Ð';Ó<€Ø‡g�g‡l�l�3˜	 :Ð/DÓE€Øk€Ø"€
áˆB�J‰J�N‰N˜7 FÓ+Ó,€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€Ù�"—*‘*—.‘. °Ó5Ó6€Ù˜Ÿ™Ÿ™Ð(:¸FÓCÓDÐ Ø€	Ø	€Ø	€Ø€Ø˜˜r 2 q¨$°Ð3€Ø	€Ø	€Ø€	òò(ð
 .7¸tÈ4ó ò&Bô%#�r—y‘yô %#ôP1E˜2Ÿ9™9ô 1Eòh!òH,òKò",ò<ò	ô	�lô 	ó)/ðZ ,1ó2ò(ò
0ò*òZò*FðR ˆzÒÙ…Fð r6   