Ë
    	øáj4J  ã                   ó  — d Z ddlZddlZddlZddlZddlZddlZddlZddl	Z	ddl
mZ ddlmc mZ ddlZddlZddlZddlZddlmZ ej2                  j5                  ej2                  j7                  e«      «      Zej2                  j=                  edd«      Zej2                  j=                  edd«      Z ej2                  j=                  edd«      Z!ej2                  j=                  edd	«      Z"ej2                  j=                  ed
dd«      Z#dZ$dZ% e&ejN                  jQ                  dd«      «      Z) e&ejN                  jQ                  dd«      «      Z* e&ejN                  jQ                  dd«      «      Z+ e,ejN                  jQ                  dd«      «      Z-dZ.dZ/dZ0dZ1dddddde/fZ2dZ3d Z4d!„ Z5d"„ Z6d#„ Z7 G d$„ d%ejp                  «      Z9d&„ Z:d'„ Z;d(„ Z<d)„ Z=d*„ Z> G d+„ d,e?«      Z@d5d-„ZA	 d6d.„ZBd/„ ZCd0„ ZDd1„ ZEd2„ ZFd3„ ZGeHd4k(  r eG«        yy)7uÂ  ALiBi causal attention bias fine-tune of stem_ms96 (replace absolute pos).

Removes absolute `self.pos` embeddings from LogitTransformer and injects
head-specific ALiBi slopes into the FULL causal attention mask of the stem
encoder (2 layers, d=64, window 96, ms features, dilated stem kept).

NOT v3/v4 local relative-bias span 6.25s. NOT RoPE.

Init from models/stem_ms96_swa/{held-*,all5}.pt (drop `pos` key; restore
causal mask after SWA buffer avg). EMA 0.995 eval. Score LODO 5 + AASD +
Carta at HMM p_stay=0.994 scale=0.8; also report linear_hp30 on logits.

Early abort: if after EARLY_STEPS the train loss is still ~chance (â‰ˆ0.69), stop.

usage:
  STEPS=1000 BATCH=512 python stem_ms96_alibi.py
é    N)ÚDS_KEYSÚmodelsÚstem_ms96_swaÚlogit_tf_v2Ústem_ms96_alibiÚexperimentszstem_ms96_alibi.logÚresultsÚresearchzstem_ms96_alibi.jsonzb/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/results/research)ÚAASDÚ	Carta2026ÚSTEPSÚ1000ÚBATCHÚ512ÚEARLY_STEPSÚ80ÚEARLY_ABORT_LOSSz0.65g×£p=
×ï?g-Cëâ6J?g+‡ÙÎï?gš™™™™™é?Úmsé`   é@   é   Té   c                 ó   — t        | d¬«       t        j                  t        j                  j	                  t
        «      d¬«       t        t
        d«      5 }|j                  | dz   «       d d d «       y # 1 sw Y   y xY w)NT)Úflush©Úexist_okÚaÚ
)ÚprintÚosÚmakedirsÚpathÚdirnameÚLOGÚopenÚwrite)ÚtextÚfhs     ú*/root/disk_3tb/eeg-thao/stem_ms96_alibi.pyÚlog_liner*   :   sL   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ø
�‰�˜‘Ô÷ 
�‰ús   ÁA4Á4A=c                 ó   — d„ }t        j                  | «      j                  «       r || «      S dt        j                  t        j                  | «      «      z  } ||«      } |d|z  «      }||ddd…   d| |z
   z   }|S )zBPress et al. ALiBi head slopes (HuggingFace / fairseq convention).c                 óŠ   — ddt        j                  | «      dz
   z   z  }t        | «      D �cg c]
  }|||z  z  ‘Œ c}S c c}w )Ng       @é   )ÚmathÚlog2Úrange)ÚnÚstartÚis      r)   Ú
power_of_2z alibi_slopes.<locals>.power_of_2C   sI   € Ø˜#¤4§9¡9¨Q£<°!Ñ#3Ð!4Ñ4Ð5Ñ6ˆÜ.3°A¬hÓ7©h¨�˜ !™Ó$¨hÑ7Ð7ùÒ7s   ®A r   r   N)r.   r/   Ú
is_integerÚfloor)Ún_headsr4   ÚclosestÚslopesÚextras        r)   Úalibi_slopesr;   A   sƒ   € ò8ô ‡y�y�Ó×$Ñ$Ô&Ù˜'Ó"Ð"Ø”4—:‘:œdŸi™i¨Ó0Ó1Ñ1€GÙ˜Ó €FÙ�q˜7‘{Ó#€EØ�e˜A˜D˜q˜D‘kÐ"5 G¨gÑ$5Ð6Ñ6€FØ€Mó    c                 óh  — t        j                  t        | «      t         j                  ¬«      }t        j                  |t         j                  ¬«      dd…df   }t        j                  |t         j                  ¬«      ddd…f   }||z
  j                  d¬«      }|dd…ddf    |ddd…dd…f   z  S )zH(n_heads, T, T): bias[h,q,k] = -slope_h * (q - k)_+  (causal past only).)ÚdtypeNg        )Úmin)ÚtorchÚtensorr;   Úfloat32ÚarangeÚclamp)r7   Úseq_lenr9   ÚqÚkÚdists         r)   Úbuild_alibi_biasrI   P   s�   € ä�\‰\œ, wÓ/´u·}±}ÔE€FÜ�‰�W¤E§M¡MÔ2²1°d°7Ñ;€AÜ�‰�W¤E§M¡MÔ2°4º°7Ñ;€AØ�‰E�=‰=˜Sˆ=Ó!€DØ’1�d˜D�=Ñ!Ð! D¨ªq²!¨Ñ$4Ñ4Ð4r<   c                   ó0   ‡ — e Zd ZdZdˆ fd„	Zd„ Zd„ Zˆ xZS )ÚLogitTransformerALiBizLstem_ms96 LogitTransformer with absolute pos removed and ALiBi bias on attn.c                 óš  •— t         ‰| �  «        |st        d«      ‚|| _        || _        d| _        t        j                  ||| j
                  dz   |¬«      | _        t        j                  j                  | j                  j                  «       t        j                  j                  | j                  j                  «       t        j                  ||«      | _        t        j                  dD �cg c]  }t!        j"                  |d||¬«      ‘Œ c}«      | _        t        j&                  |||dz  |d	d	d
¬«      }	t        j(                  |	|d¬«      | _        t        j                  |d«      | _        t        j                  |dd¬«      | _        t        j0                  j3                  |«      }
| j5                  d|
«       | j5                  dt7        ||«      «       t        j                  j                  | j,                  j                  «       t        j                  j                  | j,                  j                  «       t        j                  j                  | j.                  j                  «       t9        j:                  «       5  d| j.                  j                  dd t=        d|«      …f<   d d d «       y c c}w # 1 sw Y   y xY w)NzALiBi script expects stem=Trueé   é   )Úgroups)rN   r   r   rM   é   )rG   ÚdilationÚdropoutr   TÚgelu)Úd_modelÚnheadÚdim_feedforwardrR   Úbatch_firstÚ
norm_firstÚ
activationF)Ú
num_layersÚenable_nested_tensor)ÚbiasÚmaskÚalibig      Ð?r   r   )ÚsuperÚ__init__Ú
ValueErrorÚwindowrU   Údw_padÚnnÚConv1dÚdwÚinitÚzeros_Úweightr\   ÚLinearÚprojÚ
ModuleListÚVÚDilatedResidualÚblocksÚTransformerEncoderLayerÚTransformerEncoderÚencÚheadÚskipÚTransformerÚgenerate_square_subsequent_maskÚregister_bufferrI   r@   Úno_gradr?   )ÚselfÚc_inrb   rT   rU   ÚnlayersrR   ÚstemÚdÚlayerr]   Ú	__class__s              €r)   r`   zLogitTransformerALiBi.__init__\   sü  ø€ Ü‰ÑÔÙÜÐ=Ó>Ð>ØˆŒØˆŒ
ØˆŒÜ—)‘)˜D $¨¯©°a©ÀÔEˆŒÜ
�‰�‰�t—w‘w—~‘~Ô&Ü
�‰�‰�t—w‘w—|‘|Ô$Ü—I‘I˜d GÓ,ˆŒ	Ü—m‘má!ó%
á!�ô ×Ñ˜g¨°QÀÖHØ!ñ%
ó ˆŒô
 ×*Ñ*Ø 5¸'ÀA¹+Ø¨¸$È6ôSˆô ×(Ñ(¨¸7ÐY^Ô_ˆŒÜ—I‘I˜g qÓ)ˆŒ	Ü—I‘I˜d A¨EÔ2ˆŒ	Ü�~‰~×=Ñ=¸fÓEˆØ×Ñ˜V TÔ*Ø×Ñ˜WÔ&6°u¸fÓ&EÔFÜ
�‰�‰�t—y‘y×'Ñ'Ô(Ü
�‰�‰�t—y‘y—~‘~Ô&Ü
�‰�‰�t—y‘y×'Ñ'Ô(Ü�]‰]�_Ø2;ˆD�I‰I×Ñ˜Q ¤# a¨£, Ð.Ñ/÷ ˆ_ùò#%
÷" ˆ_ús   Ã1 J<Ê(KËK
c                 óJ  — | j                   d |…d |…f   j                  ||¬«      }| j                  d d …d |…d |…f   j                  ||¬«      }|j                  d«      |z   }|j                  d«      j	                  |ddd«      j                  || j                  z  ||«      S )N)Údevicer>   r   éÿÿÿÿ)r]   Útor^   Ú	unsqueezeÚexpandÚreshaperU   )ry   ÚbatchÚtr�   r>   Úcausalr^   Úms           r)   Ú
_attn_maskz LogitTransformerALiBi._attn_mask{   s¦   € Ø—‘˜2˜A˜2˜r ˜r˜6Ñ"×%Ñ%¨V¸5Ð%ÓAˆØ—
‘
š1˜b˜q˜b " 1 "˜9Ñ%×(Ñ(°¸eÐ(ÓDˆà×Ñ˜QÓ %Ñ'ˆØ�{‰{˜1‹~×$Ñ$ U¨B°°BÓ7×?Ñ?ÀÈÏ
É
Ñ@RÐTUÐWXÓYÐYr<   c           	      ó  — |}|| j                  t        j                  |j                  dd«      | j                  df«      «      j                  dd«      z   }| j                  |«      }| j                  D ]
  } ||«      }Œ |j                  \  }}}| j                  |||j                  |j                  «      }| j                  ||¬«      }| j                  |«      j                  d«      | j                  |«      j                  d«      z   S )NrN   r   r   )r]   r‚   )rf   ÚFÚpadÚ	transposerc   rk   ro   Úshaper‹   r�   r>   rr   rs   Úsqueezert   )	ry   ÚxÚrawÚhÚblockÚbrˆ   Ú_Ú	attn_masks	            r)   ÚforwardzLogitTransformerALiBi.forward‚   sÙ   € ØˆØ�—‘œŸ™˜aŸk™k¨!¨QÓ/°$·+±+¸qÐ1AÓBÓC×MÑMÈaÐQRÓSÑSˆØ�I‰I�a‹LˆØ—[”[ˆEÙ�a“‰Að !à—'‘'‰ˆˆ1ˆaØ—O‘O A q¨!¯(©(°A·G±GÓ<ˆ	Ø�H‰H�Q˜YˆHÓ'ˆØ�y‰y˜‹|×#Ñ# BÓ'¨$¯)©)°C«.×*@Ñ*@ÀÓ*DÑDÐDr<   )r   r   r   gš™™™™™¹?T)Ú__name__Ú
__module__Ú__qualname__Ú__doc__r`   r‹   r™   Ú__classcell__)r   s   @r)   rK   rK   Y   s   ø„ ÙVõ<ò>Zö	Er<   rK   c                 ó
  — t        j                  d«       t        ddddd¬«      j                  | «      j	                  «       }t        j
                  ddd| ¬	«      }|j                  «       }t        j
                  dd| ¬	«      |d d …d
f<   t        j                  «       5   ||«      } ||«      }d d d «       t        j                  d d …d d
…f   d d …d d
…f   d¬«      st        d«      ‚t        d«       y # 1 sw Y   ŒJxY w)Nr   rM   é   é    r   rN   )rT   rU   r{   r   ©r�   r‚   çñhãˆµøä>)Úatolz'ALiBi transformer readout is not causalzALiBi causality check passed)r@   Úmanual_seedrK   rƒ   ÚevalÚrandnÚclonerx   ÚallcloseÚRuntimeErrorr*   )r�   Úmodelr’   Úx2Úy1Úy2s         r)   Úassert_causal_alibir¯   Ž   sÖ   € Ü	×Ñ�aÔÜ! ! R°¸1ÀaÔH×KÑKÈFÓS×XÑXÓZ€EÜ�‰�A�r˜1 VÔ,€AØ	
�‰‹€BÜ—‘˜A˜q¨Ô0€B‚qˆ"€u�IÜ	�‰�Ù�1‹XˆÙ�2‹Yˆ÷ 
ô �>‰>˜"šQ   ˜V™* bª¨C¨R¨C¨¡j°tÕ<ÜÐDÓEÐEÜÐ+Õ,÷ 
ˆús   ÂC9Ã9Dc                 ó  — | dk(  rPt         j                  j                  t        d«      }t         j                  j	                  |«      r|S t        |«      ‚t         j                  j                  t        d| › d�«      }t         j                  j	                  |«      r|S t         j                  j                  t        d| › d�«      }t         j                  j	                  |«      rt        d| › d|› �«       |S t        d| › d	|› d
|› �«      ‚)z9Prefer SWA held-*/all5; fall back to published stem_ms96.Úall5úall5.ptúheld-ú.ptzstem_ms96__held-z  SWA missing for z; falling back to zno init for z: tried z and )r    r"   ÚjoinÚSWA_DIRÚisfileÚFileNotFoundErrorÚSTEM_DIRr*   )ÚheldÚswar|   s      r)   Úresolve_initr¼   œ   s×   € àˆv‚~Ü�g‰g�l‰lœ7 IÓ.ˆÜ�7‰7�>‰>˜#ÔØˆJÜ Ó$Ð$Ü
�'‰'�,‰,”w %¨ v¨SÐ 1Ó
2€CÜ	‡w�w‡~�~�cÔØˆ
Ü�7‰7�<‰<œÐ$4°T°F¸#Ð">Ó?€DÜ	‡w�w‡~�~�dÔÜÐ% d VÐ+=¸d¸VÐDÔEØˆÜ
˜l¨4¨&°¸¸¸UÀ4À&ÐIÓ
JÐJr<   c                 óì  — t        j                  | dd¬«      }|d   \  }}}}}}}	|r.t        |«      t        k7  st        |«      dk7  st        |«      dk7  rt	        d|d   › d| › �«      ‚t        t        j                  |d	   «      j                  d
   «      }
t        |
t        |t        |d¬«      }|j                  j                  «       j                  «       }|j                  j                  «       j                  «       }|d   j                  «       D ��ci c]  \  }}|dk7  sŒ||“Œ }}}|j                  |d¬«      \  }}|D �ch c]	  }|dvsŒ|’Œ }}|rt!        dt#        |«      › �«       |rt!        dt#        |«      › �«       |j                  j%                  |«       |j                  j%                  |«       t        j&                  |j                  «      j)                  «       rt	        d| › �«      ‚|j+                  |«      }t        j                  |d	   t
        j,                  «      }t        j                  |d   t
        j,                  «      }|||t/        |d   «      fS c c}}w c c}w )NÚcpuF)Úmap_locationÚweights_onlyÚcfgr   r   zunexpected stem cfg z from Úmur   T)rT   rU   r{   r|   ÚstateÚpos)Ústrict)r^   z)  warn missing keys after drop-pos load: z  warn unexpected keys: z-causal mask still has nan after restore from ÚsdÚtrain)r@   ÚloadÚintÚWINDOWrª   ÚnpÚasarrayr�   rK   ÚNHEADr]   Údetachr¨   r^   ÚitemsÚload_state_dictr*   ÚsortedÚcopy_ÚisnanÚanyrƒ   rB   Úlist)r"   r�   ÚblobÚnameÚfamilyrb   rT   r{   r|   Ú_lrrz   ÚnetÚ	good_maskÚ
good_alibirG   ÚvrÃ   ÚmissingÚ
unexpectedrŠ   Úmiss_okrÂ   rÆ   s                          r)   Úload_alibi_from_swará   ­   s  € Ü�:‰:�d¨¸UÔC€DØ8<¸U¹Ñ5€Dˆ&�&˜' 7¨D°#á”3�v“;¤&Ò(¬C°«L¸BÒ,>Ä#ÀgÃ,ÐRSÒBSÜÐ1°$°u±+°¸fÀTÀFÐKÓLÐLÜŒr�z‰z˜$˜t™*Ó%×+Ñ+¨AÑ.Ó/€DÜ
ØŒf˜g¬U¸GÈ$ôP€Cà—‘—‘Ó!×'Ñ'Ó)€IØ—‘×!Ñ!Ó#×)Ñ)Ó+€JØ" 7™m×1Ñ1Ô3ÔBÑ3‘d�a˜°q¸E³zˆQ�‰TÐ3€EÑBØ×-Ñ-¨e¸EÐ-ÓBÑ€GˆZá!Ó9™'�Q Q¨jÒ%8Šq˜'€GÐ9ÙÜÐ<¼VÀG»_Ð<MÐNÔOÙÜÐ+¬F°:Ó,>Ð+?Ð@ÔAØ‡H�H‡N�N�9ÔØ‡I�I‡O�O�JÔÜ‡{�{�3—8‘8Ó× Ñ Ô"ÜÐJÈ4È&ÐQÓRÐRØ
�&‰&�‹.€CÜ	�‰�D˜‘J¤§
¡
Ó	+€BÜ	�‰�D˜‘J¤§
¡
Ó	+€BØ��Bœ˜T '™]Ó+Ð+Ð+ùó Cùò :s   ÄI+Ä%I+Å	I1ÅI1c                 óÄ  — t        j                  ||«      }t        j                  | ||d¬«      }||z  j	                  «       j                  d«      }||z  |z  j	                  «       |z  }| d d …dd …f   | d d …d d…f   z
  j                  «       }|d d …dd …f   |d d …d d…f   z  }	|d||	z  j	                  «       z  |	j	                  «       j                  d«      z  z   }|S )NÚnone)Ú
pos_weightÚ	reductionç      ð?rN   r‚   gš™™™™™©?)rm   Úswitch_weightsr�   Ú binary_cross_entropy_with_logitsÚsumÚ	clamp_minÚabs)
ÚlogitÚyrŠ   rä   ÚswÚbceÚdenomÚlossÚdvÚm2s
             r)   Úweighted_bcerô   Ê   sÝ   € Ü	
×	Ñ	˜!˜QÓ	€BÜ
×
,Ñ
,¨U°AÀ*ÐX^Ô
_€CØ�!‰V�L‰L‹N×$Ñ$ SÓ)€EØ�"‰H�q‰L×ÑÓ %Ñ'€DØ
’�1‘2�‰,˜šq # 2 #˜v™Ñ
&×	+Ñ	+Ó	-€BØ	
Š1ˆa‰bˆ5‰�A’a˜˜"˜�f‘IÑ	€BØ�$˜"˜r™'Ÿ™›Ñ(¨2¯6©6«8×+=Ñ+=¸cÓ+BÑBÑB€DØ€Kr<   c                 ó  — t        dt        |dz  d«      «      }||k  r||dz   z  |z  }nJ||z
  t        ||z
  d«      z  }dd|dz
  z  dt        j                  t        j                  |z  «      z   z  z   }| j
                  D ]  }||d<   Œ	 |S )Né(   é
   rN   r£   g      à?ræ   Úlr)r?   Úmaxr.   ÚcosÚpiÚparam_groups)ÚoptÚstepÚtotalÚbaseÚwarmrø   ÚpÚgroups           r)   Úset_lrr  Õ   s˜   € Üˆr”3�u ‘{ AÓ&Ó'€DØˆd‚{Ø�T˜A‘XÑ Ñ%‰à�D‰[œC ¨¡¨aÓ0Ñ0ˆØ�C˜4 $™;Ñ'¨3´·±¼$¿'¹'ÀA¹+Ó1FÑ+FÑGÑGˆØ×!Ô!ˆØˆˆdŠð "à€Ir<   c                   ó   — e Zd Zy)ÚChanceLikeAbortN)rš   r›   rœ   © r<   r)   r  r  á   s   „ Ør<   r  c
                 ó‚  — t        |j                  «       «      }
t        j                  d|
z
  t	        |
d«      z  g|¬«      }t        j
                  j                  | j                  «       t        d¬«      }t        j                  j                  t        j                  «      }t        j                  | «      j!                  «       }| j#                  «        t%        j$                  «       }d }g }t'        |«      D �]W  }t)        |||t        «       t        j*                  ||t,        |||«      \  }}}t        j.                  |«      j1                  |d¬«      }t        j.                  |«      j1                  |d¬«      }t        j.                  |«      j1                  |d¬«      }t        j2                  |«      }|j5                  d¬«        | |«      }t7        ||||«      }t        j8                  |«      st;        d	|› d
|› �«      ‚|j=                  «        t        j>                  j@                  jC                  | j                  «       d«       |jE                  «        t        jF                  | |tH        «       t        |jK                  «       «      }|tL        k  r|jO                  |«       |	rn|dz   tL        k(  rbt        t        j                  |dd  «      «      }tQ        d|› dtL        › d|d›dtR        › d�	«       |tR        k\  rtU        d|d›dtL        › d�«      ‚|dk(  s|dz   dz  dk(  s
|dz   |k(  s�Œ=tQ        d|› d|dz   › d|› d|d›�«       �ŒZ |j!                  «        t        jV                  ||t,        |||«      }tQ        d|› d|d›d|d›dt%        j$                  «       |z
  d›d �	«       |tY        ||¬!«      fS )"Nræ   gü©ñÒMbP?r¢   g-Cëâ6?)rø   Úweight_decayT)Únon_blocking)Úset_to_noneznon-finite loss at step z for rN   iØÿÿÿz    z early@z mean_loss ú.4fz (abort if >= Ú)zchance-like loss z after z stepsr   éÈ   z step Ú/z loss z
  trained z frame-acc ú.3fz (z.0fzs))rñ   Ú	frame_acc)-ÚfloatÚmeanr@   rA   rù   ÚoptimÚAdamWÚ
parametersÚLRrË   ÚrandomÚdefault_rngrm   Ú
TRAIN_SEEDÚcopyÚdeepcopyr¦   rÇ   Útimer0   r  Úsample_batchrÊ   Ú
from_numpyrƒ   ÚaugmentÚ	zero_gradrô   Úisfiniterª   Úbackwardrd   ÚutilsÚclip_grad_norm_rþ   Ú
ema_updateÚ	EMA_DECAYÚitemr   Úappendr*   r   r  Útrain_frame_accÚdict)r«   rO   Úy_allrÂ   rÆ   r�   Ústepsr‡   ÚtagÚearly_abortrÄ   rä   rý   ÚrngÚemaÚt0ÚlastÚearly_lossesrþ   ÚxbÚybÚmbr’   rí   rŠ   rì   rñ   Ú
mean_earlyÚaccs                                r)   Útrain_alibir:  å   s>  € Ü
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.´2ÀDÐ
Ó
I€CÜ
�)‰)×
Ñ
¤§¡Ó
-€CÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€CØ	‡K�K„MÜ	�‰‹€BØ€DØ€LÜ�e—ˆÜˆs�D˜%¤Ô$Ü—^‘^ C¨´¸ÀÀBÓG‰
ˆˆB�Ü×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ�I‰I�a‹LˆØ�‰ $ˆÔ'Ù�a“ˆÜ˜E 1 a¨Ó4ˆÜ�~‰~˜dÔ#ÜÐ!9¸$¸¸uÀSÀEÐJÓKÐKØ�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
Ü	�‰�U˜C¤Ô+Ü�T—Y‘Y“[Ó!ˆØ”+ÒØ×Ñ Ô%Ù˜4 !™8¤{Ò2ÜœrŸw™w |°C°DÐ'9Ó:Ó;ˆJÜ�t˜C˜5 ¬ }°KÀ
È3Ð?Oð P%Ü%5Ð$6°að9ô :àÔ-Ò-Ü%Ø'¨
°3Ð'7°w¼{¸mÈ6ÐRóTð Tà�1Š9˜ ™ SÑ(¨AÒ-°¸±¸UÔ1BÜ�t˜C˜5  t¨a¡x j°°%°¸¸tÀC¸jÐIÖJð7 ð8 ‡H�H„JÜ
×
Ñ
˜C ¬°°R¸Ó
@€CÜˆz˜#˜˜f T¨# J¨k¸#¸c¸À"ÄTÇYÁYÃ[ÐSUÑEUÐVYÐDZÐZ\Ð]Ô^Ø”˜$¨#Ô.Ð.Ð.r<   c	                 ó^  — t        | |«      \  }	}
}}	 t        |	|||
||||||¬«
      \  }}||
|||fS # t        j                  j                  $ r] |r‚ t        d|› d|› d�«       ~	|j                  dk(  rt        j                  j                  «        t        | |||||dz  ||d¬«	      cY S w xY w)	N©r/  z	  OOM on z
 at batch z; halving onceÚcudar   T)r/  Úhalved)	rá   r:  r@   r=  ÚOutOfMemoryErrorr*   ÚtypeÚempty_cacheÚfit_with_oom)Ú	init_pathrO   r,  r�   r-  r‡   r.  r/  r>  r«   rÂ   rÆ   Ú_trainr1  Ústatss                  r)   rB  rB    sÍ   € ä/°	¸6ÓBÑ€Eˆ2ˆr�6ð2Ü Ø�6˜5 " b¨&°%¸ÀØ#ô%‰
ˆˆUð �B˜˜E 5Ð(Ð(øÜ�:‰:×&Ñ&ò 	2ÙØÜ�9˜S˜E ¨E¨7°.ÐAÔBØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$ÜØ�v˜u f¨e°U¸a±ZÀØ#¨Dô2ò 	2ð	2ús   “2 ²A7B,Â+B,c                 ó  — i }| j                  «       D ]r  \  }}t        j                  t        j                  |t        j
                  «      d d …d f   «      j                  d«      j                  t        j
                  «      ||<   Œt |S )Nr‚   )rÏ   ÚV4ÚhighpassrË   rÌ   Úfloat64r†   Úastype)ÚstreamÚoutÚkeyr}   s       r)   Úhp30_streamrN  %  sg   € Ø
€CØ—,‘,–.‰ˆˆQÜ—;‘;œrŸz™z¨!¬R¯Z©ZÓ8º¸D¸ÑAÓB×JÑJÈ2ÓN×UÑUÔVX×V`ÑV`ÓaˆˆCŠð !à€Jr<   c                 ó6  — t        j                  | |||t        |«      }t        j                  |«      }t        j
                  ||t        t        «      }|D �	ci c]  }	|	t        ||	   «      “Œ }
}	t        j                  |
«      }t        j
                  ||t        t        «      }t        d|› dt        › dt        › d|d   d›d|d   d	›d
|d   d›d|d   d	›�«       t        d|› dt        › dt        › d|d   d›d|d   d	›�
«       t        ||¬«      |fS c c}	w )NzLODO ú p ú sc ú  H ÚHr  ú Acc ÚAccú.2fú L ÚLr  ú SDT ÚSDTz
LODO_hp30 ©r^   Úhp30)rm   Ú	infer_allrÊ   ÚNÚto_evÚofficialÚP_STAYÚSCALErN  r*   r+  )r«   ÚfeatrÂ   rÆ   rº   r�   ÚstreamsÚevÚoffÚdsÚhpÚev_hpÚoff_hps                r)   Ú
score_lodork  ,  s&  € Ü�k‰k˜%  r¨2¬v°vÓ>€GÜ	
�‰�Ó	€BÜ
�*‰*�T˜2œv¤uÓ
-€CÙ18Ó	9±¨2ˆ"Œk˜' "™+Ó&Ñ
&°€BÐ	9Ü�G‰G�B‹K€EÜ�Z‰Z˜˜e¤V¬UÓ3€FÜˆu�T�F˜#œf˜X T¬%¨°°S¸±X¸c°NÀ%ÈÈEÉ
ÐSVÐGWð XØ�c‘(˜3�˜u S¨¡Z°Ð$4ð6ô 7äˆz˜$˜˜s¤6 (¨$¬u¨g°T¸&À¹+ÀcÐ9JÈ%ÐPVÐW\ÑP]Ð^aÐObÐcÔdÜ�c Ô'¨Ð0Ð0ùò 
:s   ÁDc                 ó<  — g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       |D �	ci c]  }	|	t        ||	   «      “Œ }}	g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       i }t        D �]ú  }	t        j                  | |	||	   i||t         |«      |	   }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t        |«      }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t#        ||¬«      ||	<   t        d|	› dt,        › dt        › d|d   d›d|d   d›d|d   d›d|d   d›�«       t        d|	› dt,        › dt        › d|d   d›d|d   d›�
«       �Œý |S c c}	w )Nr   ræ   g      ð¿z  external emissions mu r  z sd z scale z  external hp30 emissions mu ÚattÚt_endÚatt128Ún128Úsubject)Úr0Úr1rm  rn  ro  rp  rq  g      è?r[  zEXT rP  rQ  rR  rS  rT  rU  rV  rW  rX  r  rY  rZ  z	EXT_hp30 )rÏ   r)  rË   rÌ   rI  Úwherer  Úconcatenater  Ústdr*   rb  rN  Ú
TEST_NAMESrm   r]  rÊ   r+  ÚzerosÚlenÚEÚscorera  )r«   Úfeat_extÚmetaÚmu_inÚsd_inÚcorpus_streamsÚ
corpus_attr�   Úpartsrg  ÚtableÚlabelsrM  r}   Úmu_eÚsd_eÚ	hp_corpusÚparts_hpÚmu_hpÚsd_hpÚrowsrK  re  Úmeta_kÚrÚ	stream_hpri  Úr_hps                               r)   Úscore_externalr�  9  sÜ  € Ø€EØ#×)Ñ)Ö+‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�L‰LœŸ™ A¤r§z¡zÓ2´R·X±X¸fÀS¹kÈQÑ>NÐPSÐUYÓ5ZÑZÕ[ñ $ð ,ô ”—‘ Ó&×+Ñ+Ó-Ó.€DÜ”—‘ Ó&×*Ñ*Ó,Ó-€DÜÐ'¨¨S z°°d¸3°Z¸wÄuÀgÐNÔOá?MÓN¹~¸�”[ °Ñ!3Ó4Ñ4¸~€IÐNØ€HØ—_‘_Ö&‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�O‰OœBŸJ™J q¬"¯*©*Ó5¼¿¹ÀÈÁÐPQÑAQÐSVÐX\Ó8]Ñ]Õ^ñ $ð 'ô ”"—.‘. Ó*×/Ñ/Ó1Ó2€EÜ”"—.‘. Ó*×.Ñ.Ó0Ó1€EÜÐ,¨U°3¨K°t¸EÀ#¸;ÀgÌeÈWÐUÔVà€DßˆjˆÜ—‘˜U R¨°"©Ð$6¸¸uÄfÈfÓUÐVXÑYˆØˆØ—l‘l–n‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ˜a¤B§H¡H¬S°«VÓ$4¸&À¹-ÈvÐV]ÉØ"(¨Ñ"2¸À¹ÐQWÐXaÑQbôdˆBˆsŠGð %ô
 �G‰G�B˜˜d¤U™l¬F°DÓ9ˆÜ Ó'ˆ	ØˆØ—o‘oÖ'‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ ¤r§x¡x´°A³Ó'7¸VÀE¹]ÐRXÐY`ÑRaØ%+¨HÑ%5¸FÀ6¹NÐTZÐ[dÑTeôgˆE�#ŠJð (ô
 �w‰w�u˜e U¬U¡]´F¸DÓAˆÜ˜a dÔ+ˆˆR‰Ü�4˜�t˜3œv˜h d¬5¨'°°a¸±f¸S°\ÀÀqÈÁxÐPSÀnð UØ˜‘f˜S�\  q¨¡x° nð6ô 	7ä�9˜R˜D ¤F 8¨4´¨w°d¸4À¹9ÀS¸/ÈÈtÐTYÉ{Ð[^ÐN_Ð`Öað) ð* €KùòA Os   Ã?Pc                  ó¤  — t         j                  j                  dg d¢¬«       i i }} t        D �]Š  }g }t	        d«      D ]f  }t
        j                  j                  t        d|› d|› d�«      }t        |d«      5 }|j                  t        j                  |«      «       d d d «       Œh i i c| |<   ||<   |d	   D ]à  }|D �cg c]0  }||   d
   ||   d   z
  j                  t        j                  «      ‘Œ2 }	}|d	   |   }
t        j                   |	d«      | |   |<   t#        t        j$                  |
d   «      t        j$                  |
d   t        j&                  «      t        j$                  |
d   «      t)        |
d   «      t)        |
d   «      ¬«      ||   |<   Œâ t+        d|› dt-        | |   «      › d�«       �Œ� | |fS # 1 sw Y   �Œ‹xY wc c}w )NÚ
eaP_n5_t60)ÚenvÚonsetÚdom)ÚprepÚtargetsr   Úext_clf_Ú_w10b3sw2P_evidence_sz.pklÚrbr   rr  rs  rN   rm  rn  ro  rp  rq  )rm  rn  ro  rp  rq  z  external z: z trials)rz  ÚCONFÚupdaterw  r0   r    r"   rµ   ÚEVIDr%   r)  ÚpicklerÈ   rJ  rË   rB   Ústackr+  rÌ   rI  rÉ   r*   ry  )Úlogitsr}  rg  Úevsr3   r"   r(   rM  re  ÚcolsÚe0s              r)   Úload_externalr¤  f  sª  € Ü‡F�F‡M�M�|Ò-D€MÔEØ�rˆD€FßˆjˆØˆÜ�q–ˆAÜ—7‘7—<‘<¤¨°°Ð4IÈ!ÈÈDÐ&QÓRˆDÜ�d˜DÔ! RØ—
‘
œ6Ÿ;™; r›?Ô+÷ "Ð!ð ð  " 2Ðˆˆr‰
�D˜‘HØ�q”6ˆCÙQTÓUÑQTÈ2�R˜‘W˜T‘] R¨¡W¨T¡]Ñ2×:Ñ:¼2¿:¹:ÕFÐQTˆDÐUØ�Q‘˜‘ˆBÜ Ÿh™h t¨QÓ/ˆF�2‰J�s‰OÜ Ü—J‘J˜r %™yÓ)´·±¸B¸w¹KÌÏÉÓ1TÜ—z‘z " X¡,Ó/´c¸"¸V¹*³oÌsÐSUÐV_ÑS`ÓOaôcˆD�‰H�SŠMð	 ô 	�;˜r˜d "¤S¨°©£_Ð$5°WÐ=Ö>ð ð �4ˆ<Ð÷ "Ñ!üò Vs   Á9%G Â?5GÇ G
c                  ó\  — t        j                  t         j                  j                  t        «      d¬«       t        t        d«      j                  «        t        j                  t        j                  j                  «       rdnd«      } t        t        «      }t        d| › dt        › dt        › d	t         › d
|› dt"        › dt$        › �«       dt        j&                  j                  j(                  _        dt        j&                  j,                  _        t/        | «       t1        j2                  «        t5        j6                  «       d   }t        j                  t8        d¬«       i }t;        t<        «      D �]-  \  }}t?        |«      }t<        D �cg c]
  }||k7  sŒ	|‘Œ }}t5        j@                  ||«      \  }	}
t        d|› d|› �«       	 tC        ||	|
| t        t        d|› �|dk(  ¬«      \  }}}}}t        jT                  |jW                  «       ||||t        ||tX        |dœ
t         j                  j[                  t8        d|› d�«      «       t]        |||||| «      \  }}tG        |||¬«      ||<   ~| j^                  dk(  s�Œt        j                  ja                  «        �Œ0 t?        d«      }t        d|› �«       t5        j@                  |tc        t<        «      «      \  }	}
tC        ||	|
| t        t        dd¬«      \  }}}}}t        jT                  |jW                  «       |||tc        t<        «      t        ||tX        |dœ
t         j                  j[                  t8        d«      «       t5        jd                  ||||tf        | «      }ti        «       \  }}tk        jl                  |«      d   }to        ||||||t0        jp                  d   | «      }tQ        ts        jt                  t<        D �cg c]  }||   d    d!   d"   ‘Œ c}«      «      }tQ        ts        jt                  t<        D �cg c]  }||   d    d!   d#   ‘Œ c}«      «      }t        d$|d%›d&|d'›�«       tG        tv        tx        t        t        |t<        D �ci c]  }|||   d    “Œ c}t<        D �ci c]  }|||   d(   “Œ c}tG        ||¬)«      ||¬*«
      }t        j                  t         j                  j                  tJ        «      d¬«       t        tJ        d«      5 }tM        jN                  ||dtP        ¬«       d d d «       t        d+tJ        › �«       y c c}w # tD        $ r¹}t        d|› �«       tG        dtI        |«      |¬«      }t        j                  t         j                  j                  tJ        «      d¬«       t        tJ        d«      5 }tM        jN                  ||dtP        ¬«       d d d «       tS        d«      ‚# 1 sw Y   tS        d«      ‚xY wd }~ww xY wc c}w c c}w c c}w c c}w # 1 sw Y   ŒúxY w),NTr   Úwr=  r¾   zdevice z steps z batch z EMA z ALiBi slopes z early_abort@z>=r   zfold held-out=z init r³   r   r<  zABANDONED: )Ú	abandonedÚreasonrº   rN   )ÚindentÚdefaultr   )
rÃ   rÂ   rÆ   rg   rÇ   r-  r‡   rE  rÁ   r;   r´   )ÚscoresrE  r‡   r±   z/all-5 ALiBi fine-tune for AASD and Carta, init Fr²   rm  r«  r^   rS  rU  zLODO mean H r  rT  rV  rE  )rS  rU  )
Úp_stayÚscaler-  r‡   r;   ÚlodoÚ
lodo_statsÚ	lodo_meanÚexternalÚ
all5_statszwrote )=r    r!   r"   r#   r$   r%   Úcloser@   r�   r=  Úis_availabler;   rÍ   r*   r   r   r'  r   r   ÚbackendsÚmatmulÚ
allow_tf32Úcudnnr¯   r^  Úload_allrm   Úbuild_featuresÚCKPT_DIRÚ	enumerater   r¼   Útrial_groupsrB  r  r+  ÚstrÚOUTÚjsonÚdumpr  Ú
SystemExitÚsaveÚ
state_dictÚCFGrµ   rk  r@  rA  rÕ   r]  rÊ   r¤  rG  Úbuild_features_fromr�  ÚGrË   r  ra  rb  )r�   r9   Úfeat_allÚperr3   rº   r"   r}   Útrain_dsrO   r,  r1  rÂ   rÆ   ÚusedrE  ÚexcrL  r(   r«  Ú_streamsÚall_pathr€  Ú
ext_logitsÚext_metaÚext_featÚextÚmean_hÚmean_accs                                r)   ÚmainrÕ  {  s  € Ü‡K�K”—‘—‘¤Ó$¨tÕ4ÜŒˆcƒN×ÑÔÜ�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜœ%Ó €FÜˆw�v�h˜g¤e W¨G´E°7¸%Ä	¸{ð KØ#˜H M´+°¸bÔAQÐ@RðTô Uà,0„E‡N�N×Ñ×ÑÔ)Ø&*„E‡N�N×ÑÔ#Ü˜ÔÜ‡J�J„LÜ×ÑÓ! $Ñ'€HÜ‡K�K” 4Õ(à
€CÜœW×%‰ˆˆ4Ü˜DÓ!ˆÝ&Ó4™w˜!¨!¨t«)’A˜wˆÐ4ÜŸ™ x°Ó:‰ˆ�Ü�> $  v¨d¨VÐ4Ô5ð
	 Ü'3Ø�f˜e V¬U´E¸UÀ4À&¸>Ø !™Vô(&Ñ$ˆC��R˜˜uô 	�
‰
˜SŸ^™^Ó-°R¸rÈ4Ø%´ÀØ"¬3ÀñHô —7‘7—<‘<¤¨E°$°°sÐ*;Ó<ô	>ô & c¨8°R¸¸TÀ6ÓJÑˆ�Ü ¨e¸4Ô@ˆˆD‰	ØØ�;‰;˜&Ô Ü�J‰J×"Ñ"Ö$ð1 &ô4 ˜FÓ#€HÜÐ>¸x¸jÐIÔJÜ—N‘N 8¬T´'«]Ó;�M€FˆEÜ+Ø�&˜% ¬´°vÈ5ô RÑ€CˆˆR��uä	‡J�J˜Ÿ™Ó)°¸2ÀxÜœg›´ÀØ¤s¸FñDô �w‰w�|‰|œH iÓ0ô2ô —[‘[  h°°B¼ÀÓG€NÜ(›?Ñ€J�Ü×%Ñ% jÓ1°$Ñ7€HÜ
˜˜h¨°"°b¸.Ì!Ï#É#ÈeÉ*ÐV\Ó
]€Cä”2—7‘7ÅGÓLÁG¸q˜C ™F 8Ñ,¨WÑ5°cÓ:ÀGÑLÓMÓN€FÜ”R—W‘WÍÓPÉÀ1˜c !™f XÑ.¨wÑ7¸Ó>ÈÑPÓQÓR€HÜˆ|˜F 3˜< u¨X°c¨NÐ;Ô<ä
ÜœU¬%´uØÝ+2Ó3©7 aˆa��Q‘˜Ñ!Ñ!¨7Ñ3Ý07Ó8±¨1�A�s˜1‘v˜g‘Ñ&°Ñ8Ü˜ XÔ.ØØô€Cô ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ü�	‰	�#�r !¬UÕ3÷ 
äˆv”c�Uˆ^Õùòm 5øô ò 	 Ü�{ 3 %Ð(Ô)Ü ¬c°#«h¸TÔBˆCÜ�K‰KœŸ™Ÿ™¬Ó,°tÕ<Ü”c˜3” 2Ü—	‘	˜#˜r¨!´UÕ;÷  ä˜Q“-Ð÷  ä˜Q“-Ðþð	 üò> MùÚPùò 4ùÚ8÷ 
ˆúsa   Æ
UÆUÇ'U	Ï2XÐ.XÒXÒXÔX"Õ		XÕA-XÖ?W0×X×0X×5XØXØ"X+Ú__main__)F)FF)Ir�   r  rÀ  r.   r    rž  r  ÚnumpyrË   r@   Útorch.nnrd   Útorch.nn.functionalÚ
functionalr�   Úensemble_clf_nestedr^  Úensemble_clf_transformer_v2rm   Úensemble_clf_transformer_v4rG  Úeval_externalrz  Úcommonr   r"   r#   ÚabspathÚ__file__ÚEXPrµ   r¶   r¹   r»  r$   r¿  r�  rw  rÉ   ÚenvironÚgetr   r   r   r  r   r'  r  ra  rb  rÅ  rÊ   rÍ   r*   r;   rI   ÚModulerK   r¯   r¼   rá   rô   r  rª   r  r:  rB  rN  rk  r�  r¤  rÕ  rš   r  r<   r)   Ú<module>ræ     sø  ðñó" Û Û Û 	Û Û ã Û Ý ß Ð ã Û 'Û (Û Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø
�'‰'�,‰,�s˜H oÓ
6€Ø�7‰7�<‰<˜˜X }Ó5€Ø�7‰7�<‰<˜˜XÐ'8Ó9€Ø‡g�g‡l�l�3˜Ð'<Ó=€Ø‡g�g‡l�l�3˜	 :Ð/EÓF€Øk€Ø"€
áˆB�J‰J�N‰N˜7 FÓ+Ó,€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€Ù�"—*‘*—.‘. °Ó5Ó6€Ù˜Ÿ™Ÿ™Ð(:¸FÓCÓDÐ Ø€	Ø	€Ø	€Ø€Ø˜$  B¨¨4°Ð4€Ø	€Ø	€òòò5ô2E˜BŸI™Iô 2Eòj-òKò",ò:ò	ô	�lô 	ó)/ðZ ,1ó2ò(ò
1ò*òZò*GðT ˆzÒÙ…Fð r<   