Ë
    zîjI9  ã                  óz  — d Z ddlmZ ddlZddlZddlZddlZddlZddlZ	ddl
Z
ddlmZ ddlmc mZ ddlZddlZddlZddlZddlZddlmZ ej8                  j;                  ej8                  j=                  e«      «      Z dZ!ej8                  jE                  e ddde!«      Z#ej8                  jE                  e d	d
d«      Z$ej8                  jE                  e d	d
d«      Z%ej8                  jE                  e dd«      Z& e'ejP                  jS                  dd«      «      Z* e'ejP                  jS                  dd«      «      Z+ e'ejP                  jS                  dd«      «      Z, e'ejP                  jS                  dd«      «      Z-ejP                  jS                  dd«      dk(  Z.dZ/dZ0 G d„ dejb                  «      Z2 G d„ dejb                  «      Z3d,d „Z4d-d!„Z5d.d"„Z6	 	 	 	 	 	 	 	 	 	 d/d#„Z7d0d$„Z8 e
jr                  «       	 	 	 	 	 	 	 	 	 	 d1d%„«       Z:d2d&„Z;	 	 	 	 	 	 	 	 	 	 d3d'„Z<d4d(„Z=d4d)„Z>d5d*„Z?e@d+k(  r e?«        yy)6zÓT2 ESR-stem: exactly odd, position-free, schedule-resynthesised stem.

The model is odd by construction, uses replicate causal padding, has no
position embedding, and never samples zero-padded training windows.
é    )ÚannotationsN)ÚDS_KEYSÚt2_esr_20261106ÚexperimentsÚmulti_agent_optÚrunsÚresultsÚresearchzstem_esr_smoke.jsonzstem_esr.jsonÚmodelsÚstem_esrÚWINDOWÚ96ÚSTEPSÚ200ÚBATCHÚ256ÚK_COPIESÚ2ÚFULLÚ0Ú1g-Cëâ6J?ç      @c                  ó*   ‡ — e Zd Zddˆ fd„Zdd„Zˆ xZS )ÚRepDilatedResidualc                óB  •— t         ‰| �  «        d|z  | _        t        j                  ||d|d¬«      | _        t        j                  |«      | _        t        j                  |«      | _	        t        j                  j                  | j
                  j                  «       y )Né   é   F)ÚdilationÚbias)ÚsuperÚ__init__ÚpadÚnnÚConv1dÚconvÚ	LayerNormÚnormÚDropoutÚdropÚinitÚzeros_Úweight)ÚselfÚdr   ÚdropoutÚ	__class__s       €ústem_esr.pyr!   zRepDilatedResidual.__init__*   sj   ø€ Ü‰ÑÔØ�x‘<ˆŒÜ—I‘I˜a  A°¸uÔEˆŒ	Ü—L‘L “OˆŒ	Ü—J‘J˜wÓ'ˆŒ	Ü
�‰�‰�t—y‘y×'Ñ'Õ(ó    c                ó  — |j                  dd«      }t        j                  || j                  dfd¬«      }| j                  |«      j                  dd«      }|| j	                  t        j
                  | j                  |«      «      «      z   S )Né   é   r   Ú	replicate©Úmode)Ú	transposeÚFr"   r%   r)   Úgelur'   )r-   ÚxÚhs      r1   ÚforwardzRepDilatedResidual.forward2   sk   € Ø�K‰K˜˜1ÓˆÜ�E‰E�!�d—h‘h �]¨Ô5ˆØ�I‰I�a‹L×"Ñ" 1 aÓ(ˆØ�4—9‘9œQŸV™V D§I¡I¨a£LÓ1Ó2Ñ2Ð2r2   )çš™™™™™¹?)r.   Úintr   r@   r/   Úfloat©r<   útorch.TensorÚreturnrC   )Ú__name__Ú
__module__Ú__qualname__r!   r>   Ú__classcell__©r0   s   @r1   r   r   )   s   ø„ ö)÷3r2   r   c                  ó2   ‡ — e Zd Zddˆ fd„Zdd„Zdd„Zˆ xZS )ÚOddStemc           
     ó6  •— t         ‰| �  «        || _        t        j                  ||d|d¬«      | _        t        j                  j                  | j
                  j                  «       t        j                  ||d¬«      | _
        t        j                  dD �cg c]  }t        ||¬«      ‘Œ c}«      | _        t        j                  |dd|z  d	d
d
dd¬«      }t        j                  ||d¬«      | _        t        j                  |dd¬«      | _        t        j                  |dd¬«      | _        | j'                  dt        j(                  j+                  |«      «       t        j                  j                  | j"                  j                  «       t        j                  j                  | j$                  j                  «       t-        j.                  «       5  d| j$                  j                  dd t1        d|«      …f<   d d d «       y c c}w # 1 sw Y   y xY w)Né	   F)Úgroupsr   )r   )r4   r5   r   é   )r   r   r5   r?   Tr;   )Úd_modelÚnheadÚdim_feedforwardr/   Úbatch_firstÚ
norm_firstÚ
activationr   )Ú
num_layersÚenable_nested_tensorr4   Úmaskg      Ð?r   )r    r!   Úwindowr#   r$   Údwr*   r+   r,   ÚLinearÚprojÚ
ModuleListr   ÚblocksÚTransformerEncoderLayerÚTransformerEncoderÚencÚheadÚskipÚregister_bufferÚTransformerÚgenerate_square_subsequent_maskÚtorchÚno_gradÚmin)r-   Úc_inrY   r.   ÚlayersÚqÚlayerr0   s          €r1   r!   zOddStem.__init__:   s‰  ø€ Ü‰ÑÔØˆŒÜ—)‘)˜D $¨°$¸UÔCˆŒÜ
�‰�‰�t—w‘w—~‘~Ô&Ü—I‘I˜d A¨EÔ2ˆŒ	Ü—m‘mÙ8DÓE¹°1Ô ¨AÖ.¸ÑEó
ˆŒô ×*Ñ*Ø˜Q°°A±¸sØ¨¸&Àuô
ˆô ×(Ñ(Ø˜f¸5ô
ˆŒô —I‘I˜a ¨Ô/ˆŒ	Ü—I‘I˜d A¨EÔ2ˆŒ	Ø×ÑØ”B—N‘N×BÑBÀ6ÓJô	
ô 	�‰�‰�t—y‘y×'Ñ'Ô(Ü
�‰�‰�t—y‘y×'Ñ'Ô(Ü�]‰]�_Ø26ˆD�I‰I×Ñ˜Q ¤# a¨£, Ð.Ñ/÷ ˆ_ùò! F÷  ˆ_ús   ÂH
Ç(HÈHc                ó®  — |}t        j                  |j                  dd«      dd¬«      }|| j                  |«      j                  dd«      z   }| j	                  |«      }| j
                  D ]
  } ||«      }Œ | j                  || j                  ¬«      }| j                  |«      j                  d«      | j                  |«      j                  d«      z   S )Nr4   r5   )rO   r   r6   r7   )rX   éÿÿÿÿ)r:   r"   r9   rZ   r\   r^   ra   rX   rb   Úsqueezerc   )r-   r<   Úrawr=   Úblocks        r1   Ú_gz
OddStem._gT   s®   € ØˆÜ�E‰E�!—+‘+˜a Ó# V°+Ô>ˆØ�—‘˜“
×$Ñ$ Q¨Ó*Ñ*ˆØ�I‰I�a‹LˆØ—[”[ˆEÙ�a“‰Að !à�H‰H�Q˜TŸY™YˆHÓ'ˆØ�y‰y˜‹|×#Ñ# BÓ'¨$¯)©)°C«.×*@Ñ*@ÀÓ*DÑDÐDr2   c                óŒ   — t        j                  || gd¬«      }| j                  |«      j                  d«      \  }}d||z
  z  S )Nr   )Údimr5   ç      à?)rg   Úcatrs   Úchunk)r-   r<   ÚbothÚposÚnegs        r1   r>   zOddStem.forward^   sC   € Ü�y‰y˜!˜a˜R˜ aÔ(ˆØ—7‘7˜4“=×&Ñ& qÓ)‰ˆˆSØ�c˜C‘iÑ Ð r2   )é@   r5   )rj   r@   rY   r@   r.   r@   rk   r@   rB   )rE   rF   rG   r!   rs   r>   rH   rI   s   @r1   rK   rK   9   s   ø„ ö7ó4E÷!r2   rK   c                óê  — t        j                  | t         j                  «      } dt        j                  d«      z
  }t	        j
                  | d«      }| t	        j                  | |«      z
  }t	        j
                  | d«      }t        j                  | «      }| dd  | d d z
  |dd  t        j                  | d«      }t        j                  | |||||gd¬	«      j                  t         j                  «      S )
Nç      ð?ga¿Úhp60Úz60r   éüÿÿÿrO   r4   ©Úaxis)ÚnpÚasarrayÚfloat64ÚexpÚNÚxform_arrayÚema_2dÚ
zeros_likeÚVÚcausal_meanÚconcatenateÚastypeÚfloat32)r.   Úalpha120Úh60Úh120r€   ÚslopeÚmean2s          r1   Úms_features_oddr–   d   sÄ   € Ü
�
‰
�1”b—j‘jÓ!€AØ”R—V‘V˜MÓ*Ñ*€HÜ
�-‰-˜˜6Ó
"€CØŒq�x‰x˜˜8Ó$Ñ$€DÜ
�-‰-˜˜5Ó
!€CÜ�M‰M˜!Ó€EØ�!�"�˜˜#˜2˜‘€Eˆ!ˆ"€IÜ�M‰M˜!˜QÓ€EÜ�>‰>˜1˜c 4¨¨e°UÐ;À!ÔD×KÑKÌBÏJÉJÓWÐWr2   c                ó–  — t        | «      }t        j                  |t        j                  «      }t        j                  |t        j                  «      }t	        |j                  ddg«      «      }d}||d d  ||k  �r7|j                  «       dk  r|j                  dd«      }nKt        j                  |j                  t        j                  d«      t        j                  d«      «      «      }t        ||t        dt        t        |t        z  «      «      «      z   «      }|dkD  rd	nd
||| |||| |dkD  rrt        ||z
  t        dt        t        |j                  dd«      t        z  «      «      «      «      }	| }
t        j                  |
||	t        j                  ¬«      ||||	z    |}| }||k  r�Œ7t!        | |d d …d f   z  «      |fS )Nro   r4   r   rv   g      >@g     €V@r   g      D@r~   g        g      @)Údtype)Úlenr„   Úemptyr�   rA   ÚchoiceÚrandomÚuniformr‡   Úlogri   Úmaxr@   ÚroundÚFSÚlinspacer–   )Ú	d_alignedÚrngÚnrl   ÚyÚsignÚstartÚdwell_sÚendÚrampÚolds              r1   Úresynthr­   p   s€  € ÜˆI‹€AÜ
�‰�”B—J‘JÓ€AÜ
�‰�”B—J‘JÓ€AÜ�—‘˜R ˜GÓ$Ó%€DØ€EØ€A�a€DØ
�!‹)Ø�:‰:‹<˜#ÒØ—k‘k $¨Ó-‰Gä—f‘f˜SŸ[™[¬¯©°«´b·f±f¸T³lÓCÓDˆGÜ�!�UœS ¤C¬¨g¼©lÓ(;Ó$<Ó=Ñ=Ó>ˆØ" Qšh‘s¨Cˆˆ%�ˆØˆˆ%�ˆØ�1Š9Ü�s˜U‘{¤C¨¬3¬u°S·[±[ÀÀcÓ5JÌRÑ5OÓ/PÓ+QÓ$RÓSˆDØ�%ˆCÜ$&§K¡K°°T¸4ÄrÇzÁzÔ$RˆAˆe�E˜D‘LÐ!ØˆØˆuˆð �!Œ)ô ˜9 qª¨D¨¡zÑ1Ó2°AÐ5Ð5r2   c                ó  — t         j                  j                  t        j                  dz   «      }g g g }}}| D �]Ÿ  }g }t
        j                  d   d   |   j                  «       D ]Þ  \  }}	t        j                  t
        j                  d   |   |   «      }
t        j                  |	t         j                  «      t        j                  |
dk(  dd«      d d …d f   z  }t        |«      D ]Y  }t        ||«      \  }}t        |«      t        k\  sŒ%|j                  ||f«       |j                  |«       |j                  |«       Œ[ Œà t        j                   |D ��cg c]  \  }}t        |«      t        z
  dz   ‘Œ c}}t         j"                  «      }|j                  t%        ||t'        |j)                  «       «      t        j*                  |«      ¬	«      «       �Œ¢ t        j,                  |«      }t        j.                  t        j0                  t        j2                  |j5                  t         j6                  «      d
z  d¬«      d«      «      }|t        j,                  |«      |j5                  t         j                  «      fS c c}}w )Nid  ÚbaseÚidÚattr   r~   ç      ð¿r4   )ÚtrialsÚlengthsÚtotalÚendsr5   r‚   g:Œ0âŽyE>)r„   rœ   Údefault_rngrŒ   Ú
TRAIN_SEEDrˆ   ÚGÚitemsr…   r�   ÚwhereÚranger­   r™   r   ÚappendÚarrayÚint64Údictr@   ÚsumÚcumsumrŽ   ÚsqrtÚmaximumÚmeanr�   r†   )ÚdatasetsÚcopiesr¤   rN   ÚysÚall_xÚdsr³   ÚkeyÚd0r±   ÚalignedÚ_r<   r¦   r´   Úcat_xÚsds                     r1   Úbuild_groupsrÑ   ˆ   sß  € Ü
�)‰)×
Ñ
¤§¡¨sÑ 2Ó
3€CØ˜B �ˆB€FÜˆØˆÜ—s‘s˜6‘{ 4Ñ(¨Ñ,×2Ñ2Ö4‰GˆC�Ü—*‘*œQŸS™S ™Z¨™^¨CÑ0Ó1ˆCÜ—j‘j ¤R§Z¡ZÓ0´2·8±8¸CÀ1¹HÀcÈ4Ó3PÒQRÐTXÐQXÑ3YÑYˆGÜ˜6–]�Ü˜w¨Ó,‘��1Ü�q“6œVÓ#Ø—M‘M 1 a &Ô)Ø—L‘L ”OØ—I‘I˜a•Lñ #ð 5ô —(‘(¹FÔC¹F±D°A°qœC ›F¤V™O¨aÓ/¸FÒCÄRÇXÁXÓNˆØ�‰Ü˜¨´s¸7¿;¹;»=Ó7IÜ—i‘i Ó(ô*ö	
ð ô  �N‰N˜5Ó!€Eä	�‰”—‘œBŸG™G E§L¡L´·±Ó$<ÀÑ$AÈÔJÈDÓQÓ	R€BØ”2—>‘> "Ó% r§y¡y´·±Ó'<Ð<Ð<ùó Ds   ÅJc                óÂ  — |d   d   d   d   j                   d   }t        j                  |t        |ft        j                  «      }t        j                  |t        ft        j                  «      }t        |«      D ]Þ  \  }}t        j                  t        j                  |«      t        |«      z  |k(  «      }	| j                  d|d   t        |	«      ¬«      }
t        j                  |d   |
d¬«      }|
|d   |d	   z
  |   z
  }t        |	||«      D ]F  \  }}}|d   t        |«         \  }}t        |«      }|||t        z    |z  ||<   |||t        z    ||<   ŒH Œà ||fS )
Nr   r³   r4   rµ   )Úsizer¶   Úright)Úsider´   )Úshaper„   rš   r   r�   Ú	enumerateÚflatnonzeroÚaranger™   ÚintegersÚsearchsortedÚzipr@   )r¤   rN   ÚbatchrÐ   ÚcÚxoÚyoÚgiÚgÚrowsÚpickÚwhichÚlocalÚrowÚtiÚpr<   r¦   r¨   s                      r1   Úsample_batchrê   ¡   sP  € ð 	ˆq‰	�(Ñ˜AÑ˜qÑ!×'Ñ'¨Ñ*€AÜ	�‰�5œ& !Ð$¤b§j¡jÓ	1€BÜ	�‰�5œ&�/¤2§:¡:Ó	.€BÜ˜6Ö"‰ˆˆAÜ�~‰~œbŸi™i¨Ó.´°V³Ñ<ÀÑBÓCˆØ�|‰|˜A˜q ™z´°D³	ˆ|Ó:ˆÜ—‘  &¡	¨4°gÔ>ˆØ˜˜&™	 A i¡LÑ0°%Ñ8Ñ8ˆÜ˜d E¨5Ö1‰JˆC��QØ�X‘;œs 2›wÑ'‰DˆAˆqÜ˜“FˆEØ˜˜e¤f™nÐ-°Ñ2ˆBˆs‰GØ˜˜e¤f™nÐ-ˆBˆsŠGñ	 2ð #ð ˆrˆ6€Mr2   c                ó|  — | j                  «        t        j                  dt        d|¬«      }t        j                  «       5   | |«      } | | «      }d d d «       t        z   j                  «       j                  «       «      }|dk\  rt        d|› �«      ‚t        j                  «       5  t         | |«      d d …df   dkD   | |j                  «       «      d d …df   dkD  k(  j                  «       j                  «       «      }d d d «       dk  rt        d	|› �«      ‚||d
œS # 1 sw Y   ŒÓxY w# 1 sw Y   Œ-xY w)NrO   é   )Údevicegñhãˆµøä>zodd gate failed: ro   r   g®Gáz®ï?zposition gate failed: )Úmax_abs_f_x_plus_f_neg_xÚposition_agreement)Úevalrg   Úrandnr   rh   rA   ÚabsrŸ   ÚRuntimeErrorÚclonerÅ   )Úmodelrí   r<   ÚaÚbÚodd_errÚ	agreements          r1   Úgatesrú   ´   s  € Ø	‡J�J„LÜ�‰�A”v˜r¨&Ô1€AÜ	�‰�Ù�!‹HˆÙ�1�"‹Iˆ÷ 
ô �Q˜‘U—K‘K“M×%Ñ%Ó'Ó(€GØ�$‚ÜÐ.¨w¨iÐ8Ó9Ð9ô 
�‰�Ü™E !›H¢Q¨ U™O¨aÑ/±U¸1¿7¹7»9Ó5EÂaÈÀeÑ5LÈqÑ5PÑQ×XÑXÓZ×_Ñ_ÓaÓbˆ	÷ 
à�4ÒÜÐ3°I°;Ð?Ó@Ð@Ø(/ÀyÑQÐQ÷ 
ˆú÷ 
ˆús   ÁD&Â-AD2Ä&D/Ä2D;c           
     ó�  — | j                  «        i }t        j                  |j                  ddd«      «      }|j	                  «       D �]y  \  }}i ||<   |j	                  «       D �]Z  \  }}	|	j
                  \  }
}t        j                  |	d d t        dz
  d¬«      j                  t        dz
  |«      }t        j                  t        j                  ||	gd¬«      «      }g }t        d|
d«      D ]–  }|||dz   t        z   dz
   }|j                  dt        d«      j                  ddd«      j                  «       }|j                   | ||z  j                  |«      «      d d …df   j!                  «       j#                  «       «       Œ˜ t        j                  |«      j%                  t        j&                  «      ||   |<   �Œ] �Œ| |S )Nr4   ro   r   r‚   é   r5   )rð   rg   Ú
from_numpyÚreshaperº   rÖ   r„   Úrepeatr   rŽ   r¼   ÚunfoldÚpermuteÚ
contiguousr½   ÚtoÚcpuÚnumpyr�   r†   )rõ   ÚfeatrÐ   rí   ÚoutÚsd_trÊ   ÚtablerË   r<   ÚtrÞ   r"   ÚxpÚpiecesÚiÚslÚwindowss                     r1   Úinfer_all_replicater  Æ   s~  € ð 
‡J�J„LØ
€CÜ×Ñ˜BŸJ™J q¨!¨RÓ0Ó1€DØ—Z‘Z—\‰	ˆˆEØˆˆB‰Ø—k‘k—m‰FˆC�Ø—7‘7‰DˆAˆqÜ—)‘)˜A˜b˜q˜E¤6¨A¡:°AÔ6×>Ñ>¼vÈ¹zÈ1ÓMˆCÜ×!Ñ!¤"§.¡.°#°q°ÀÔ"BÓCˆBØˆFÜ˜1˜a Ö&�Ø˜˜!˜d™(¤VÑ+¨aÑ/Ð0�ØŸ)™) A¤v¨qÓ1×9Ñ9¸!¸QÀÓB×MÑMÓO�Ø—‘™e W¨t¡^×$7Ñ$7¸Ó$?Ó@ÂÀBÀÑG×KÑKÓM×SÑSÓUÕVð 'ô Ÿ>™>¨&Ó1×8Ñ8¼¿¹ÓDˆC�‰G�C‹Lò $ð "ð €Jr2   c                ót	  — |€t        t        «      nt        D �cg c]
  }||k7  sŒ	|‘Œ c}}t        |t        «      \  }}}t	        j
                  t        j                  «       t        dt        «      j                  | «      }t        j                  |«      j                  «       }t        j                  j                  |j!                  «       t"        d¬«      }	t$        j&                  j)                  t        j                  «      }
t+        j*                  «       }t-        d«      }|j/                  «        t1        t2        «      D �]ò  }t        j4                  |	|t2        t"        «       t7        |
|t8        |«      \  }}t	        j:                  |«      j                  | «      }t	        j:                  |«      j                  | «      } |t        j<                  |«      «      }t	        j>                  |«      }t        j@                  ||«      }tC        jD                  ||d¬«      }||z  jG                  «       }|d|d d …dd …f   |d d …d d	…f   z
  jI                  «       jG                  «       z  z  }|	jK                  d
¬«       |jM                  «        t        jN                  jP                  jS                  |j!                  «       d«       |	jU                  «        t        jV                  ||d«       t-        |«      }|dk(  s|dz   dz  dk(  s|dz   t2        k(  s�ŒÕtY        d|dz   › dt2        › d|d›�d
¬«       �Œõ |j                  «        t7        t$        j&                  j)                  d«      |d|«      \  }}t	        jZ                  «       5   |t	        j:                  |«      j                  | «      «      d d …d	f   dkD  }d d d «       t-        j]                  «       j_                  «       |d d …d	f   dkD  k(  jG                  «       «      }ta        || «      }t        jb                  «       d   }te        |||| «      }|€d n*tg        jh                  |tg        jj                  |«      dd«      }tl        d|xs dt2        t8        t        ||||t+        j*                  «       |z
  ddœ}||||fS c c}w # 1 sw Y   ŒîxY w)Nrì   g-Cëâ6?)ÚlrÚweight_decayÚnanÚnone)Ú	reductiongš™™™™™©?r4   ro   T)Úset_to_noner~   g×£p=
×ï?r   é2   z
ESR smoke Ú/z loss=z.4f©Úflushé   rü   rv   Úmsç+‡ÙÎï?çš™™™™™é?Útrain_completeÚall5z6Single-fold smoke metric; no five-fold/external claim.)Úrun_idÚstatusÚheld_outÚstepsrÝ   Úresynth_copiesÚlossÚtrain_frame_accÚ
held_scorerú   Ú	elapsed_sÚnote)7Úlistr   rÑ   r   rg   Úmanual_seedrŒ   r¸   rK   r   r  ÚcopyÚdeepcopyrð   ÚoptimÚAdamWÚ
parametersÚLRr„   rœ   r·   ÚtimerA   Útrainr¼   r   Úset_lrrê   r   rý   ÚaugmentÚ	ones_likeÚswitch_weightsr:   Ú binary_cross_entropy_with_logitsrÅ   rò   Ú	zero_gradÚbackwardr#   ÚutilsÚclip_grad_norm_ÚstepÚ
ema_updateÚprintrh   r  r  rú   Úbuild_featuresr  rˆ   ÚofficialÚto_evÚRUN_ID)rí   Úheldr.   Útrain_dsrN   Úy_allrÐ   rõ   ÚemaÚoptr¤   ÚstartedÚlastr?  ÚxbÚybr<   r¦   ÚlogitrX   ÚweightsÚbcer'  ÚpredÚ	frame_accÚgateÚhonest_featÚstreamsr)  Úmetricss                                 r1   Ú	train_onerX  Ü   s¸  € Ø $ Œt”GŒ}½gÓ2S¹g¸ÈÈdË²1¸gÑ2S€HÜ$ X¬xÓ8Ñ€FˆE�2Ü	×Ñ”a—l‘lÔ#Ü�BœÓ×"Ñ" 6Ó*€EÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€CÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.´2ÀDÐ
Ó
I€CÜ
�)‰)×
Ñ
¤§¡Ó
-€CÜ�i‰i‹k€GÜ�‹<€DØ	‡K�K„MÜ”e—ˆÜ	�‰��dœE¤2Ô&Ü˜c 6¬5°"Ó5‰ˆˆBÜ×Ñ˜RÓ ×#Ñ# FÓ+ˆÜ×Ñ˜RÓ ×#Ñ# FÓ+ˆÙ”a—i‘i “lÓ#ˆÜ�‰˜qÓ!ˆÜ×"Ñ" 1 dÓ+ˆÜ×0Ñ0°¸ÀVÔLˆØ�g‘×#Ñ#Ó%ˆØ�˜ša ¡˜e™ uªQ°°°¨V¡}Ñ4×9Ñ9Ó;×@Ñ@ÓBÑBÑBˆØ�‰ $ˆÔ'Ø�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
Ü	�‰�U˜C Ô'Ü�T‹{ˆØ�1Š9˜ ™ R™¨1Ò,°°q±¼EÔ0AÜ�J˜t a™x˜j¨¬%¨°°t¸C°jÐAÈ×Nð% ð& ‡H�H„JÜœ"Ÿ)™)×/Ñ/°Ó2°F¸DÀ"ÓE�F€BˆÜ	�‰�Ù”5×#Ñ# BÓ'×*Ñ*¨6Ó2Ó3²A°r°EÑ:¸QÑ>ˆ÷ 
ä�t—x‘x“z×'Ñ'Ó)¨b²°B°©i¸#©oÑ>×DÑDÓFÓG€IÜ��fÓ€DÜ×"Ñ"Ó$ TÑ*€KÜ! # {°B¸Ó?€GØ˜‘¬1¯:©:°d¼A¿G¹GÀGÓ<LÈeÐUXÓ+Y€JäØ"Ø’N˜FÜÜÜ"ØØ$Ø ØÜ—Y‘Y“[ 7Ñ*ØHñ€Gð �C˜˜WÐ$Ð$ùòi 3T÷> 
ˆús   š
R)¥R)Î5R.Ò.R7c                ó„  — g }|j                  «       D ]u  \  }}|j                  «       D ]]  \  }}t        j                  t        j                  d   |   |   dk(  dd«      }	|j                  t        j                  |«      |	z  «       Œ_ Œw t        t        j                  |«      j                  «       «      t        t        j                  |«      j                  «       «      }}
t        j                  «       \  }}t        j                  |«      d   }t        | |||«      }i }dD ]™  }i }||   j                  «       D ]`  \  }}||   |   }t!        t        j                  |«      t        j"                  t%        |«      «      |d   |d   |d   |d	   |d
   ¬«      ||<   Œb t'        j(                  ||
|dz  dd«      ||<   Œ› |S )Nr±   r   r~   r²   r  )ÚAASDÚ	Carta2026Út_endÚatt128Ún128Úsubject)Úr0Úr1r±   r\  r]  r^  r_  r  r  g      è?)rº   r„   r»   rˆ   r¹   r½   r…   rA   rŽ   rÅ   ÚstdÚGDÚload_externalÚV4Úbuild_features_fromr  rÀ   Úzerosr™   ÚEÚscore)rõ   rÐ   Úcorpus_streamsrí   ÚpartsrÊ   r	  rË   r.   r§   ÚmuÚemis_sdÚlogitsÚmetar  rV  r  ÚevÚms                      r1   Úscore_externalrr    s�  € ð €EØ#×)Ñ)Ö+‰	ˆˆEØ—k‘k–m‰FˆC�Ü—8‘8œAŸC™C ™J r™N¨3Ñ/°1Ñ4°c¸4Ó@ˆDØ�L‰LœŸ™ A›¨Ñ-Õ.ñ $ð ,ô œŸ™ uÓ-×2Ñ2Ó4Ó5´u¼R¿^¹^ÈEÓ=R×=VÑ=VÓ=XÓ7Yˆ€BÜ×#Ñ#Ó%�L€FˆDÜ×!Ñ! &Ó)¨$Ñ/€DÜ! %¨¨r°6Ó:€GØ
€CÛ#ˆØˆØ˜b‘k×'Ñ'Ö)‰FˆC�Ø�R‘˜‘ˆAÜÜ—:‘:˜a“=¤R§X¡X¬c°!«fÓ%5¸1¸U¹8È1ÈWÉ:Ø˜‘{¨¨6©¸A¸i¹LôˆBˆsŠGð *ô —'‘'˜"˜b '¨C¡-°¸Ó=ˆˆBŠð $ð €Jr2   c                óZ   — t        | d«      \  }}}}d|d<   |j                  d«      |d<   |S )NÚAVGCÚsmoke_completer#  r)  Ú	held_avgc)rX  Úpop)rí   rW  Ú_modelÚ_sdÚ_streamss        r1   Útrain_smoker{  -  s9   € Ü%.¨v°vÓ%>Ñ"€GˆV�S˜(Ø(€GˆHÑØ"Ÿ;™; |Ó4€GˆKÑØ€Nr2   c                ó  — t        j                  t        d¬«       i }t        j                  «       d   }t
        D �]“  }t        d|› �d¬«       t         j                  j                  t        d|› d�«      }t         j                  j                  |«      r»t        j                  || d¬	«      }t        d
t        «      j                  | «      }|j                  |d   «       t!        j"                  |d   t         j$                  «      }t'        |||| «      }d|t)        j*                  |t)        j,                  |«      dd«      t/        || «      dœ}	nIt1        | |«      \  }	}}}
t        j2                  |j5                  «       ||t6        t8        t        ddœ|«       |	||<   ~| j:                  dk(  s�Œvt        j<                  j?                  «        �Œ– t        dd¬«       t1        | d «      \  }}}}t        j2                  |j5                  «       |dt6        t8        t        ddœt         j                  j                  t        d«      «       tA        |||| «      }t
        D �ci c]  }|||   d   “Œ }}tB        dt6        tD        t8        |tG        t!        jH                  t
        D �cg c]
  }||   d   ‘Œ c}«      «      tG        t!        jH                  t
        D �cg c]
  }||   d   ‘Œ c}«      «      dœ|||dœ
S c c}w c c}w c c}w )NT©Úexist_okr  zFULL ESR fold held-r  zheld-z.ptF)Úmap_locationÚweights_onlyrì   ÚstaterÐ   Úresumed_from_checkpointr  r  )r#  r$  r)  rú   )r�  rÐ   rF  r%  rÇ   rY   Úexactly_oddÚcudazFULL ESR all5 externalr!  zall5.ptr)  Úfull_completeÚHÚAcc)r†  r‡  )
r"  r#  r%  rÝ   r&  ÚlodoÚ	lodo_meanÚexternalÚfold_trainingÚall5_training)%ÚosÚmakedirsÚCKPT_DIRrŒ   rB  r   rA  ÚpathÚjoinÚexistsrg   ÚloadrK   r   r  Úload_state_dictr„   r…   r�   r  rˆ   rC  rD  rú   rX  ÚsaveÚ
state_dictr   r   Útyper„  Úempty_cacherr  rE  r   rA   rÅ   )rí   ÚfoldsrU  rF  r�  Úblobrõ   rÐ   rV  rW  rz  Úall_metricsrj  rŠ  r.   Úscoress                   r1   Ú
train_fullr�  4  s•  € Ü‡K�K” 4Õ(Ø€EÜ×"Ñ"Ó$ TÑ*€Kß�ˆÜÐ# D 6Ð*°$Õ7Ü�w‰w�|‰|œH¨¨d¨V°3Ð&7Ó8ˆÜ�7‰7�>‰>˜$ÔÜ—:‘:˜d°ÀeÔLˆDÜ˜B¤Ó'×*Ñ*¨6Ó2ˆEØ×!Ñ! $ w¡-Ô0Ü—‘˜D ™J¬¯
©
Ó3ˆBÜ)¨%°¸bÀ&ÓIˆGà3Ø ÜŸj™j¨¬q¯w©w°wÓ/?ÀÈÓLÜ˜u fÓ-ñ	‰Gô ,5°V¸TÓ+BÑ(ˆG�U˜B Ü�J‰JØ×*Ñ*Ó,°BÀÌuÜ#¬vÀdñLàôð
 ˆˆd‰ØØ�;‰;˜&Ô Ü�J‰J×"Ñ"Ö$ð3 ô4 
Ð
"¨$Õ/Ü-6°v¸tÓ-DÑ*€K�˜˜NÜ	‡J�JØ×"Ñ"Ó$¨B¸ÌÜ¤v¸dñ	Dä
�‰�‰”X˜yÓ)ôô
 ˜e R¨¸Ó@€HÝ18Ó9±¨Aˆa��q‘˜,Ñ'Ñ'°€FÐ9äØ!ÜÜÜ"Øä”r—w‘w½Ó@¹°1  q¡	¨#£¸Ñ@ÓAÓBÜœŸ™½GÓ!D¹G°q &¨¡)¨EÓ"2¸GÑ!DÓEÓFñ
ð ØØ$ñð ùò :ùò  AùÚ!Ds   É K:Ê$K?ËLc                 óV  — t        j                  t        d¬«       t        j                  t         j                  j	                  t
        «      d¬«       t        j                  t        j                  j                  «       rdnd«      } dt        j                  j                  j                  _        t        j                  «        t        rt!        | «      n
t#        | «      }t        rt$        nt
        }t'        |d«      5 }t)        j*                  ||d¬«       d d d «       t'        t         j                  j-                  t        d«      d«      5 }t)        j*                  ||d¬«       d d d «       t/        t)        j0                  |d¬«      d¬	«       y # 1 sw Y   Œ{xY w# 1 sw Y   Œ8xY w)
NTr}  r„  r  Úwr5   )Úindentzmetrics.jsonr  )r�  rŽ  ÚRUN_DIRr�  ÚdirnameÚOUTrg   rí   r„  Úis_availableÚbackendsÚmatmulÚ
allow_tf32rˆ   Úload_allr   r�  r{  ÚFULL_OUTÚopenÚjsonÚdumpr‘  rA  Údumps)rí   rW  Úout_pathÚfhs       r1   Úmainr°  l  sý   € Ü‡K�K” $Õ'Ü‡K�K”—‘—‘¤Ó$¨tÕ4Ü�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FØ,0„E‡N�N×Ñ×ÑÔ)Ü‡J�J„LÝ$(Œj˜Ô ¬k¸&Ó.A€GÝ�x¤S€HÜ	ˆh˜Ô	 Ü�	‰	�'˜2 aÕ(÷ 
ä	Œb�g‰g�l‰lœ7 NÓ3°SÔ	9¸RÜ�	‰	�'˜2 aÕ(÷ 
:ä	Œ$�*‰*�W QÔ
'¨tÖ4÷	 
Ð	úç	9Ð	9ús   Ä FÅFÆFÆF(Ú__main__)r.   ú
np.ndarrayrD   r²  )r£   r²  r¤   únp.random.GeneratorrD   útuple[np.ndarray, np.ndarray])rÆ   z	list[str]rÇ   r@   rD   z)tuple[list[dict], np.ndarray, np.ndarray])
r¤   r³  rN   z
list[dict]rÝ   r@   rÐ   r²  rD   r´  )rõ   rK   rí   útorch.devicerD   rÀ   )
rõ   rK   r  rÀ   rÐ   r²  rí   rµ  rD   rÀ   )rí   rµ  rF  z
str | NonerD   z&tuple[dict, OddStem, np.ndarray, dict])
rõ   rK   rÐ   r²  rj  rÀ   rí   rµ  rD   rÀ   )rí   rµ  rD   rÀ   )rD   ÚNone)AÚ__doc__Ú
__future__r   r.  r«  Úmathr�  r4  r  r„   rg   Útorch.nnr#   Útorch.nn.functionalÚ
functionalr:   Úensemble_clf_nestedrˆ   Úensemble_clf_transformer_v2rŒ   Úensemble_clf_transformer_v4re  Úeval_externalrh  Ústem_ms96_group_drorc  Úcommonr   r�  r¢  ÚabspathÚ__file__ÚEXPrE  r‘  r¡  r£  r©  r�  r@   ÚenvironÚgetr   r   r   r   r   r3  r¡   ÚModuler   rK   r–   r­   rÑ   rê   rú   rh   r  rX  rr  r{  r�  r°  rE   © r2   r1   Ú<module>rÊ     sK  ðñõ
 #ã Û Û Û 	Û ã Û Ý ß Ð ã Û 'Û (Û Û  Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø	€Ø
�'‰'�,‰,�s˜MÐ+<¸fÀfÓ
M€Ø‡g�g‡l�l�3˜	 :Ð/DÓE€Ø�7‰7�<‰<˜˜Y¨
°OÓD€Ø�7‰7�<‰<˜˜X zÓ2€Ù	ˆR�Z‰Z�^‰^˜H dÓ+Ó	,€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€Ùˆr�z‰z�~‰~˜j¨#Ó.Ó/€Ø	‡z�z‡~�~�f˜cÓ" cÑ)€Ø	€Ø€ô3˜Ÿ™ô 3ô (!ˆb�i‰iô (!óV	Xó6ó0=ð2Ø	ðØ&0ðØ9<ðØBLðà"óó&Rð$ €‡�ƒðØðØðØ$.ðØ8Dðà	òó ðó*5%ðpØðØ"ðØ48ðØBNðà	óó2ó5óp5ð ˆzÒÙ…Fð r2   