Ë
    >„Üjj]  ã                   óœ  — d Z ddlZddlZddlZddlZddlZddlZddl	Z	ddl
mZ ddlmc mZ ddlZddlmZ ej&                  j)                  ej&                  j+                  e«      «      Zej&                  j1                  eddd«      Zej&                  j1                  eddd«      Zej&                  j1                  edd	«      Zej&                  j1                  ed
d«      ZdZ eej>                  jA                  dd«      «      Z! eej>                  jA                  dd«      «      Z"dZ#dZ$dZ%dZ& G d„ dejN                  «      Z( G d„ dejN                  «      Z)d„ Z*d„ Z+d„ Z,d„ Z-d:d„Z.d„ Z/d„ Z0d „ Z1d!„ Z2d"„ Z3d:d#„Z4d$„ Z5 e	jl                  «       d%„ «       Z7d&„ Z8d'„ Z9d(„ Z:d)„ Z;d*„ Z<d+„ Z=d,„ Z>d-„ Z?e@d.k(  r™ddlAZA eAj„                  «       ZCeCj‰                  d/d0d1gd0¬2«       eCj‰                  d3g d4¢d5d6¬7«       eCj‹                  «       ZFeFjŽ                  d1k(  rdd8lHmIZI  eIeFj”                  «       yeFj”                  d5k7  r eKd9«      ‚ e?«        yy);as  Causal logit transformer, second round.

Same leave-one-dataset-out protocol as ensemble_clf_transformer.py:
  * train only on datasets that are neither the outer (held-out) nor the inner dataset
  * choose the model and the HMM (p_stay, emission scale) by the acc74 rule on inner
    scores only: among settings with mean inner Acc >= 74, maximise inner H
    (ties: higher Acc, then lower SDT). If none reach 74, take the highest inner Acc
  * refit on the four non-held-out datasets and score the held-out dataset once
    with score.score_dataset

H is the official harmonic mean of accuracy (fraction) and switch score L
(aggregate() in the challenge scorer). Accuracy is the official subject-mean
sample accuracy. Neither split nor metric is changed.

What is new, relative to tf_hp_w48 (H 0.8208, Acc 78.09):
  recipe_hp48  same width, depth, window and hp120 features, but every causal
               position is supervised, dataset-balanced batches, cosine LR,
               EMA, input noise, seed dropout, time masking, post-switch
               loss weights, and a zero-init residual over a linear skip
  ms_w96       24-d causal features (raw, hp60, hp120, z60, 1 s slope, 2 s mean),
               d=64, window 96, same training recipe
  ms_w192      those features with a 48 s window
  stem_ms96    depthwise causal conv + dilated residual conv stem in front of
               the ms_w96 transformer
  ens_all      equal average of the four evidence streams (HMM still chosen on inner)

Train seed 20270101. usage:
  python ensemble_clf_transformer_v2.py
      nested leave-one-dataset-out on the five corpus sets
  python ensemble_clf_transformer_v2.py --mode external
      train on data/cnd + Broderick2018 + Fuglsang2020, then score AASD and Carta2026
writes results/research/ensemble_clf_transformer_v2.csv and _inner.csv
(external mode writes ensemble_clf_transformer_v2_external.csv)
é    N)ÚDS_KEYSÚresultsÚresearchzensemble_clf_transformer_v2.csvz%ensemble_clf_transformer_v2_inner.csvÚmodelsÚlogit_tf_v2Úexperimentsztransformer_v2.logiL5ÚSTEPSÚ800ÚBATCHÚ512)g+‡ÙÎï?ç¬Zd;ßï?g�•C‹lçï?gV-²�ïï?)gš™™™™™é?çÍÌÌÌÌÌì?ç      ð?g     €R@))Úrecipe_hp48Úhpé0   é    é   Fçü©ñÒMbP?)Úms_w96Úmsé`   é@   r   Fç-Cëâ6J?)Úms_w192r   éÀ   r   r   Fr   )Ú	stem_ms96r   r   r   r   Tr   c                   ó*   ‡ — e Zd ZdZdˆ fd„	Zd„ Zˆ xZS )ÚDilatedResidualzCCausal dilated conv. Zero-init so the block starts as the identity.c                 ó¬  •— t         ‰| �  «        |dz
  |z  | _        t        j                  ||||¬«      | _        t        j                  |«      | _        t        j                  |«      | _	        t        j                  j                  | j
                  j                  «       t        j                  j                  | j
                  j                  «       y )Né   )Údilation)ÚsuperÚ__init__ÚpadÚnnÚConv1dÚconvÚ	LayerNormÚnormÚDropoutÚdropÚinitÚzeros_ÚweightÚbias)ÚselfÚdÚkr"   ÚdropoutÚ	__class__s        €úr/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/eeg-thao_unzipped/eeg-thao/ensemble_clf_transformer_v2.pyr$   zDilatedResidual.__init__J   s…   ø€ Ü‰ÑÔØ˜‘E˜XÑ%ˆŒÜ—I‘I˜a  A°Ô9ˆŒ	Ü—L‘L “OˆŒ	Ü—J‘J˜wÓ'ˆŒ	Ü
�‰�‰�t—y‘y×'Ñ'Ô(Ü
�‰�‰�t—y‘y—~‘~Õ&ó    c                 ó  — | j                  t        j                  |j                  dd«      | j                  df«      «      j                  dd«      }|| j	                  t        j
                  | j                  |«      «      «      z   S )Nr!   r   r   )r(   ÚFr%   Ú	transposer,   Úgelur*   )r1   ÚxÚhs      r6   ÚforwardzDilatedResidual.forwardS   s`   € Ø�I‰I”a—e‘e˜AŸK™K¨¨1Ó-°·±¸!¨}Ó=Ó>×HÑHÈÈAÓNˆØ�4—9‘9œQŸV™V D§I¡I¨a£LÓ1Ó2Ñ2Ð2r7   )é   r!   çš™™™™™¹?©Ú__name__Ú
__module__Ú__qualname__Ú__doc__r$   r>   Ú__classcell__©r5   s   @r6   r   r   G   s   ø„ ÙMõ'ö3r7   r   c                   ó*   ‡ — e Zd ZdZdˆ fd„	Zd„ Zˆ xZS )ÚLogitTransformerzëCausal window encoder. Logit at position t uses only frames <= t.

    The linear skip is initialised to the mean of the raw logit channels and the
    transformer head starts at zero, so the network begins as that linear readout.
    c                 óÈ  •— t         ‰| �  «        || _        d| _        d | _        |r‘t        j                  ||| j                  dz   |¬«      | _        t
        j                  j                  | j                  j                  «       t
        j                  j                  | j                  j                  «       t        j                  ||«      | _        |r0t        j                  dD �cg c]  }t        |d||¬«      ‘Œ c}«      nt        j                  «       | _        t        j                   t#        j$                  d||«      dz  «      | _        t        j(                  |||dz  |d	d	d
¬«      }	t        j*                  |	|d¬«      | _        t        j                  |d«      | _        t        j                  |dd¬«      | _        t
        j2                  j5                  |«      }
| j7                  d|
«       t
        j                  j                  | j.                  j                  «       t
        j                  j                  | j.                  j                  «       t
        j                  j                  | j0                  j                  «       t#        j8                  «       5  d| j0                  j                  dd t;        d|«      …f<   d d d «       y c c}w # 1 sw Y   y xY w)Né   r!   )Úgroups)r!   r   é   rK   r?   )r3   r"   r4   ç{®Gáz”?r   Tr;   )Úd_modelÚnheadÚdim_feedforwardr4   Úbatch_firstÚ
norm_firstÚ
activationF)Ú
num_layersÚenable_nested_tensor)r0   Úmaskg      Ð?r   rM   )r#   r$   ÚwindowÚdw_padÚdwr&   r'   r-   r.   r/   r0   ÚLinearÚprojÚ
ModuleListr   ÚblocksÚ	ParameterÚtorchÚrandnÚposÚTransformerEncoderLayerÚTransformerEncoderÚencÚheadÚskipÚTransformerÚgenerate_square_subsequent_maskÚregister_bufferÚno_gradÚmin)r1   Úc_inrX   rO   rP   Únlayersr4   Ústemr2   ÚlayerrW   r5   s              €r6   r$   zLogitTransformer.__init___   s	  ø€ Ü‰ÑÔØˆŒØˆŒØˆŒÙÜ—i‘i  d¨D¯K©K¸!©OÀDÔIˆDŒGÜ�G‰G�N‰N˜4Ÿ7™7Ÿ>™>Ô*Ü�G‰G�N‰N˜4Ÿ7™7Ÿ<™<Ô(Ü—I‘I˜d GÓ,ˆŒ	ñ ô —m‘má!ó%
á!�ô ˜G q°1¸gÖFØ!ñ%
ô ô Ÿ™›ð 	Œô —<‘<¤§¡¨A¨v°wÓ ?À$Ñ FÓGˆŒÜ×*Ñ*Ø 5¸'ÀA¹+Ø¨¸$È6ôSˆô ×(Ñ(¨¸7ÐY^Ô_ˆŒÜ—I‘I˜g qÓ)ˆŒ	Ü—I‘I˜d A¨EÔ2ˆŒ	Ü�~‰~×=Ñ=¸fÓEˆØ×Ñ˜V TÔ*Ü
�‰�‰�t—y‘y×'Ñ'Ô(Ü
�‰�‰�t—y‘y—~‘~Ô&Ü
�‰�‰�t—y‘y×'Ñ'Ô(Ü�]‰]�_Ø2;ˆD�I‰I×Ñ˜Q ¤# a¨£, Ð.Ñ/÷ ˆ_ùò!%
÷  ˆ_ús   Ã(KÊ"(KËK!c           	      ó$  — |}| j                   �T|| j                  t        j                  |j                  dd«      | j                  df«      «      j                  dd«      z   }| j                  |«      }| j                  D ]
  } ||«      }Œ || j                  d d …d |j                  d«      …f   z   }| j                  || j                  ¬«      }| j                  |«      j                  d«      | j                  |«      j                  d«      z   S )Nr!   r   r   )rW   éÿÿÿÿ)rZ   r9   r%   r:   rY   r\   r^   rb   Úsizere   rW   rf   Úsqueezerg   )r1   r<   Úrawr=   Úblocks        r6   r>   zLogitTransformer.forward|   sà   € ØˆØ�7‰7ÐØ�D—G‘GœAŸE™E !§+¡+¨a°Ó"3°d·k±kÀ1Ð5EÓFÓG×QÑQÐRSÐUVÓWÑWˆAØ�I‰I�a‹LˆØ—[”[ˆEÙ�a“‰Að !à�—‘š˜K˜aŸf™f Q›i˜K˜Ñ(Ñ(ˆØ�H‰H�Q˜TŸY™YˆHÓ'ˆØ�y‰y˜‹|×#Ñ# BÓ'¨$¯)©)°C«.×*@Ñ*@ÀÓ*DÑDÐDr7   )r   rM   r   r@   FrA   rG   s   @r6   rI   rI   X   s   ø„ ñõ<ö:	Er7   rI   c                 óN  — t        j                  t        j                  d| j                  d   f«      t        j                  | d¬«      g«      }t        j
                  t        | «      «      }t        j                  d||dz
  z
  «      }||dz      ||   z
  ||z
  dz   d d …d f   z  S )Nr!   r   )Úaxis)ÚnpÚvstackÚzerosÚshapeÚcumsumÚarangeÚlenÚmaximum)ÚDr3   ÚcsÚidxÚlefts        r6   Úcausal_meanr…   ˆ   sŒ   € Ü	�‰”B—H‘H˜a §¡¨¡˜_Ó-¬r¯y©y¸ÀÔ/CÐDÓ	E€BÜ
�)‰)”C˜“FÓ
€CÜ�:‰:�a˜  A¡™Ó'€DØˆs�Q‰w‰K˜"˜T™(Ñ" s¨T¡z°A¡~²q¸$°wÑ&?Ñ?Ð?r7   c           
      ó  — i i }}dt        j                  d«      z
  }| j                  «       D �]K  \  }}i i c||<   ||<   |j                  «       D �]&  \  }}t        j                  |t         j                  «      }t        j                  |d«      }	|t        j                  ||«      z
  }
t        j                  |d«      }t        j                  |«      }t        |«      dkD  r|dd |dd z
  |dd t        |d«      }t        j                  ||
gd	«      j                  t         j                  «      ||   |<   t        j                  ||	|
|||gd	«      j                  t         j                  «      ||   |<   �Œ) �ŒN ||d
œS )z™Full-history causal features. hp matches ensemble_clf_transformer.build_features.

    base_id maps dataset name -> trial key -> (T, 4) seed logits.
    r   ga¿Úhp60Úz60rM   NéüÿÿÿrK   r!   )r   r   )ry   ÚexpÚitemsÚasarrayÚfloat64ÚNÚxform_arrayÚema_2dÚ
zeros_liker   r…   ÚconcatenateÚastypeÚfloat32)Úbase_idr   r   Úalpha120ÚdsÚtableÚkeyÚD0r�   Úh60Úh120ÚzÚslopeÚmeans                 r6   Úbuild_features_fromr    �   sS  € ð
 �ˆ€BØ”R—V‘V˜MÓ*Ñ*€HØ—]‘]—_‰	ˆˆEØ˜Rˆˆˆ2‰��2‘Ø—{‘{—}‰GˆC�Ü—
‘
˜2œrŸz™zÓ*ˆAÜ—-‘-  6Ó*ˆCØ”q—x‘x  8Ó,Ñ,ˆDÜ—‘˜a Ó'ˆAÜ—M‘M !Ó$ˆEÜ�1‹v˜ŠzØ˜a˜b˜E A c r F™N��a�b�	Ü˜q !Ó$ˆDÜŸ.™.¨!¨T¨°AÓ6×=Ñ=¼b¿j¹jÓIˆBˆr‰F�3‰KÜŸ.™.¨!¨S°$¸¸5À$Ð)GÈÓK×RÑRÔSU×S]ÑS]Ó^ˆBˆr‰F�3‹Kò %ð %ð ˜BÑÐr7   c                  ó@   — t        t        j                  d   d   «      S )NÚbaseÚid)r    rŽ   ÚG© r7   r6   Úbuild_featuresr¦   ¦   s   € ÜœqŸs™s 6™{¨4Ñ0Ó1Ð1r7   c                 ó:  — d}d }d }|D ]œ  }| |   j                  «       D ]„  }|t        |«      z  }|j                  d«      j                  t        j
                  «      }t	        j                  |t        j
                  ¬«      j                  d«      }|€|n||z   }|€|n||z   }Œ† Œž ||z  }	t	        j                  t	        j                  ||z  |	dz  z
  d«      «      }
|	j                  t        j                  «      |
j                  t        j                  «      fS )Nr   )Údtyper   g:Œ0âŽyE>)
Úvaluesr   Úsumr“   ry   r�   ÚsquareÚsqrtr€   r”   )ÚfeatÚdatasetsÚacc_nÚacc_sÚacc_sqr—   ÚXÚsÚsqÚmuÚsds              r6   Ú
norm_statsr·   ª   sê   € Ø€EØ€EØ€FÛˆØ�b‘—‘Ö"ˆAØ”S˜“V‰OˆEØ—‘�a“—‘¤§
¡
Ó+ˆAÜ—‘˜1¤B§J¡JÔ/×3Ñ3°AÓ6ˆBØ˜‘A¨E°A©IˆEØ!˜>‘R¨v¸©{‰Fñ #ð ð 
�‰€BÜ	�‰”—‘˜F U™N¨R°1©WÑ4°dÓ;Ó	<€BØ�9‰9”R—Z‘ZÓ  "§)¡)¬B¯J©JÓ"7Ð7Ð7r7   c                 óæ  — |€t         j                  d   }g }g }|D �]6  }||   }g }| |   j                  «       D ]Ž  \  }}	||   dk(  j                  t        j
                  «      }
t        |
«      t        |	«      k7  r)t        dt        |
«      › dt        |	«      › d|› d|› �«      ‚|j                  |	|
f«       |j                  |
«       Œ� t	        j                  |D ��
cg c]  \  }}
t        |
«      ‘Œ c}
}t        j                  «      }|j                  t        ||t        |j                  «       «      t	        j                  |«      ¬«      «       �Œ9 |t	        j                  |«      fS c c}
}w )NÚattr   zlabel length ú != ú for Ú/)ÚtrialsÚlengthsÚtotalÚends)rŽ   r¤   r‹   r“   ry   r”   r   ÚRuntimeErrorÚappendÚarrayÚint64ÚdictÚintrª   r}   r’   )r­   r®   r¹   rL   Úy_partsr—   Úatt_dsr½   r™   r²   ÚyÚ_r¾   s                r6   Útrial_groupsrË   º   s>  € Ø
€{Ü�c‰c�%‰jˆØ€FØ€GÜˆØ�R‘ˆØˆØ˜2‘h—n‘nÖ&‰FˆC�Ø˜‘ Ñ!×)Ñ)¬"¯*©*Ó5ˆAÜ�1‹vœ˜Q›ÒÜ" ]´3°q³6°(¸$¼sÀ1»v¸hÀeÈBÈ4ÈqÐQTÐPUÐ#VÓWÐWØ�M‰M˜1˜a˜&Ô!Ø�N‰N˜1Õð 'ô —(‘(©vÔ6©v¡t q¨!œC �F¨vÒ6¼¿¹ÓAˆØ�‰”d &°'ÄÀWÇ[Á[Ã]ÓASÜ "§	¡	¨'Ó 2ô4ö 	5ð ð ”2—>‘> 'Ó*Ð*Ð*ùó 7s   ÃE-c                 ó   — |d   d   d   d   j                   d   }t        j                  |||ft        j                  «      }t        j                  ||ft        j                  «      }t        j                  ||ft        j                  «      }	t        j                  |«      t        |«      z  }
t        |«      D �]  \  }}t        j                  |
|k(  «      }t        |«      dk(  rŒ.| j                  d|d   t        |«      ¬«      }t        j                  |d   |d¬«      }||d   |d	   z
  |   z
  }|d   }t        |||«      D ]t  \  }}}|t        |«         \  }}t        |«      }||z
  dz   }|dk\  r|||dz    ||<   |||dz    ||<   d
|	|<   ŒL|dz   }|d| ||| d…f<   |d| ||| d…f<   d
|	|| d…f<   Œv �Œ ||z  }||z  }|||	fS )zJDataset-balanced windows. Each row ends at a uniform frame of one dataset.r   r½   r!   r¿   )rs   rÀ   Úright)Úsider¾   r   N)r|   ry   r{   r”   r~   r   Ú	enumerateÚflatnonzeroÚintegersÚsearchsortedÚziprÆ   )ÚrngrL   ÚWÚbatchrµ   r¶   ÚCÚXoÚyoÚmoÚds_ofÚg_iÚgÚrowsÚpickÚwhichÚlocalr½   ÚrowÚtiÚtr<   rÉ   ÚaÚns                            r6   Úsample_batchrç   Î   sî  € àˆq‰	�(Ñ˜AÑ˜qÑ!×'Ñ'¨Ñ*€AÜ	�‰�5˜!˜Q�-¤§¡Ó	,€BÜ	�‰�5˜!�*œbŸj™jÓ	)€BÜ	�‰�5˜!�*œbŸj™jÓ	)€BÜ�I‰I�eÓœs 6›{Ñ*€EÜ˜F×#‰ˆˆQÜ�~‰~˜e s™lÓ+ˆÜˆt‹9˜Š>ØØ�|‰|˜A˜q ™z´°D³	ˆ|Ó:ˆÜ—‘  &¡	¨4°gÔ>ˆØ˜˜&™	 A i¡LÑ0°%Ñ8Ñ8ˆØ�8‘ˆÜ˜d E¨5Ö1‰JˆC��QØœ#˜b›'‘?‰DˆAˆqÜ�A“ˆAØ�A‘˜‘	ˆAØ�AŠvØ˜A˜a !™e˜*��3‘Ø˜A˜a !™e˜*��3‘Ø��3’à˜‘E�Ø   !˜u��3˜˜™�8‘Ø   !˜u��3˜˜™�8‘Ø"��3˜˜™�8’ò 2ð $ð* ˆ"�H€BØˆ"�H€BØˆr�2ˆ:Ðr7   c                 ój  — t        j                  | «      }| dd…dd…f   | dd…dd…f   z
  j                  «       j                  d«      j	                  «       |dd…dd…f   z  |dd…dd…f   z  |dd…dd…f<   d}t        j
                  t        j                  || j                  | j                  ¬«       dz  «      }|j                  d«      j                  ddd«      }t        j                  t        j                  |j                  d«      |dz
  df«      |«      j                  d«      }d	d
|z  z   S )zEUpweight the frames that follow a label change. Causal in the labels.Nr!   rr   ç      à?é   )Údevicer¨   g      @r   r   g      @)r`   r‘   ÚabsÚgtÚfloatrŠ   r~   rë   r¨   ÚflipÚviewr9   Úconv1dr%   Ú	unsqueezert   )rÉ   rW   ÚchangeÚhorizonÚdecayÚkernelÚsmooths          r6   Úswitch_weightsrø   ï   s  € ä×Ñ˜aÓ €FØ’q˜!™"�u‘X ¢! S b S &¡	Ñ)×.Ñ.Ó0×3Ñ3°CÓ8×>Ñ>Ó@À4ÊÈ1É2ÈÁ;ÑNÐQUÒVWÐY\ÐZ\ÐY\ÐV\ÑQ]Ñ]€FŠ1ˆa‰bˆ5�MØ€GÜ�I‰I”u—|‘| G°A·H±HÀAÇGÁGÔLÐLÈsÑRÓS€EØ�Z‰Z˜‹]×Ñ  1 bÓ)€FÜ�X‰X”a—e‘e˜F×,Ñ,¨QÓ/°'¸A±+¸qÐ1AÓBÀFÓK×SÑSÐTUÓV€FØ��v‘ÑÐr7   c                 óŠ  — | t        j                  | «      dz  z   } | j                  \  }}}t        j                  || j                  ¬«      dk  }t        j
                  dd|f| j                  ¬«      }t        j                  || j                  ¬«      }|d d …d f   |d d d …f   dz  |d d …d f   k(  z  }| j                  |d d …d d d …f   d«      } t        j                  || j                  ¬«      dk  }t        j
                  dd|f| j                  ¬«      }	t        j
                  d||f| j                  ¬«      }
t        j                  || j                  ¬«      }t        j                  |
|	z   |¬	«      }|d d …d f   |d d d …f   |
d d …d f   k\  z  |d d d …f   |d d …d f   k  z  }| j                  |d d …d d …d f   d«      S )
Nr@   ©rë   g333333Ó?r   rM   g        r   é	   )Úmax)	r`   Ú
randn_liker|   Úrandrë   Úrandintr~   Úmasked_fillÚclamp)r<   ÚBÚTr×   r,   ÚseedÚchÚkillÚdoÚspanÚstartÚt_idxÚendÚcuts                 r6   Úaugmentr  ú   sŒ  € Ø	ŒE×Ñ˜QÓ #Ñ%Ñ%€AØ�g‰g�G€A€qˆ!Ü�:‰:�a §¡Ô)¨CÑ/€DÜ�=‰=˜˜A ˜t¨A¯H©HÔ5€DÜ	�‰�a §¡Ô	)€BØ’�4�‰=˜B˜t¢Q˜w™K¨!™O¨t²A°t°G©}Ñ<Ñ=€DØ	�‰�dš1˜d¢A˜:Ñ&¨Ó,€AÜ	�‰�A˜aŸh™hÔ	'¨#Ñ	-€BÜ�=‰=˜˜A ˜t¨A¯H©HÔ5€DÜ�M‰M˜!˜Q  ¨Q¯X©XÔ6€EÜ�L‰L˜ 1§8¡8Ô,€EÜ
�+‰+�e˜d‘l¨Ô
*€CØ
ŠQ�ˆW‰+˜˜t¢Q˜w™¨5²°D°©>Ñ9Ñ
:¸eÀDÊ!ÀG¹nÈsÒSTÐVZÐSZÉ|Ñ>[Ñ
\€CØ�=‰=˜šQ¢ 4˜Z™¨#Ó.Ð.r7   c                 ó  — t        dt        |dz  d«      «      }||k  r||dz   z  |z  }nJ||z
  t        ||z
  d«      z  }dd|dz
  z  dt        j                  t        j                  |z  «      z   z  z   }| j
                  D ]  }||d<   Œ	 |S )Né(   é
   r!   çñhãˆµøä>ré   r   Úlr)rl   rü   ÚmathÚcosÚpiÚparam_groups)ÚoptÚstepr¿   r¢   Úwarmr  ÚpÚgroups           r6   Úset_lrr    s˜   € Üˆr”3�u ‘{ AÓ&Ó'€DØˆd‚{Ø�T˜A‘XÑ Ñ%‰à�D‰[œC ¨¡¨aÓ0Ñ0ˆØ�C˜4 $™;Ñ'¨3´·±¼$¿'¹'ÀA¹+Ó1FÑ+FÑGÑGˆØ×!Ô!ˆØˆˆdŠð "à€Ir7   c                 ó  — t        j                  «       5  t        | j                  «       |j                  «       «      D ]+  \  }} |j                  |«      j                  |d|z
  ¬«       Œ- 	 d d d «       y # 1 sw Y   y xY w)Nr   )Úalpha)r`   rk   rÓ   Ú
parametersÚmul_Úadd_)ÚsrcÚdstrõ   ÚpsÚpds        r6   Ú
ema_updater&    sY   € Ü	�‰�Ü˜#Ÿ.™.Ó*¨C¯N©NÓ,<Ö=‰FˆB�ØˆB�G‰G�E‹N×Ñ ¨#°©+ÐÕ6ñ >÷ 
�‰ús   •AA6Á6A?c                 óæ  — | \  }}}}	}
}}t        ||   ||¬«      \  }}t        ||   |«      \  }}t        |j                  «       «      }t	        j
                  d|z
  t        |d«      z  g|¬«      }|d   d   d   d   j                  d   }t	        j                  t        «       |j                  dk(  r#t        j                  j                  t        «       t        |||	|
|¬	«      j                  |«      }t        j                   |«      j#                  «       }t        j$                  j'                  |j)                  «       |d
¬«      }t*        j,                  j/                  t        «      }|j1                  «        t3        j2                  «       }d }t5        |«      D �]h  }t7        ||||«       t9        |||t:        ||«      \  }}}t	        j<                  |«      j                  |d¬«      }t	        j<                  |«      j                  |d¬«      }t	        j<                  |«      j                  |d¬«      } t?        |«      }|jA                  d¬«        ||«      }!tC        || «      }"tE        jF                  |!||d¬«      }#|"| z  jI                  «       jK                  d«      }$|#|"z  | z  jI                  «       |$z  }%|!d d …dd …f   |!d d …d d…f   z
  jM                  «       }&| d d …dd …f   | d d …d d…f   z  }'|%d|&|'z  jI                  «       z  |'jI                  «       jK                  d«      z  z   }%t	        jN                  |%«      stQ        d|› d|› �«      ‚|%jS                  «        t        jT                  jV                  jY                  |j)                  «       d«       |j[                  «        t]        ||d«       t        |%j_                  «       «      }|dk(  s|dz   dz  dk(  s�ŒLta        d|› d|dz   › d|› d|d›�d¬«       �Œk |j#                  «        tc        ||||||«      }(ta        d|› ddje                  |«      › d |d›d!|(d›d"t3        j2                  «       |z
  d#›d$�d¬«       |||fS )%N)r¹   r   r   rú   r   r½   r!   Úcuda©rO   rn   ro   g-Cëâ6?)r  Úweight_decayT)Únon_blocking)Úset_to_noneÚnone)Ú
pos_weightÚ	reductionrr   gš™™™™™©?znon-finite loss at step r»   g×£p=
×ï?éÈ   z    z step r¼   z loss ú.3f©Úflushz
  trained z on Ú+z  loss z  frame-acc z  (z.0fús))3rË   r·   rî   rŸ   r`   Útensorrü   r|   Úmanual_seedÚ
TRAIN_SEEDÚtyper(  Úmanual_seed_allrI   ÚtoÚcopyÚdeepcopyÚevalÚoptimÚAdamWr  ry   ÚrandomÚdefault_rngÚtrainÚtimeÚranger  rç   r   Ú
from_numpyr  Ú	zero_gradrø   r9   Ú binary_cross_entropy_with_logitsrª   Ú	clamp_minrì   ÚisfiniterÁ   Úbackwardr&   ÚutilsÚclip_grad_norm_r  r&  ÚitemÚprintÚtrain_frame_accÚjoin))Úcfgr®   r­   rë   Ústepsr¹   ÚnameÚfamilyrX   rO   rn   ro   r  rL   Úy_allrµ   r¶   rb   r.  rm   ÚmodelÚemar  rÔ   Út0Úlastr  ÚxbÚybÚmbr<   rÉ   ÚmÚlogitÚswÚbceÚdenomÚlossÚdvÚm2Úaccs)                                            r6   Útrain_modelrg    s  € Ø7:Ñ4€Dˆ&�&˜' 7¨D°"Ü   f¡¨x¸SÔA�M€FˆEÜ˜˜V™ hÓ/�F€BˆÜ
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JØ�!‰9�XÑ˜qÑ! !Ñ$×*Ñ*¨1Ñ-€DÜ	×Ñ”jÔ!Ø‡{�{�fÒÜ�
‰
×"Ñ"¤:Ô.Ü˜T 6°7ÀGÐRVÔW×ZÑZÐ[aÓb€EÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€CÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.°2ÀDÐ
Ó
I€CÜ
�)‰)×
Ñ
¤
Ó
+€CØ	‡K�K„MÜ	�‰‹€BØ€DÜ�e—ˆÜˆs�D˜% Ô$Ü! # v¨v´u¸bÀ"ÓE‰
ˆˆB�Ü×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ�A‹JˆØ�‰ $ˆÔ'Ù�a“ˆÜ˜A˜qÓ!ˆÜ×0Ñ0°¸ÀjÐ\bÔcˆØ�a‘—‘“×(Ñ(¨Ó-ˆØ�b‘˜1‘×!Ñ!Ó# eÑ+ˆØ’A�q‘r�E‰l˜U¢1 c r c 6™]Ñ*×/Ñ/Ó1ˆØŠq�!‘"ˆu‰X˜š!˜S˜b˜S˜&™	Ñ!ˆØ�d˜b 2™gŸ]™]›_Ñ,¨r¯v©v«x×/AÑ/AÀ#Ó/FÑFÑFˆÜ�~‰~˜dÔ#ÜÐ!9¸$¸¸uÀTÀFÐKÓLÐLØ�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
Ü�5˜#˜uÔ%Ü�T—Y‘Y“[Ó!ˆØ�1Š9˜ ™ SÑ(¨AÔ-Ü�D˜˜˜f T¨A¡X J¨a°¨w°f¸TÀ#¸JÐGÈt×Tð1 ð2 ‡H�H„JÜ
˜#˜v v¨r°2°vÓ
>€CÜ	ˆJ�t�f˜D §¡¨(Ó!3Ð 4°G¸DÀ¸:À\ÐRUÐVYÐQZð [Ü�i‰i‹k˜BÑ˜sÐ# 2ð'Ø.2õ4à��Bˆ;Ðr7   c                 óª  — t         j                  j                  d«      }t        |||d||«      \  }}}	t	        j
                  «       5   | t	        j                  |«      j                  |«      «      }
d d d «       
d d …df   dkD  j                  «       j                  «       }t        ||d d …df   dkD  k(  j                  «       «      S # 1 sw Y   ŒWxY w)Nr   é   rr   ré   )ry   rA  rB  rç   r`   rk   rF  r;  ÚcpuÚnumpyrî   rŸ   )rW  rL   rX   rµ   r¶   rë   rÔ   r[  r\  r]  r_  Úpreds               r6   rP  rP  N  s¯   € Ü
�)‰)×
Ñ
 Ó
"€CÜ˜c 6¨6°4¸¸RÓ@�J€BˆˆBÜ	�‰�Ù”e×&Ñ& rÓ*×-Ñ-¨fÓ5Ó6ˆ÷ 
à’!�R�%‰L˜1Ñ×!Ñ!Ó#×)Ñ)Ó+€DÜ�$˜2ša ˜e™9 s™?Ñ+×1Ñ1Ó3Ó4Ð4÷ 
ˆús   Á+C	Ã	Cc           
      ó  — | j                  «        i }t        j                  |j                  ddd«      «      }t        j                  |j                  ddd«      «      }|j	                  «       D �]’  \  }	}
i ||	<   |
j	                  «       D �]s  \  }}|j
                  \  }}t        j                  |dz
  |ft        j                  «      }t        j                  t        j                  ||gd«      «      }g }t        d|d«      D ]“  }|||dz   |z   dz
   }|j                  d|d«      j                  ddd«      j                  «       }||z
  |z  }|j                   | |j                  |«      «      d d …df   j!                  «       j#                  «       «       Œ• t        j                  |«      j%                  t        j&                  «      }t)        |«      |k7  rt+        dt)        |«      › d|› d|› �«      ‚|||	   |<   �Œv �Œ• |S )	Nr!   rr   r   ri  r   zlength rº   r»   )r>  r`   rF  Úreshaper‹   r|   ry   r{   r”   r’   rE  ÚunfoldÚpermuteÚ
contiguousrÂ   r;  rj  rk  r“   r�   r   rÁ   )rW  Úfeat_dsrµ   r¶   rX   rë   ÚoutÚmu_tÚsd_tr—   r˜   r™   r²   r  r×   r%   ÚxpÚpiecesÚiÚslÚwrl  s                         r6   Ú	infer_allr{  W  sÁ  € à	‡J�J„LØ
€CÜ×Ñ˜BŸJ™J q¨!¨RÓ0Ó1€DÜ×Ñ˜BŸJ™J q¨!¨RÓ0Ó1€DØ—]‘]—_‰	ˆˆEØˆˆB‰Ø—k‘k—m‰FˆC�Ø—7‘7‰DˆAˆqÜ—(‘(˜F Q™J¨˜?¬B¯J©JÓ7ˆCÜ×!Ñ!¤"§.¡.°#°q°¸1Ó"=Ó>ˆBØˆFÜ˜1˜a Ö&�Ø˜˜!˜d™( VÑ+¨aÑ/Ð0�Ø—I‘I˜a ¨Ó+×3Ñ3°A°q¸!Ó<×GÑGÓI�Ø˜‘X Ñ%�Ø—‘™e A§D¡D¨£LÓ1²!°R°%Ñ8×<Ñ<Ó>×DÑDÓFÕGð	 'ô
 —>‘> &Ó)×0Ñ0´·±Ó<ˆDÜ�4‹y˜AŠ~Ü" W¬S°«Y¨K°t¸A¸3¸eÀCÀ5Ð#IÓJÐJØˆC�‰G�C‹Lò $ð %ð  €Jr7   c                 ó  — t        j                  d«       t        ddddd¬«      j                  | «      j	                  «       }t        j
                  ddd| ¬	«      }|j                  «       }t        j
                  dd| ¬	«      |d d …d
f<   t        j                  «       5   ||«      } ||«      }d d d «       t        j                  d d …d d
…f   d d …d d
…f   d¬«      st        d«      ‚t        dd¬«       y # 1 sw Y   ŒLxY w)Nr   rK   é   r   r!   Tr)  r   rú   rr   r  )Úatolz!transformer readout is not causalzcausality check passedr2  )r`   r7  rI   r;  r>  ra   Úclonerk   ÚallcloserÁ   rO  )rë   rW  r<   Úx2Úy1Úy2s         r6   Úassert_causalr„  p  sØ   € Ü	×Ñ�aÔÜ˜Q ¨B¸ÀÔE×HÑHÈÓP×UÑUÓW€EÜ�‰�A�r˜1 VÔ,€AØ	
�‰‹€BÜ—‘˜A˜q¨Ô0€B‚qˆ"€u�IÜ	�‰�Ù�1‹XˆÙ�2‹Yˆ÷ 
ô �>‰>˜"šQ   ˜V™* bª¨C¨R¨C¨¡j°tÕ<ÜÐ>Ó?Ð?Ü	Ð
"¨$Ö/÷ 
ˆús   ÂC;Ã;Dc                 óä   — i }| d   D ]e  }i ||<   | d   |   j                  «       D ]E  \  }}t        j                  |d¬«      }| dd  D ]  }|||   |   z  }Œ |t        | «      z  ||   |<   ŒG Œg |S )Nr   T)r<  r!   )r‹   ry   rÃ   r   )Ústream_listrs  r—   r™   Úv0rf  Úothers          r6   Úaverage_streamsr‰  ~  sŽ   € Ø
€CØ˜!ŒnˆØˆˆB‰Ø" 1‘~ bÑ)×/Ñ/Ö1‰GˆC�Ü—(‘(˜2 DÔ)ˆCØ$ Q R›�Ø�u˜R‘y ‘~Ñ%‘ð )à¤ [Ó!1Ñ1ˆC�‰G�CŠLñ	 2ð ð €Jr7   c                 ó*   — ddj                  | «      z   S )Nzex-Ú-)rQ  )Úexcludeds    r6   Útriplet_keyr�  Š  s   € Ø�3—8‘8˜HÓ%Ñ%Ð%r7   c                 óœ  — g }d}| j                  d«      D ]Ž  \  }}||j                  |k\     }t        |«      r9|dz  }|j                  |j	                  g d¢g d¢¬«      j
                  d   «       Œ\|j                  |j	                  g d¢g d¢¬«      j
                  d   «       Œ� t        j                  |«      j                  d¬	«      |fS )
Nr   Úouterr!   ©ÚHÚAccÚSDT)FFT)Ú	ascending)r’  r‘  r“  T)r,   )	Úgroupbyr’  r   rÂ   Úsort_valuesÚilocr%  Ú	DataFrameÚreset_index)r^  ÚthrÚpicksÚn_okrÊ   rÝ   Úoks          r6   Úselect_rulerž  Ž  s¶   € Ø€EØ€DØ—	‘	˜'Ö"‰ˆˆ1Øˆq�u‰u˜‰|‰_ˆÜˆrŒ7Ø�A‰IˆDØ�L‰L˜Ÿ™Ò(;ÒG[˜Ó\×aÑaÐbcÑdÕeà�L‰L˜Ÿ™Ò':ÒFZ˜Ó[×`Ñ`ÐabÑcÕdð #ô �<‰<˜Ó×*Ñ*°Ð*Ó5°tÐ;Ð;r7   c                 ó€   — t        j                  | «      }t        j                  ||t        |«      t        |«      «      S ©N)rŽ   Úto_evÚofficialrî   )Ústreamsr—   Úp_stayÚscaleÚevs        r6   Ú
score_pickr§  ›  s-   € Ü	
�‰�Ó	€BÜ�:‰:�b˜"œe F›m¬U°5«\Ó:Ð:r7   c                  ó°  — t         j                  j                  dd«      j                  «       } | st	        t
        «      S | j                  d«      D �ch c]#  }|j                  «       sŒ|j                  «       ’Œ% }}t
        D �cg c]  }|d   |v sŒ|‘Œ }}||D �ch c]  }|d   ’Œ	 c}z
  }|rt        dt        |«      › �«      ‚|S c c}w c c}w c c}w )NÚONLYÚ Ú,r   zunknown ONLY names: )	ÚosÚenvironÚgetÚstripÚlistÚCONFIGSÚsplitÚ
SystemExitÚsorted)Úonlyræ   ÚnamesÚcÚcfgsÚmissings         r6   Úwanted_configsrº     s¼   € Ü�:‰:�>‰>˜& "Ó%×+Ñ+Ó-€DÙÜ”G‹}ÐØ $§
¡
¨3¤Ó=¡˜1°1·7±7µ9ˆQ�W‰W�Y €EÐ=ÝÓ0‘w�! ! A¡$¨%¢-ŠA�w€DÐ0Ø¡TÓ*¡T �q˜“t TÑ*Ñ*€GÙÜÐ/´°w³Ð/@ÐAÓBÐBØ€Kùò >ùÚ0ùÚ*s   ÁC	Á)C	ÂCÂCÂCc                 ó   — t        | d¬«       t        j                  t        j                  j	                  t
        «      d¬«       t        t
        d«      5 }|j                  | dz   «       d d d «       y # 1 sw Y   y xY w)NTr2  ©Úexist_okrå   Ú
)rO  r¬  ÚmakedirsÚpathÚdirnameÚLOGÚopenÚwrite)ÚtextÚfhs     r6   Úlog_linerÇ  ¬  sL   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ø
�‰�˜‘Ô÷ 
�‰ús   ÁA4Á4A=c                  ó  ‡)‡*‡+‡,‡-‡.‡/‡0‡1— t        j                  t         j                  j                  «       rdnd«      Š+t	        d‰+› dt
        › dt        › �«       dt         j                  j                  j                  _	        dt         j                  j                  _	        t        j                  «        t        j                  «       } t        t        j                   | D �cg c]
  }|d   d   ‘Œ c}«      «      }t        t        j                   | D �cg c]
  }|d   d	   ‘Œ c}«      «      }t	        d
|d›d|d›�«       t#        |dz
  «      dkD  st#        |dz
  «      dkD  rt%        d«      ‚t'        ‰+«       t)        «       Š,t+        j,                  t.        d¬«       t1        «       Š*t*        j2                  j5                  d«      rñ‰*d   }t6        D �cg c]	  }|dvsŒ|‘Œ }}t9        ||‰,‰+t;        t
        d«      ¬«      \  }}}	t=        |‰,|d      ||	|d   ‰+«      }
t        j>                  |D �ci c]  }||
|   “Œ
 c}|«      \  }}tA        j@                  «       }t        jB                  d|
d   ||dz  d«      }t	        d|d   d›d|d	   d›d|d    d!›d"tA        j@                  «       |z
  d#›d$�	«       y i Š)g Š0g }tE        t6        «      D ])  \  }}t6        |dz   d  D ]  }|jG                  ||f«       Œ Œ+ ˆ)ˆ0fd%„}‰*D �]  }|d   |d   |d   }}}|D ]ç  \  }}t6        D �cg c]  }|||fvsŒ
|‘Œ }}t9        ||‰,‰+t
        «      \  }}}	t*        jH                  jK                  t.        |› d&tM        ||f«      › d'�«      }t        jN                  |jQ                  «       ||	||d(œ|«       t=        |‰,|   ||	|‰+«      }
|
‰)|||f<   |
‰)|||f<   ~‰+jR                  dk(  sŒÊt         j                  jU                  «        Œé  ||«       �Œ	 ‰*D �cg c]  }|d   ‘Œ	 c}Š-tW        ‰-«      dk\  rH|D ]4  \  }}tY        ‰-D �cg c]
  }‰)|||f   ‘Œ c}«      }|‰)d)||f<   |‰)d)||f<   Œ6 ‰-d)gz   } |d)«       n‰-}t[        j\                  ‰0«      }t+        j,                  t*        jH                  j_                  t`        «      d¬«       |jc                  t`        d*¬+«       t	        d,t`        › �«       |je                  g d-¢«      g d.¢   j!                  «       jg                  «       }i Š/ˆ*ˆ+ˆ,ˆ-ˆ/ˆ1fd/„Š1g Š.ˆ.ˆ1fd0„}ti        |tj        «      \  }}t	        d1|› d2tj        d3›d4|jl                  j!                  «       d›d|jn                  j!                  «       d›�«       |jq                  «       D ]`  \  } }t	        d5|jr                  › d6|jt                  › d7|jv                  › d8|jx                  › d4|jl                  d›d|jn                  d›�«       Œb  |d9|«       |D ]|  }||jt                  |k(     }!ti        |!tj        «      \  }"}t	        d:|› d;|› d<|"jl                  j!                  «       d›d|"jn                  j!                  «       d›�«        |d=|› �|"«       Œ~ t[        j\                  ‰.«      }#|#jc                  tz        d*¬+«       t	        d>«       |#je                  d?«      D ]o  \  }$}!|!g d.¢   j!                  «       }%t	        d5|$d@›dA|%jl                  d›d|%jn                  d›dB|%j|                  d›dC|%j~                  d!›dD|%j€                  d!›�«       Œq |#|#j‚                  d9k(     }&t        |&jl                  j!                  «       «      t        |&jn                  j!                  «       «      }(}'t	        dE|'d›d|(d›�«       t	        dFt…        |'dGkD  xr |(dHkD  «      › �«       t	        d,tz        › �«       y c c}w c c}w c c}w c c}w c c}w c c}w c c}w )INr(  rj  zdevice z  steps z  batch Tr!   r‘  r’  zreproduced lda4 @ 0.998  H ú.4fz  Acc ú.2fg°rh‘í|é?gü©ñÒMb@?gq=
×£@R@rN   z>baseline reproduction does not match the published LDA numbersr¼  ÚSMOKEr   )ÚAVGCÚDTUr  )rS  r   rÍ  r   r   zsmoke DTU inner H ú Acc ú L ÚLr1  z (z.1fr5  c                 ó8  •— t         D ]µ  }t         D ]ª  }||k(  rŒ	t         D �cg c]  }|||fvsŒ
|‘Œ }}‰| ||f   }t        j                  |D �ci c]  }|||   “Œ
 c}|«      \  }}t        D ]L  }t        D ]A  }	t        j
                  |||   |||	z  |«      }
‰j                  t        d||| ||	dœ|
¤Ž«       ŒC ŒN Œ¬ Œ· t        j                  ‰D �
cg c]  }
|
d   | k(  sŒ|
‘Œ c}
«      }|j                  g d¢«      g d¢   j                  «       j                  «       }t        |j                  | ¬«      t        «      \  }}t!        d| › d|› d|j"                  j                  «       d	›d
|j$                  j                  «       d›�«       y c c}w c c}w c c}
w )N)r�  ÚinnerrW  r¤  r¥  rW  )r�  r¤  r¥  r�  )rW  zinner ú: z/5 Acc>=74  H rÉ  rÎ  rÊ  r¥   )r   rŽ   ÚemisÚP_STAYÚSCALESÚevaluaterÂ   rÅ   r%  r˜  r•  rŸ   r™  rž  ÚassignÚTHRrÇ  r‘  r’  )rT  r�  Úinner_dsr2   Útrain_dsr£  rµ   r¶   r  r¥  ÚrÚsubÚgrouped_oner›  rœ  ÚcacherÞ   s                  €€r6   Ú
score_namezmain.<locals>.score_name×  s™  ø€ ßˆEß#�Ø˜uÒ$ØÝ'.ÓM¡w !°!¸EÀ8Ð;LÒ2LšA w�ÐMØ  u¨hÐ 7Ñ8�ÜŸ™¹Ó A¹°1  G¨A¡J¡¸Ñ AÀ8ÓL‘��Bß�Aß!'˜ÜŸJ™J x°¸Ñ1BÀBÈÈUÉ
ÐTUÓV˜ØŸ™¤Dð %;¨u¸HÈDÐYZØ/4ñ%;Ø89ñ%;õ <ñ "(ñ  ñ $ð ô �l‰l¡tÓB¡t !¨q°©z¸TÓ/AšA tÑBÓCˆØ—k‘kÒ">Ó?Ò@SÑT×YÑYÓ[×gÑgÓiˆÜ! +×"4Ñ"4¸4Ð"4Ó"@Ä#ÓF‰ˆˆtÜ�6˜$˜˜r $  ~°e·g±g·l±l³nÀSÐ5IÈÈuÏyÉyÏ~É~ÓO_Ð`cÐNdÐeÕfùò Nùâ Aùò Cs   ¢F®FÁFÃFÃ!FÚ__ú.pt©Ústaterµ   r¶   rR  rC  Úens_allF)Úindexzwrote )r�  rW  r¤  r¥  )r‘  r’  r“  rÐ  Úacc1c                 ó^  •‡ — ‰ |f}|‰v r‰|   S ‰ dk(  r)‰D �cg c]  } ‰||«      ‘Œ }}t        |«      ‰|<   ‰|   S t        ˆ fd„‰D «       «      }t        D �cg c]
  }||k7  sŒ	|‘Œ }}t        ||‰‰t        «      \  }}	}
t
        j                  j                  t        ‰ › d|› d�«      }t        j                  |j                  «       |	|
||dœ|«       t        |‰|d      |	|
|d   ‰«      ‰|<   ~‰j                  dk(  rt        j                  j                  «        ‰|   S c c}w c c}w )	Nrå  c              3   ó4   •K  — | ]  }|d    ‰k(  sŒ|–— Œ y­w)r   Nr¥   )Ú.0r·  rT  s     €r6   Ú	<genexpr>z,main.<locals>.streams_for.<locals>.<genexpr>  s   øè ø€ Ð3™d˜ a¨¡d¨d£l”1™dùs   ƒ‘z__held-râ  rã  r!   r   r(  )r‰  Únextr   rg  r	   r¬  rÀ  rQ  ÚCKPTr`   ÚsaveÚ
state_dictr{  r9  r(  Úempty_cache)rT  r�  r™   ræ   ÚpartsrR  r2   rÛ  rW  rµ   r¶   rÀ  r¸  rë   r­   r¶  ÚrefitÚstreams_fors   `           €€€€€€r6   ró  zmain.<locals>.streams_for  s6  ù€ Ø�UˆmˆØ�%‰<Ø˜‘:ÐØ�9ÒÙ49Ó:±E¨q‘[  EÕ*°EˆEÐ:Ü(¨Ó/ˆE�#‰JØ˜‘:ÐÜÓ3™dÓ3Ó3ˆÝ&Ó5™w˜!¨!¨u«*’A˜wˆÐ5Ü# C¨°4¸ÄÓG‰ˆˆr�2Ü�w‰w�|‰|œD T F¨'°%°¸Ð"<Ó=ˆÜ�
‰
˜U×-Ñ-Ó/°rÀÈCÐZbÑcÐeiÔjÜ˜u d¨3¨q©6¡l°B¸¸CÀ¹FÀFÓKˆˆc‰
ØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$Ø�S‰zÐùò ;ùò 6s   ™D%Á
D*Á%D*c                 ó²  •— |j                  «       D �]B  \  }} ‰|j                  |j                  «      }t        ||j                  |j                  |j
                  «      }‰j                  t        | |j                  |j                  t        |j                  «      t        |j
                  «      |d   |d   |d   |d   |d   t        |j                  «      t        |j                  «      d¬«      «       t        | › d|j                  › d|j                  › d	|j                  › d
|j
                  › d|d   d›d|d   d›d|d   d›d|d   d›�«       �ŒE y )Nr‘  r’  r“  rÐ  rç  r¢  )Úroler—   rW  r¤  r¥  r‘  r’  r“  rÐ  rç  Úinner_HÚ	inner_AccÚscorerÚ ú p ú sc ú  H rÉ  rÎ  rÊ  z SDT rÏ  r1  )ÚiterrowsrW  r�  r§  r¤  r¥  rÂ   rÅ   rî   r‘  r’  rÇ  )rõ  r›  rÊ   Úbr£  ÚoffÚout_rowsró  s         €€r6   Úemitzmain.<locals>.emit!  s9  ø€ Ø—N‘N×$‰DˆAˆqÙ! !§'¡'¨1¯7©7Ó3ˆGÜ˜W a§g¡g¨q¯x©x¸¿¹ÓAˆCØ�O‰OœD d¨q¯w©w¸a¿g¹gÌeÐTU×T\ÑT\ËoÜ',¨Q¯W©W£~¸¸S¹ÀsÈ5ÁzÐWZÐ[`ÑWaØ#& s¡8°#°f±+ÄuÈQÏSÉSÃzÔ]bÐcd×chÑchÓ]iØ(2ô4ô 5ô ˜�v˜Q˜qŸw™w˜i q¨¯©¨	°°Q·X±X°J¸dÀ1Ç7Á7À)ð LØ˜c™( 3˜ u¨S°©Z¸Ð,<¸EÀ#ÀeÁ*ÈSÐAQÐQTÐUXÐY\ÑU]Ð^aÐTbðdö eñ %r7   zselect acc74: z/5 folds reached inner Acc>=rÝ   z
  inner H z  rù  rú  rû  Úacc74zfamily rÓ  z/5 inner Acc>=74  inner H Úfamily_zmeans:rõ  Ú20srü  z  SDT z  L z  acc1 zPRIMARY acc74  H zgoal H>0.85 and Acc>80: g333333ë?éP   )Cr`   rë   r(  Úis_availablerÇ  r	   r   ÚbackendsÚmatmulÚ
allow_tf32ÚcudnnrŽ   Úload_allÚcheck_fast_matches_officialrî   ry   rŸ   rì   rÁ   r„  r¦   r¬  r¿  rí  rº  r­  r®  r   rg  rl   r{  rÔ  rD  r×  rÏ   rÂ   rÀ  rQ  r�  rî  rï  r9  rð  r   r‰  r%  r˜  rÁ  ÚINNERÚto_csvr•  r™  rž  rÙ  r‘  r’  rý  r�  rW  r¤  r¥  ÚOUTr“  rÐ  rç  rõ  Úbool)2Úchecksr·  Úbase_HÚbase_AccrR  r2   rÛ  rW  rµ   r¶   r£  Úmu_eÚsd_eÚt1rÜ  Úexcluded_pairsrx  rå   rþ  rà  rT  rU  rX   rÀ  ræ   ÚavgÚmodel_namesrÒ  Úgroupedr  r›  rœ  rÊ   rÝ  ÚfpÚdfrõ  r^  Úprimr=   rf  rß  r¸  rë   r­   r¶  r   rò  rÞ   ró  s2                                            @@@@@@@@@r6   Úmainr  ³  s‡  ÿø€ Ü�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜˆw�v�h˜h¤u g¨X´e°WÐ=Ô>Ø,0„E‡N�N×Ñ×ÑÔ)Ø&*„E‡N�N×ÑÔ#Ü‡J�J„LÜ×*Ñ*Ó,€FÜ”2—7‘7©vÓ6©v¨!˜A˜a™D ›I¨vÑ6Ó7Ó8€FÜ”R—W‘W±6Ó:±6¨a˜a ™d 5›k°6Ñ:Ó;Ó<€HÜÐ*¨6°#¨,°f¸XÀc¸NÐKÔLÜ
ˆ6�F‰?Ó˜dÒ"¤c¨(°UÑ*:Ó&;¸dÒ&BÜÐ[Ó\Ð\Ü�&ÔÜÓ€DÜ‡K�K”˜tÕ$ÜÓ€Dä	‡z�z‡~�~�gÔØ�1‰gˆÝ&ÓC™w˜!¨!°?Ò*B’A˜wˆÐCÜ# C¨°4¸ÄsÌ5ÐRTÃ~ÔV‰ˆˆr�2Ü˜E 4¨¨A©¡<°°R¸¸Q¹ÀÓHˆÜ—V‘V±HÓ=±H¨q˜Q ¨¡
™]°HÑ=¸xÓH‰
ˆˆdÜ�Y‰Y‹[ˆÜ�J‰J�u˜g e™n¨d°D¸3±JÀÓFˆÜÐ% a¨¡f¨S \°°q¸±xÀ°nÀCÈÈ#ÉÈsÀ|ð TÜ—Y‘Y“[ 2Ñ% cÐ*¨"ð.ô 	/àà€EØ€DØ€NÜœ'Ö"‰ˆˆ1Ü˜˜Q™˜“ˆAØ×!Ñ! 1 a &Õ)ñ !ð #õgô$ ˆØ" 1™v s¨1¡v¨s°1©v�fˆfˆÛ"‰DˆAˆqÝ#*Ó>¡7˜a¨a¸¸1°vªoš 7ˆHÐ>Ü'¨¨X°t¸VÄUÓK‰MˆE�2�rÜ—7‘7—<‘<¤¨¨¨b´¸aÀ¸VÓ1DÐ0EÀSÐ&IÓJˆDÜ�J‰J ×!1Ñ!1Ó!3¸2ÀRÐPSØ!)ñ+Ø,0ô2ä  t¨F¡|°R¸¸VÀVÓLˆGØ")ˆE�4˜˜A�,ÑØ")ˆE�4˜˜A�,ÑØØ�{‰{˜fÓ$Ü—
‘
×&Ñ&Õ(ð #ñ 	�4Öð ñ   Ó ™4�aˆQˆq‹T˜4Ñ €EÜ
ˆ5ƒz�Q‚Û"‰DˆAˆqÜ!¹UÓ"C¹U¸ 5¨!¨Q°¨Ó#3¸UÑ"CÓDˆCØ'*ˆE�9˜a Ð#Ñ$Ø'*ˆE�9˜a Ð#Ò$ð #ð ˜y˜kÑ)ˆÙ�9Õàˆä�L‰L˜Ó€EÜ‡K�K”—‘—‘¤Ó&°Õ6Ø	‡L�L”˜e€LÔ$Üˆv”e�WÐÔØ�m‰mÒAÓBÒCcÑd×iÑiÓk×wÑwÓy€Gà€E÷ñ ð& €Hõ	eô ˜g¤sÓ+�K€Eˆ4Üˆ~˜d˜VÐ#?ÄÀA¸wð GØŸ™Ÿ™› sÐ+¨5°·±·±Ó1AÀ#Ð0FðHô Ià—‘Ö ‰ˆˆ1Ü�2�a—g‘g�Y˜a §¡˜y¨¨A¯H©H¨:°T¸!¿'¹'¸À*ÈQÏSÉSÐQTÈIÐUZÐ[\×[`Ñ[`ÐadÐZeÐfÕgð !áˆ�%ÔãˆØ�g—m‘m tÑ+Ñ,ˆÜ˜s¤CÓ(‰ˆˆDÜ�7˜4˜&  4 &Ð(BÀ2Ç4Á4Ç9Á9Ã;ÈsÐBSÐSXÐY[×Y_ÑY_×YdÑYdÓYfÐgjÐXkÐlÔmÙˆw�t�fÐ˜rÕ"ð	 ô 
�‰�hÓ	€BØ‡I�IŒc˜€IÔÜˆXÔØ—Z‘Z Ö'‰	ˆˆcØÒ0Ñ1×6Ñ6Ó8ˆÜ�2�d˜3�Z˜t A§C¡C¨ 9¨F°1·5±5¸°+¸VÀAÇEÁEÈ#À;ÈdÐST×SVÑSVÐWZÐR[Ð[bÐcd×ciÑciÐjmÐbnÐoÕpð (ð ˆb�g‰g˜Ñ Ñ!€DÜ�4—6‘6—;‘;“=Ó!¤5¨¯©¯©«Ó#9€s€AÜÐ   3  v¨c°#¨YÐ7Ô8ÜÐ'¬¨Q°©XÒ-B¸#À¹(Ó(CÐ'DÐEÔFÜˆv”c�Uˆ^ÕùòS 7ùÚ:ùò Dùò >ùòF ?ùò !ùò #Ds6   Ã#_,Ä_1Ç	_6Ç_6È3_;Ì%` Ì1` Ð`Ð>`

Ú__main__z--modeÚlodoÚexternal)ÚchoicesÚdefaultz--stage)ÚallÚprobeÚlogitsrC  Útestr$  z›external mode only: probe times a few trials; logits builds caches; train fits the four recipes; test scores AASD and Carta2026; all does logits+train+test)r"  r#  Úhelp)Úrunz*--stage is only valid with --mode externalr   )LrE   r<  r  r¬  rD  rk  ry   Úpandasr%  r`   Útorch.nnr&   Útorch.nn.functionalÚ
functionalr9   Úensemble_clf_nestedrŽ   Úcommonr   rÀ  rÁ  ÚabspathÚ__file__ÚEXPrQ  r  r  rí  rÂ  r8  rÆ   r­  r®  r	   r   rÕ  rÖ  rÙ  r±  ÚModuler   rI   r…   r    r¦   r·   rË   rç   rø   r  r  r&  rg  rP  rk   r{  r„  r‰  r�  rž  r§  rº  rÇ  r  rB   ÚargparseÚArgumentParserÚapÚadd_argumentÚ
parse_argsÚargsÚmodeÚexternal_train_v2r)  Ústager³  r¥   r7   r6   Ú<module>r=     sA  ðñ!óD Û Û 	Û ã Û Û Ý ß Ð ã Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø‡g�g‡l�l�3˜	 :Ð/PÓQ€Ø
�‰�‰�S˜) ZÐ1XÓY€Ø	‡w�w‡|�|�C˜ =Ó1€Ø‡g�g‡l�l�3˜Ð';Ó<€à€
ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€Ø	%€Ø	€Ø
€ð€ô3�b—i‘iô 3ô"-E�r—y‘yô -Eò`@ò ò.2ò8ó +ò(òBò/ò"	ò7ó.òb5ð €‡�ƒñó ðò00ò	ò&ò
<ò;ò
	òòPðf ˆzÒÛØ	 ˆ×	 Ñ	 Ó	"€BØ‡O�O�H v¨zÐ&:ÀF€OÔKØ‡O�O�IÒ'RÐ\aðsð ô tð �=‰=‹?€DØ‡y�y�JÒÝ)ÙˆD�J‰J�à�:‰:˜ÒÙÐIÓJÐJÙ�ð r7   