Ë
    ¨räjEX  ã                   óp  — d Z ddlZddlZddlZddlZddlZddlZddl	Z	ddl
mZ ddlmc mZ ddlZddlmZ ej&                  j)                  ej&                  j+                  e«      «      Zej&                  j1                  eddd«      Zej&                  j1                  eddd«      Zej&                  j1                  edd	«      Zej&                  j1                  ed
d«      ZdZ eej>                  jA                  dd«      «      Z! eej>                  jA                  dd«      «      Z"dZ#dZ$dZ%dZ& G d„ dejN                  «      Z( G d„ dejN                  «      Z)d„ Z*d„ Z+d„ Z,d„ Z-d„ Z.d„ Z/d„ Z0d „ Z1d!„ Z2d"„ Z3d#„ Z4 e	jj                  «       d$„ «       Z6d%„ Z7d&„ Z8d'„ Z9d(„ Z:d)„ Z;d*„ Z<d+„ Z=d,„ Z>e?d-k(  r e>«        yy).ah  Causal logit transformer, second round.

Same leave-one-dataset-out protocol as ensemble_clf_transformer.py:
  * train only on datasets that are neither the outer (held-out) nor the inner dataset
  * choose the model and the HMM (p_stay, emission scale) by the acc74 rule on inner
    scores only: among settings with mean inner Acc >= 74, maximise inner H
    (ties: higher Acc, then lower SDT). If none reach 74, take the highest inner Acc
  * refit on the four non-held-out datasets and score the held-out dataset once
    with score.score_dataset

H is the official harmonic mean of accuracy (fraction) and switch score L
(aggregate() in the challenge scorer). Accuracy is the official subject-mean
sample accuracy. Neither split nor metric is changed.

What is new, relative to tf_hp_w48 (H 0.8208, Acc 78.09):
  recipe_hp48  same width, depth, window and hp120 features, but every causal
               position is supervised, dataset-balanced batches, cosine LR,
               EMA, input noise, seed dropout, time masking, post-switch
               loss weights, and a zero-init residual over a linear skip
  ms_w96       24-d causal features (raw, hp60, hp120, z60, 1 s slope, 2 s mean),
               d=64, window 96, same training recipe
  ms_w192      those features with a 48 s window
  stem_ms96    depthwise causal conv + dilated residual conv stem in front of
               the ms_w96 transformer
  ens_all      equal average of the four evidence streams (HMM still chosen on inner)

Train seed 20270101. usage: python ensemble_clf_transformer_v2.py
writes results/research/ensemble_clf_transformer_v2.csv and _inner.csv
é    N)ÚDS_KEYSÚresultsÚresearchzensemble_clf_transformer_v2.csvz%ensemble_clf_transformer_v2_inner.csvÚmodelsÚlogit_tf_v2Úexperimentsztransformer_v2.logiL5ÚSTEPSÚ800ÚBATCHÚ512)g+‡ÙÎï?ç¬Zd;ßï?g�•C‹lçï?gV-²�ïï?)gš™™™™™é?çÍÌÌÌÌÌì?ç      ð?g     €R@))Úrecipe_hp48Úhpé0   é    é   Fçü©ñÒMbP?)Úms_w96Úmsé`   é@   r   Fç-Cëâ6J?)Úms_w192r   éÀ   r   r   Fr   )Ú	stem_ms96r   r   r   r   Tr   c                   ó*   ‡ — e Zd ZdZdˆ fd„	Zd„ Zˆ xZS )ÚDilatedResidualzCCausal dilated conv. Zero-init so the block starts as the identity.c                 ó¬  •— t         ‰| �  «        |dz
  |z  | _        t        j                  ||||¬«      | _        t        j                  |«      | _        t        j                  |«      | _	        t        j                  j                  | j
                  j                  «       t        j                  j                  | j
                  j                  «       y )Né   )Údilation)ÚsuperÚ__init__ÚpadÚnnÚConv1dÚconvÚ	LayerNormÚnormÚDropoutÚdropÚinitÚzeros_ÚweightÚbias)ÚselfÚdÚkr"   ÚdropoutÚ	__class__s        €ú6/root/disk_3tb/eeg-thao/ensemble_clf_transformer_v2.pyr$   zDilatedResidual.__init__E   s…   ø€ Ü‰ÑÔØ˜‘E˜XÑ%ˆŒÜ—I‘I˜a  A°Ô9ˆŒ	Ü—L‘L “OˆŒ	Ü—J‘J˜wÓ'ˆŒ	Ü
�‰�‰�t—y‘y×'Ñ'Ô(Ü
�‰�‰�t—y‘y—~‘~Õ&ó    c                 ó  — | j                  t        j                  |j                  dd«      | j                  df«      «      j                  dd«      }|| j	                  t        j
                  | j                  |«      «      «      z   S )Nr!   r   r   )r(   ÚFr%   Ú	transposer,   Úgelur*   )r1   ÚxÚhs      r6   ÚforwardzDilatedResidual.forwardN   s`   € Ø�I‰I”a—e‘e˜AŸK™K¨¨1Ó-°·±¸!¨}Ó=Ó>×HÑHÈÈAÓNˆØ�4—9‘9œQŸV™V D§I¡I¨a£LÓ1Ó2Ñ2Ð2r7   )é   r!   çš™™™™™¹?©Ú__name__Ú
__module__Ú__qualname__Ú__doc__r$   r>   Ú__classcell__©r5   s   @r6   r   r   B   s   ø„ ÙMõ'ö3r7   r   c                   ó*   ‡ — e Zd ZdZdˆ fd„	Zd„ Zˆ xZS )ÚLogitTransformerzëCausal window encoder. Logit at position t uses only frames <= t.

    The linear skip is initialised to the mean of the raw logit channels and the
    transformer head starts at zero, so the network begins as that linear readout.
    c                 óÈ  •— t         ‰| �  «        || _        d| _        d | _        |r‘t        j                  ||| j                  dz   |¬«      | _        t
        j                  j                  | j                  j                  «       t
        j                  j                  | j                  j                  «       t        j                  ||«      | _        |r0t        j                  dD �cg c]  }t        |d||¬«      ‘Œ c}«      nt        j                  «       | _        t        j                   t#        j$                  d||«      dz  «      | _        t        j(                  |||dz  |d	d	d
¬«      }	t        j*                  |	|d¬«      | _        t        j                  |d«      | _        t        j                  |dd¬«      | _        t
        j2                  j5                  |«      }
| j7                  d|
«       t
        j                  j                  | j.                  j                  «       t
        j                  j                  | j.                  j                  «       t
        j                  j                  | j0                  j                  «       t#        j8                  «       5  d| j0                  j                  dd t;        d|«      …f<   d d d «       y c c}w # 1 sw Y   y xY w)Né   r!   )Úgroups)r!   r   é   rK   r?   )r3   r"   r4   ç{®Gáz”?r   Tr;   )Úd_modelÚnheadÚdim_feedforwardr4   Úbatch_firstÚ
norm_firstÚ
activationF)Ú
num_layersÚenable_nested_tensor)r0   Úmaskg      Ð?r   rM   )r#   r$   ÚwindowÚdw_padÚdwr&   r'   r-   r.   r/   r0   ÚLinearÚprojÚ
ModuleListr   ÚblocksÚ	ParameterÚtorchÚrandnÚposÚTransformerEncoderLayerÚTransformerEncoderÚencÚheadÚskipÚTransformerÚgenerate_square_subsequent_maskÚregister_bufferÚno_gradÚmin)r1   Úc_inrX   rO   rP   Únlayersr4   Ústemr2   ÚlayerrW   r5   s              €r6   r$   zLogitTransformer.__init__Z   s	  ø€ Ü‰ÑÔØˆŒØˆŒØˆŒÙÜ—i‘i  d¨D¯K©K¸!©OÀDÔIˆDŒGÜ�G‰G�N‰N˜4Ÿ7™7Ÿ>™>Ô*Ü�G‰G�N‰N˜4Ÿ7™7Ÿ<™<Ô(Ü—I‘I˜d GÓ,ˆŒ	ñ ô —m‘má!ó%
á!�ô ˜G q°1¸gÖFØ!ñ%
ô ô Ÿ™›ð 	Œô —<‘<¤§¡¨A¨v°wÓ ?À$Ñ FÓGˆŒÜ×*Ñ*Ø 5¸'ÀA¹+Ø¨¸$È6ôSˆô ×(Ñ(¨¸7ÐY^Ô_ˆŒÜ—I‘I˜g qÓ)ˆŒ	Ü—I‘I˜d A¨EÔ2ˆŒ	Ü�~‰~×=Ñ=¸fÓEˆØ×Ñ˜V TÔ*Ü
�‰�‰�t—y‘y×'Ñ'Ô(Ü
�‰�‰�t—y‘y—~‘~Ô&Ü
�‰�‰�t—y‘y×'Ñ'Ô(Ü�]‰]�_Ø2;ˆD�I‰I×Ñ˜Q ¤# a¨£, Ð.Ñ/÷ ˆ_ùò!%
÷  ˆ_ús   Ã(KÊ"(KËK!c           	      ó$  — |}| j                   �T|| j                  t        j                  |j                  dd«      | j                  df«      «      j                  dd«      z   }| j                  |«      }| j                  D ]
  } ||«      }Œ || j                  d d …d |j                  d«      …f   z   }| j                  || j                  ¬«      }| j                  |«      j                  d«      | j                  |«      j                  d«      z   S )Nr!   r   r   )rW   éÿÿÿÿ)rZ   r9   r%   r:   rY   r\   r^   rb   Úsizere   rW   rf   Úsqueezerg   )r1   r<   Úrawr=   Úblocks        r6   r>   zLogitTransformer.forwardw   sà   € ØˆØ�7‰7ÐØ�D—G‘GœAŸE™E !§+¡+¨a°Ó"3°d·k±kÀ1Ð5EÓFÓG×QÑQÐRSÐUVÓWÑWˆAØ�I‰I�a‹LˆØ—[”[ˆEÙ�a“‰Að !à�—‘š˜K˜aŸf™f Q›i˜K˜Ñ(Ñ(ˆØ�H‰H�Q˜TŸY™YˆHÓ'ˆØ�y‰y˜‹|×#Ñ# BÓ'¨$¯)©)°C«.×*@Ñ*@ÀÓ*DÑDÐDr7   )r   rM   r   r@   FrA   rG   s   @r6   rI   rI   S   s   ø„ ñõ<ö:	Er7   rI   c                 óN  — t        j                  t        j                  d| j                  d   f«      t        j                  | d¬«      g«      }t        j
                  t        | «      «      }t        j                  d||dz
  z
  «      }||dz      ||   z
  ||z
  dz   d d …d f   z  S )Nr!   r   )Úaxis)ÚnpÚvstackÚzerosÚshapeÚcumsumÚarangeÚlenÚmaximum)ÚDr3   ÚcsÚidxÚlefts        r6   Úcausal_meanr…   ƒ   sŒ   € Ü	�‰”B—H‘H˜a §¡¨¡˜_Ó-¬r¯y©y¸ÀÔ/CÐDÓ	E€BÜ
�)‰)”C˜“FÓ
€CÜ�:‰:�a˜  A¡™Ó'€DØˆs�Q‰w‰K˜"˜T™(Ñ" s¨T¡z°A¡~²q¸$°wÑ&?Ñ?Ð?r7   c            
      ó  — i i }} dt        j                  d«      z
  }t        D �]_  }i i c| |<   ||<   t        j                  d   d   |   j                  «       D �]&  \  }}t        j                  |t         j                  «      }t        j                  |d«      }|t        j                  ||«      z
  }t        j                  |d«      }	t        j                  |«      }
t        |«      dkD  r|dd |dd	 z
  |
dd t        |d
«      }t        j                  ||gd«      j                  t         j                  «      | |   |<   t        j                  ||||	|
|gd«      j                  t         j                  «      ||   |<   �Œ) �Œb | |dœS )zQFull-history causal features. hp matches ensemble_clf_transformer.build_features.r   ga¿ÚbaseÚidÚhp60Úz60rM   NéüÿÿÿrK   r!   )r   r   )ry   Úexpr   ÚNÚGÚitemsÚasarrayÚfloat64Úxform_arrayÚema_2dÚ
zeros_liker   r…   ÚconcatenateÚastypeÚfloat32)r   r   Úalpha120ÚdsÚkeyÚD0r�   Úh60Úh120ÚzÚslopeÚmeans               r6   Úbuild_featuresr¡   Š   s^  € à�ˆ€BØ”R—V‘V˜MÓ*Ñ*€HßˆgˆØ˜Rˆˆˆ2‰��2‘Ü—s‘s˜6‘{ 4Ñ(¨Ñ,×2Ñ2×4‰GˆC�Ü—
‘
˜2œrŸz™zÓ*ˆAÜ—-‘-  6Ó*ˆCØ”q—x‘x  8Ó,Ñ,ˆDÜ—‘˜a Ó'ˆAÜ—M‘M !Ó$ˆEÜ�1‹v˜ŠzØ˜a˜b˜E A c r F™N��a�b�	Ü˜q !Ó$ˆDÜŸ.™.¨!¨T¨°AÓ6×=Ñ=¼b¿j¹jÓIˆBˆr‰F�3‰KÜŸ.™.¨!¨S°$¸¸5À$Ð)GÈÓK×RÑRÔSU×S]ÑS]Ó^ˆBˆr‰F�3‹Kò 5ð ð ˜BÑÐr7   c                 ó:  — d}d }d }|D ]œ  }| |   j                  «       D ]„  }|t        |«      z  }|j                  d«      j                  t        j
                  «      }t	        j                  |t        j
                  ¬«      j                  d«      }|€|n||z   }|€|n||z   }Œ† Œž ||z  }	t	        j                  t	        j                  ||z  |	dz  z
  d«      «      }
|	j                  t        j                  «      |
j                  t        j                  «      fS )Nr   )Údtyper   g:Œ0âŽyE>)
Úvaluesr   Úsumr–   ry   r‘   ÚsquareÚsqrtr€   r—   )ÚfeatÚdatasetsÚacc_nÚacc_sÚacc_sqr™   ÚXÚsÚsqÚmuÚsds              r6   Ú
norm_statsr²   ž   sê   € Ø€EØ€EØ€FÛˆØ�b‘—‘Ö"ˆAØ”S˜“V‰OˆEØ—‘�a“—‘¤§
¡
Ó+ˆAÜ—‘˜1¤B§J¡JÔ/×3Ñ3°AÓ6ˆBØ˜‘A¨E°A©IˆEØ!˜>‘R¨v¸©{‰Fñ #ð ð 
�‰€BÜ	�‰”—‘˜F U™N¨R°1©WÑ4°dÓ;Ó	<€BØ�9‰9”R—Z‘ZÓ  "§)¡)¬B¯J©JÓ"7Ð7Ð7r7   c                 óÞ  — g }g }|D �]G  }t         j                  d   |   }g }| |   j                  «       D ]Ž  \  }}||   dk(  j                  t        j
                  «      }	t        |	«      t        |«      k7  r)t        dt        |	«      › dt        |«      › d|› d|› �«      ‚|j                  ||	f«       |j                  |	«       Œ� t	        j                  |D �
�	cg c]  \  }
}	t        |	«      ‘Œ c}	}
t        j                  «      }|j                  t        ||t        |j                  «       «      t	        j                  |«      ¬«      «       �ŒJ |t	        j                  |«      fS c c}	}
w )NÚattr   zlabel length ú != ú for Ú/)ÚtrialsÚlengthsÚtotalÚends)r�   rŽ   r�   r–   ry   r—   r   ÚRuntimeErrorÚappendÚarrayÚint64ÚdictÚintr¥   r}   r•   )r¨   r©   rL   Úy_partsr™   r´   r¸   rš   r­   ÚyÚ_r¹   s               r6   Útrial_groupsrÅ   ®   s3  € Ø€FØ€GÜˆÜ�c‰c�%‰j˜‰nˆØˆØ˜2‘h—n‘nÖ&‰FˆC�Ø�S‘˜Q‘×&Ñ&¤r§z¡zÓ2ˆAÜ�1‹vœ˜Q›ÒÜ" ]´3°q³6°(¸$¼sÀ1»v¸hÀeÈBÈ4ÈqÐQTÐPUÐ#VÓWÐWØ�M‰M˜1˜a˜&Ô!Ø�N‰N˜1Õð 'ô —(‘(©vÔ6©v¡t q¨!œC �F¨vÒ6¼¿¹ÓAˆØ�‰”d &°'ÄÀWÇ[Á[Ã]ÓASÜ "§	¡	¨'Ó 2ô4ö 	5ð ð ”2—>‘> 'Ó*Ð*Ð*ùó 7s   ÃE)c                 ó   — |d   d   d   d   j                   d   }t        j                  |||ft        j                  «      }t        j                  ||ft        j                  «      }t        j                  ||ft        j                  «      }	t        j                  |«      t        |«      z  }
t        |«      D �]  \  }}t        j                  |
|k(  «      }t        |«      dk(  rŒ.| j                  d|d   t        |«      ¬«      }t        j                  |d   |d¬«      }||d   |d	   z
  |   z
  }|d   }t        |||«      D ]t  \  }}}|t        |«         \  }}t        |«      }||z
  dz   }|dk\  r|||dz    ||<   |||dz    ||<   d
|	|<   ŒL|dz   }|d| ||| d…f<   |d| ||| d…f<   d
|	|| d…f<   Œv �Œ ||z  }||z  }|||	fS )zJDataset-balanced windows. Each row ends at a uniform frame of one dataset.r   r¸   r!   rº   )rs   r»   Úright)Úsider¹   r   N)r|   ry   r{   r—   r~   r   Ú	enumerateÚflatnonzeroÚintegersÚsearchsortedÚziprÁ   )ÚrngrL   ÚWÚbatchr°   r±   ÚCÚXoÚyoÚmoÚds_ofÚg_iÚgÚrowsÚpickÚwhichÚlocalr¸   ÚrowÚtiÚtr<   rÃ   ÚaÚns                            r6   Úsample_batchrá   À   sî  € àˆq‰	�(Ñ˜AÑ˜qÑ!×'Ñ'¨Ñ*€AÜ	�‰�5˜!˜Q�-¤§¡Ó	,€BÜ	�‰�5˜!�*œbŸj™jÓ	)€BÜ	�‰�5˜!�*œbŸj™jÓ	)€BÜ�I‰I�eÓœs 6›{Ñ*€EÜ˜F×#‰ˆˆQÜ�~‰~˜e s™lÓ+ˆÜˆt‹9˜Š>ØØ�|‰|˜A˜q ™z´°D³	ˆ|Ó:ˆÜ—‘  &¡	¨4°gÔ>ˆØ˜˜&™	 A i¡LÑ0°%Ñ8Ñ8ˆØ�8‘ˆÜ˜d E¨5Ö1‰JˆC��QØœ#˜b›'‘?‰DˆAˆqÜ�A“ˆAØ�A‘˜‘	ˆAØ�AŠvØ˜A˜a !™e˜*��3‘Ø˜A˜a !™e˜*��3‘Ø��3’à˜‘E�Ø   !˜u��3˜˜™�8‘Ø   !˜u��3˜˜™�8‘Ø"��3˜˜™�8’ò 2ð $ð* ˆ"�H€BØˆ"�H€BØˆr�2ˆ:Ðr7   c                 ój  — t        j                  | «      }| dd…dd…f   | dd…dd…f   z
  j                  «       j                  d«      j	                  «       |dd…dd…f   z  |dd…dd…f   z  |dd…dd…f<   d}t        j
                  t        j                  || j                  | j                  ¬«       dz  «      }|j                  d«      j                  ddd«      }t        j                  t        j                  |j                  d«      |dz
  df«      |«      j                  d«      }d	d
|z  z   S )zEUpweight the frames that follow a label change. Causal in the labels.Nr!   rr   ç      à?é   )Údevicer£   g      @r   r   g      @)r`   r”   ÚabsÚgtÚfloatrŒ   r~   rå   r£   ÚflipÚviewr9   Úconv1dr%   Ú	unsqueezert   )rÃ   rW   ÚchangeÚhorizonÚdecayÚkernelÚsmooths          r6   Úswitch_weightsrò   á   s  € ä×Ñ˜aÓ €FØ’q˜!™"�u‘X ¢! S b S &¡	Ñ)×.Ñ.Ó0×3Ñ3°CÓ8×>Ñ>Ó@À4ÊÈ1É2ÈÁ;ÑNÐQUÒVWÐY\ÐZ\ÐY\ÐV\ÑQ]Ñ]€FŠ1ˆa‰bˆ5�MØ€GÜ�I‰I”u—|‘| G°A·H±HÀAÇGÁGÔLÐLÈsÑRÓS€EØ�Z‰Z˜‹]×Ñ  1 bÓ)€FÜ�X‰X”a—e‘e˜F×,Ñ,¨QÓ/°'¸A±+¸qÐ1AÓBÀFÓK×SÑSÐTUÓV€FØ��v‘ÑÐr7   c                 óŠ  — | t        j                  | «      dz  z   } | j                  \  }}}t        j                  || j                  ¬«      dk  }t        j
                  dd|f| j                  ¬«      }t        j                  || j                  ¬«      }|d d …d f   |d d d …f   dz  |d d …d f   k(  z  }| j                  |d d …d d d …f   d«      } t        j                  || j                  ¬«      dk  }t        j
                  dd|f| j                  ¬«      }	t        j
                  d||f| j                  ¬«      }
t        j                  || j                  ¬«      }t        j                  |
|	z   |¬	«      }|d d …d f   |d d d …f   |
d d …d f   k\  z  |d d d …f   |d d …d f   k  z  }| j                  |d d …d d …d f   d«      S )
Nr@   ©rå   g333333Ó?r   rM   g        r   é	   )Úmax)	r`   Ú
randn_liker|   Úrandrå   Úrandintr~   Úmasked_fillÚclamp)r<   ÚBÚTrÑ   r,   ÚseedÚchÚkillÚdoÚspanÚstartÚt_idxÚendÚcuts                 r6   Úaugmentr  ì   sŒ  € Ø	ŒE×Ñ˜QÓ #Ñ%Ñ%€AØ�g‰g�G€A€qˆ!Ü�:‰:�a §¡Ô)¨CÑ/€DÜ�=‰=˜˜A ˜t¨A¯H©HÔ5€DÜ	�‰�a §¡Ô	)€BØ’�4�‰=˜B˜t¢Q˜w™K¨!™O¨t²A°t°G©}Ñ<Ñ=€DØ	�‰�dš1˜d¢A˜:Ñ&¨Ó,€AÜ	�‰�A˜aŸh™hÔ	'¨#Ñ	-€BÜ�=‰=˜˜A ˜t¨A¯H©HÔ5€DÜ�M‰M˜!˜Q  ¨Q¯X©XÔ6€EÜ�L‰L˜ 1§8¡8Ô,€EÜ
�+‰+�e˜d‘l¨Ô
*€CØ
ŠQ�ˆW‰+˜˜t¢Q˜w™¨5²°D°©>Ñ9Ñ
:¸eÀDÊ!ÀG¹nÈsÒSTÐVZÐSZÉ|Ñ>[Ñ
\€CØ�=‰=˜šQ¢ 4˜Z™¨#Ó.Ð.r7   c                 ó  — t        dt        |dz  d«      «      }||k  r||dz   z  |z  }nJ||z
  t        ||z
  d«      z  }dd|dz
  z  dt        j                  t        j                  |z  «      z   z  z   }| j
                  D ]  }||d<   Œ	 |S )Né(   é
   r!   çñhãˆµøä>rã   r   Úlr)rl   rö   ÚmathÚcosÚpiÚparam_groups)ÚoptÚsteprº   r‡   Úwarmr  ÚpÚgroups           r6   Úset_lrr  ý   s˜   € Üˆr”3�u ‘{ AÓ&Ó'€DØˆd‚{Ø�T˜A‘XÑ Ñ%‰à�D‰[œC ¨¡¨aÓ0Ñ0ˆØ�C˜4 $™;Ñ'¨3´·±¼$¿'¹'ÀA¹+Ó1FÑ+FÑGÑGˆØ×!Ô!ˆØˆˆdŠð "à€Ir7   c                 ó  — t        j                  «       5  t        | j                  «       |j                  «       «      D ]+  \  }} |j                  |«      j                  |d|z
  ¬«       Œ- 	 d d d «       y # 1 sw Y   y xY w)Nr   )Úalpha)r`   rk   rÍ   Ú
parametersÚmul_Úadd_)ÚsrcÚdstrï   ÚpsÚpds        r6   Ú
ema_updater   	  sY   € Ü	�‰�Ü˜#Ÿ.™.Ó*¨C¯N©NÓ,<Ö=‰FˆB�ØˆB�G‰G�E‹N×Ñ ¨#°©+ÐÕ6ñ >÷ 
�‰ús   •AA6Á6A?c                 ó„  — | \  }}}}}	}
}t        ||   |«      \  }}t        ||   |«      \  }}t        |j                  «       «      }t	        j
                  d|z
  t        |d«      z  g|¬«      }|d   d   d   d   j                  d   }t	        j                  t        «       |j                  dk(  r#t        j                  j                  t        «       t        ||||	|
¬«      j                  |«      }t        j                   |«      j#                  «       }t        j$                  j'                  |j)                  «       |d	¬
«      }t*        j,                  j/                  t        «      }|j1                  «        t3        j2                  «       }d }t5        |«      D �]9  }t7        ||||«       t9        |||t:        ||«      \  }}}t	        j<                  |«      j                  |d¬«      }t	        j<                  |«      j                  |d¬«      }t	        j<                  |«      j                  |d¬«      }t?        |«      }|jA                  d¬«        ||«      } tC        ||«      }!tE        jF                  | ||d¬«      }"|!|z  jI                  «       jK                  d«      }#|"|!z  |z  jI                  «       |#z  }$| d d …dd …f   | d d …d d…f   z
  jM                  «       }%|d d …dd …f   |d d …d d…f   z  }&|$d|%|&z  jI                  «       z  |&jI                  «       jK                  d«      z  z   }$t	        jN                  |$«      stQ        d|› d|› �«      ‚|$jS                  «        t        jT                  jV                  jY                  |j)                  «       d«       |j[                  «        t]        ||d«       t        |$j_                  «       «      }�Œ< |j#                  «        ta        ||||||«      }'tc        d|› ddje                  |«      › d|d›d|'d›dt3        j2                  «       |z
  d›d�d¬«       |||fS )Nr   r   rô   r   r¸   r!   Úcuda©rO   rn   ro   g-Cëâ6?)r  Úweight_decayT)Únon_blocking)Úset_to_noneÚnone)Ú
pos_weightÚ	reductionrr   gš™™™™™©?znon-finite loss at step r¶   g×£p=
×ï?z
  trained z on Ú+z  loss ú.3fz  frame-acc z  (z.0fús)©Úflush)3rÅ   r²   rè   r    r`   Útensorrö   r|   Úmanual_seedÚ
TRAIN_SEEDÚtyper"  Úmanual_seed_allrI   ÚtoÚcopyÚdeepcopyÚevalÚoptimÚAdamWr  ry   ÚrandomÚdefault_rngÚtrainÚtimeÚranger  rá   r   Ú
from_numpyr  Ú	zero_gradrò   r9   Ú binary_cross_entropy_with_logitsr¥   Ú	clamp_minræ   Úisfiniter¼   Úbackwardr&   ÚutilsÚclip_grad_norm_r  r   ÚitemÚtrain_frame_accÚprintÚjoin)(Úcfgr©   r¨   rå   ÚstepsÚnameÚfamilyrX   rO   rn   ro   r  rL   Úy_allr°   r±   rb   r(  rm   ÚmodelÚemar  rÎ   Út0Úlastr  ÚxbÚybÚmbr<   rÃ   ÚmÚlogitÚswÚbceÚdenomÚlossÚdvÚm2Úaccs(                                           r6   Útrain_modelr`    s¿  € Ø7:Ñ4€Dˆ&�&˜' 7¨D°"Ü   f¡¨xÓ8�M€FˆEÜ˜˜V™ hÓ/�F€BˆÜ
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JØ�!‰9�XÑ˜qÑ! !Ñ$×*Ñ*¨1Ñ-€DÜ	×Ñ”jÔ!Ø‡{�{�fÒÜ�
‰
×"Ñ"¤:Ô.Ü˜T 6°7ÀGÐRVÔW×ZÑZÐ[aÓb€EÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€CÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.°2ÀDÐ
Ó
I€CÜ
�)‰)×
Ñ
¤
Ó
+€CØ	‡K�K„MÜ	�‰‹€BØ€DÜ�e—ˆÜˆs�D˜% Ô$Ü! # v¨v´u¸bÀ"ÓE‰
ˆˆB�Ü×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ�A‹JˆØ�‰ $ˆÔ'Ù�a“ˆÜ˜A˜qÓ!ˆÜ×0Ñ0°¸ÀjÐ\bÔcˆØ�a‘—‘“×(Ñ(¨Ó-ˆØ�b‘˜1‘×!Ñ!Ó# eÑ+ˆØ’A�q‘r�E‰l˜U¢1 c r c 6™]Ñ*×/Ñ/Ó1ˆØŠq�!‘"ˆu‰X˜š!˜S˜b˜S˜&™	Ñ!ˆØ�d˜b 2™gŸ]™]›_Ñ,¨r¯v©v«x×/AÑ/AÀ#Ó/FÑFÑFˆÜ�~‰~˜dÔ#ÜÐ!9¸$¸¸uÀTÀFÐKÓLÐLØ�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
Ü�5˜#˜uÔ%Ü�T—Y‘Y“[Ó!Šð- ð. ‡H�H„JÜ
˜#˜v v¨r°2°vÓ
>€CÜ	ˆJ�t�f˜D §¡¨(Ó!3Ð 4°G¸DÀ¸:À\ÐRUÐVYÐQZð [Ü�i‰i‹k˜BÑ˜sÐ# 2ð'Ø.2õ4à��Bˆ;Ðr7   c                 óª  — t         j                  j                  d«      }t        |||d||«      \  }}}	t	        j
                  «       5   | t	        j                  |«      j                  |«      «      }
d d d «       
d d …df   dkD  j                  «       j                  «       }t        ||d d …df   dkD  k(  j                  «       «      S # 1 sw Y   ŒWxY w)Nr   é   rr   rã   )ry   r:  r;  rá   r`   rk   r?  r4  ÚcpuÚnumpyrè   r    )rP  rL   rX   r°   r±   rå   rÎ   rT  rU  rV  rX  Úpreds               r6   rH  rH  >  s¯   € Ü
�)‰)×
Ñ
 Ó
"€CÜ˜c 6¨6°4¸¸RÓ@�J€BˆˆBÜ	�‰�Ù”e×&Ñ& rÓ*×-Ñ-¨fÓ5Ó6ˆ÷ 
à’!�R�%‰L˜1Ñ×!Ñ!Ó#×)Ñ)Ó+€DÜ�$˜2ša ˜e™9 s™?Ñ+×1Ñ1Ó3Ó4Ð4÷ 
ˆús   Á+C	Ã	Cc           
      ó  — | j                  «        i }t        j                  |j                  ddd«      «      }t        j                  |j                  ddd«      «      }|j	                  «       D �]’  \  }	}
i ||	<   |
j	                  «       D �]s  \  }}|j
                  \  }}t        j                  |dz
  |ft        j                  «      }t        j                  t        j                  ||gd«      «      }g }t        d|d«      D ]“  }|||dz   |z   dz
   }|j                  d|d«      j                  ddd«      j                  «       }||z
  |z  }|j                   | |j                  |«      «      d d …df   j!                  «       j#                  «       «       Œ• t        j                  |«      j%                  t        j&                  «      }t)        |«      |k7  rt+        dt)        |«      › d|› d|› �«      ‚|||	   |<   �Œv �Œ• |S )	Nr!   rr   r   rb  r   zlength rµ   r¶   )r7  r`   r?  Úreshaper�   r|   ry   r{   r—   r•   r>  ÚunfoldÚpermuteÚ
contiguousr½   r4  rc  rd  r–   r‘   r   r¼   )rP  Úfeat_dsr°   r±   rX   rå   ÚoutÚmu_tÚsd_tr™   Útablerš   r­   rý   rÑ   r%   ÚxpÚpiecesÚiÚslÚwre  s                         r6   Ú	infer_allru  G  sÁ  € à	‡J�J„LØ
€CÜ×Ñ˜BŸJ™J q¨!¨RÓ0Ó1€DÜ×Ñ˜BŸJ™J q¨!¨RÓ0Ó1€DØ—]‘]—_‰	ˆˆEØˆˆB‰Ø—k‘k—m‰FˆC�Ø—7‘7‰DˆAˆqÜ—(‘(˜F Q™J¨˜?¬B¯J©JÓ7ˆCÜ×!Ñ!¤"§.¡.°#°q°¸1Ó"=Ó>ˆBØˆFÜ˜1˜a Ö&�Ø˜˜!˜d™( VÑ+¨aÑ/Ð0�Ø—I‘I˜a ¨Ó+×3Ñ3°A°q¸!Ó<×GÑGÓI�Ø˜‘X Ñ%�Ø—‘™e A§D¡D¨£LÓ1²!°R°%Ñ8×<Ñ<Ó>×DÑDÓFÕGð	 'ô
 —>‘> &Ó)×0Ñ0´·±Ó<ˆDÜ�4‹y˜AŠ~Ü" W¬S°«Y¨K°t¸A¸3¸eÀCÀ5Ð#IÓJÐJØˆC�‰G�C‹Lò $ð %ð  €Jr7   c                 ó  — t        j                  d«       t        ddddd¬«      j                  | «      j	                  «       }t        j
                  ddd| ¬	«      }|j                  «       }t        j
                  dd| ¬	«      |d d …d
f<   t        j                  «       5   ||«      } ||«      }d d d «       t        j                  d d …d d
…f   d d …d d
…f   d¬«      st        d«      ‚t        dd¬«       y # 1 sw Y   ŒLxY w)Nr   rK   é   r   r!   Tr#  r   rô   rr   r  )Úatolz!transformer readout is not causalzcausality check passedr-  )r`   r0  rI   r4  r7  ra   Úclonerk   Úallcloser¼   rI  )rå   rP  r<   Úx2Úy1Úy2s         r6   Úassert_causalr~  `  sØ   € Ü	×Ñ�aÔÜ˜Q ¨B¸ÀÔE×HÑHÈÓP×UÑUÓW€EÜ�‰�A�r˜1 VÔ,€AØ	
�‰‹€BÜ—‘˜A˜q¨Ô0€B‚qˆ"€u�IÜ	�‰�Ù�1‹XˆÙ�2‹Yˆ÷ 
ô �>‰>˜"šQ   ˜V™* bª¨C¨R¨C¨¡j°tÕ<ÜÐ>Ó?Ð?Ü	Ð
"¨$Ö/÷ 
ˆús   ÂC;Ã;Dc                 óä   — i }| d   D ]e  }i ||<   | d   |   j                  «       D ]E  \  }}t        j                  |d¬«      }| dd  D ]  }|||   |   z  }Œ |t        | «      z  ||   |<   ŒG Œg |S )Nr   T)r5  r!   )r�   ry   r¾   r   )Ústream_listrl  r™   rš   Úv0r_  Úothers          r6   Úaverage_streamsrƒ  n  sŽ   € Ø
€CØ˜!ŒnˆØˆˆB‰Ø" 1‘~ bÑ)×/Ñ/Ö1‰GˆC�Ü—(‘(˜2 DÔ)ˆCØ$ Q R›�Ø�u˜R‘y ‘~Ñ%‘ð )à¤ [Ó!1Ñ1ˆC�‰G�CŠLñ	 2ð ð €Jr7   c                 ó*   — ddj                  | «      z   S )Nzex-Ú-)rJ  )Úexcludeds    r6   Útriplet_keyr‡  z  s   € Ø�3—8‘8˜HÓ%Ñ%Ð%r7   c                 óœ  — g }d}| j                  d«      D ]Ž  \  }}||j                  |k\     }t        |«      r9|dz  }|j                  |j	                  g d¢g d¢¬«      j
                  d   «       Œ\|j                  |j	                  g d¢g d¢¬«      j
                  d   «       Œ� t        j                  |«      j                  d¬	«      |fS )
Nr   Úouterr!   ©ÚHÚAccÚSDT)FFT)Ú	ascending)rŒ  r‹  r�  T)r,   )	ÚgroupbyrŒ  r   r½   Úsort_valuesÚilocr  Ú	DataFrameÚreset_index)rW  ÚthrÚpicksÚn_okrÄ   r×   Úoks          r6   Úselect_ruler˜  ~  s¶   € Ø€EØ€DØ—	‘	˜'Ö"‰ˆˆ1Øˆq�u‰u˜‰|‰_ˆÜˆrŒ7Ø�A‰IˆDØ�L‰L˜Ÿ™Ò(;ÒG[˜Ó\×aÑaÐbcÑdÕeà�L‰L˜Ÿ™Ò':ÒFZ˜Ó[×`Ñ`ÐabÑcÕdð #ô �<‰<˜Ó×*Ñ*°Ð*Ó5°tÐ;Ð;r7   c                 ó€   — t        j                  | «      }t        j                  ||t        |«      t        |«      «      S )N)r�   Úto_evÚofficialrè   )Ústreamsr™   Úp_stayÚscaleÚevs        r6   Ú
score_pickr   ‹  s-   € Ü	
�‰�Ó	€BÜ�:‰:�b˜"œe F›m¬U°5«\Ó:Ð:r7   c                  ó°  — t         j                  j                  dd«      j                  «       } | st	        t
        «      S | j                  d«      D �ch c]#  }|j                  «       sŒ|j                  «       ’Œ% }}t
        D �cg c]  }|d   |v sŒ|‘Œ }}||D �ch c]  }|d   ’Œ	 c}z
  }|rt        dt        |«      › �«      ‚|S c c}w c c}w c c}w )NÚONLYÚ Ú,r   zunknown ONLY names: )	ÚosÚenvironÚgetÚstripÚlistÚCONFIGSÚsplitÚ
SystemExitÚsorted)Úonlyrà   ÚnamesÚcÚcfgsÚmissings         r6   Úwanted_configsr³  �  s¼   € Ü�:‰:�>‰>˜& "Ó%×+Ñ+Ó-€DÙÜ”G‹}ÐØ $§
¡
¨3¤Ó=¡˜1°1·7±7µ9ˆQ�W‰W�Y €EÐ=ÝÓ0‘w�! ! A¡$¨%¢-ŠA�w€DÐ0Ø¡TÓ*¡T �q˜“t TÑ*Ñ*€GÙÜÐ/´°w³Ð/@ÐAÓBÐBØ€Kùò >ùÚ0ùÚ*s   ÁC	Á)C	ÂCÂCÂCc                 ó   — t        | d¬«       t        j                  t        j                  j	                  t
        «      d¬«       t        t
        d«      5 }|j                  | dz   «       d d d «       y # 1 sw Y   y xY w)NTr-  ©Úexist_okrß   Ú
)rI  r¥  ÚmakedirsÚpathÚdirnameÚLOGÚopenÚwrite)ÚtextÚfhs     r6   Úlog_linerÀ  œ  sL   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ø
�‰�˜‘Ô÷ 
�‰ús   ÁA4Á4A=c                  ó  ‡)‡*‡+‡,‡-‡.‡/‡0‡1— t        j                  t         j                  j                  «       rdnd«      Š+t	        d‰+› dt
        › dt        › �«       dt         j                  j                  j                  _	        dt         j                  j                  _	        t        j                  «        t        j                  «       } t        t        j                   | D �cg c]
  }|d   d   ‘Œ c}«      «      }t        t        j                   | D �cg c]
  }|d   d	   ‘Œ c}«      «      }t	        d
|d›d|d›�«       t#        |dz
  «      dkD  st#        |dz
  «      dkD  rt%        d«      ‚t'        ‰+«       t)        «       Š,t+        j,                  t.        d¬«       t1        «       Š*t*        j2                  j5                  d«      rñ‰*d   }t6        D �cg c]	  }|dvsŒ|‘Œ }}t9        ||‰,‰+t;        t
        d«      ¬«      \  }}}	t=        |‰,|d      ||	|d   ‰+«      }
t        j>                  |D �ci c]  }||
|   “Œ
 c}|«      \  }}tA        j@                  «       }t        jB                  d|
d   ||dz  d«      }t	        d|d   d›d|d	   d›d|d    d!›d"tA        j@                  «       |z
  d#›d$�	«       y i Š)g Š0g }tE        t6        «      D ])  \  }}t6        |dz   d  D ]  }|jG                  ||f«       Œ Œ+ ˆ)ˆ0fd%„}‰*D �]  }|d   |d   |d   }}}|D ]ç  \  }}t6        D �cg c]  }|||fvsŒ
|‘Œ }}t9        ||‰,‰+t
        «      \  }}}	t*        jH                  jK                  t.        |› d&tM        ||f«      › d'�«      }t        jN                  |jQ                  «       ||	||d(œ|«       t=        |‰,|   ||	|‰+«      }
|
‰)|||f<   |
‰)|||f<   ~‰+jR                  dk(  sŒÊt         j                  jU                  «        Œé  ||«       �Œ	 ‰*D �cg c]  }|d   ‘Œ	 c}Š-tW        ‰-«      dk\  rH|D ]4  \  }}tY        ‰-D �cg c]
  }‰)|||f   ‘Œ c}«      }|‰)d)||f<   |‰)d)||f<   Œ6 ‰-d)gz   } |d)«       n‰-}t[        j\                  ‰0«      }t+        j,                  t*        jH                  j_                  t`        «      d¬«       |jc                  t`        d*¬+«       t	        d,t`        › �«       |je                  g d-¢«      g d.¢   j!                  «       jg                  «       }i Š/ˆ*ˆ+ˆ,ˆ-ˆ/ˆ1fd/„Š1g Š.ˆ.ˆ1fd0„}ti        |tj        «      \  }}t	        d1|› d2tj        d3›d4|jl                  j!                  «       d›d|jn                  j!                  «       d›�«       |jq                  «       D ]`  \  } }t	        d5|jr                  › d6|jt                  › d7|jv                  › d8|jx                  › d4|jl                  d›d|jn                  d›�«       Œb  |d9|«       |D ]|  }||jt                  |k(     }!ti        |!tj        «      \  }"}t	        d:|› d;|› d<|"jl                  j!                  «       d›d|"jn                  j!                  «       d›�«        |d=|› �|"«       Œ~ t[        j\                  ‰.«      }#|#jc                  tz        d*¬+«       t	        d>«       |#je                  d?«      D ]o  \  }$}!|!g d.¢   j!                  «       }%t	        d5|$d@›dA|%jl                  d›d|%jn                  d›dB|%j|                  d›dC|%j~                  d!›dD|%j€                  d!›�«       Œq |#|#j‚                  d9k(     }&t        |&jl                  j!                  «       «      t        |&jn                  j!                  «       «      }(}'t	        dE|'d›d|(d›�«       t	        dFt…        |'dGkD  xr |(dHkD  «      › �«       t	        d,tz        › �«       y c c}w c c}w c c}w c c}w c c}w c c}w c c}w )INr"  rc  zdevice z  steps z  batch Tr!   r‹  rŒ  zreproduced lda4 @ 0.998  H ú.4fz  Acc ú.2fg°rh‘í|é?gü©ñÒMb@?gq=
×£@R@rN   z>baseline reproduction does not match the published LDA numbersrµ  ÚSMOKEr   )ÚAVGCÚDTUr	  )rL  r   rÆ  r   r   zsmoke DTU inner H ú Acc ú L ÚLr+  z (z.1fr,  c                 ó8  •— t         D ]µ  }t         D ]ª  }||k(  rŒ	t         D �cg c]  }|||fvsŒ
|‘Œ }}‰| ||f   }t        j                  |D �ci c]  }|||   “Œ
 c}|«      \  }}t        D ]L  }t        D ]A  }	t        j
                  |||   |||	z  |«      }
‰j                  t        d||| ||	dœ|
¤Ž«       ŒC ŒN Œ¬ Œ· t        j                  ‰D �
cg c]  }
|
d   | k(  sŒ|
‘Œ c}
«      }|j                  g d¢«      g d¢   j                  «       j                  «       }t        |j                  | ¬«      t        «      \  }}t!        d| › d|› d|j"                  j                  «       d	›d
|j$                  j                  «       d›�«       y c c}w c c}w c c}
w )N)r‰  ÚinnerrP  r�  rž  rP  )r‰  r�  rž  rŠ  )rP  zinner ú: z/5 Acc>=74  H rÂ  rÇ  rÃ  © )r   r�   ÚemisÚP_STAYÚSCALESÚevaluater½   rÀ   r  r’  r�  r    r“  r˜  ÚassignÚTHRrÀ  r‹  rŒ  )rM  r‰  Úinner_dsr2   Útrain_dsrœ  r°   r±   r  rž  ÚrÚsubÚgrouped_oner•  r–  ÚcacherØ   s                  €€r6   Ú
score_namezmain.<locals>.score_nameÇ  s™  ø€ ßˆEß#�Ø˜uÒ$ØÝ'.ÓM¡w !°!¸EÀ8Ð;LÒ2LšA w�ÐMØ  u¨hÐ 7Ñ8�ÜŸ™¹Ó A¹°1  G¨A¡J¡¸Ñ AÀ8ÓL‘��Bß�Aß!'˜ÜŸJ™J x°¸Ñ1BÀBÈÈUÉ
ÐTUÓV˜ØŸ™¤Dð %;¨u¸HÈDÐYZØ/4ñ%;Ø89ñ%;õ <ñ "(ñ  ñ $ð ô �l‰l¡tÓB¡t !¨q°©z¸TÓ/AšA tÑBÓCˆØ—k‘kÒ">Ó?Ò@SÑT×YÑYÓ[×gÑgÓiˆÜ! +×"4Ñ"4¸4Ð"4Ó"@Ä#ÓF‰ˆˆtÜ�6˜$˜˜r $  ~°e·g±g·l±l³nÀSÐ5IÈÈuÏyÉyÏ~É~ÓO_Ð`cÐNdÐeÕfùò Nùâ Aùò Cs   ¢F®FÁFÃFÃ!FÚ__ú.pt©Ústater°   r±   rK  r<  Úens_allF)Úindexzwrote )r‰  rP  r�  rž  )r‹  rŒ  r�  rÉ  Úacc1c                 ó^  •‡ — ‰ |f}|‰v r‰|   S ‰ dk(  r)‰D �cg c]  } ‰||«      ‘Œ }}t        |«      ‰|<   ‰|   S t        ˆ fd„‰D «       «      }t        D �cg c]
  }||k7  sŒ	|‘Œ }}t        ||‰‰t        «      \  }}	}
t
        j                  j                  t        ‰ › d|› d�«      }t        j                  |j                  «       |	|
||dœ|«       t        |‰|d      |	|
|d   ‰«      ‰|<   ~‰j                  dk(  rt        j                  j                  «        ‰|   S c c}w c c}w )	Nrß  c              3   ó4   •K  — | ]  }|d    ‰k(  sŒ|–— Œ y­w)r   NrÍ  )Ú.0r°  rM  s     €r6   Ú	<genexpr>z,main.<locals>.streams_for.<locals>.<genexpr>  s   øè ø€ Ð3™d˜ a¨¡d¨d£l”1™dùs   ƒ‘z__held-rÜ  rÝ  r!   r   r"  )rƒ  Únextr   r`  r	   r¥  r¹  rJ  ÚCKPTr`   ÚsaveÚ
state_dictru  r2  r"  Úempty_cache)rM  r‰  rš   rà   ÚpartsrK  r2   rÕ  rP  r°   r±   r¹  r±  rå   r¨   r¯  ÚrefitÚstreams_fors   `           €€€€€€r6   rí  zmain.<locals>.streams_forü  s6  ù€ Ø�UˆmˆØ�%‰<Ø˜‘:ÐØ�9ÒÙ49Ó:±E¨q‘[  EÕ*°EˆEÐ:Ü(¨Ó/ˆE�#‰JØ˜‘:ÐÜÓ3™dÓ3Ó3ˆÝ&Ó5™w˜!¨!¨u«*’A˜wˆÐ5Ü# C¨°4¸ÄÓG‰ˆˆr�2Ü�w‰w�|‰|œD T F¨'°%°¸Ð"<Ó=ˆÜ�
‰
˜U×-Ñ-Ó/°rÀÈCÐZbÑcÐeiÔjÜ˜u d¨3¨q©6¡l°B¸¸CÀ¹FÀFÓKˆˆc‰
ØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$Ø�S‰zÐùò ;ùò 6s   ™D%Á
D*Á%D*c                 ó²  •— |j                  «       D �]B  \  }} ‰|j                  |j                  «      }t        ||j                  |j                  |j
                  «      }‰j                  t        | |j                  |j                  t        |j                  «      t        |j
                  «      |d   |d   |d   |d   |d   t        |j                  «      t        |j                  «      d¬«      «       t        | › d|j                  › d|j                  › d	|j                  › d
|j
                  › d|d   d›d|d   d›d|d   d›d|d   d›�«       �ŒE y )Nr‹  rŒ  r�  rÉ  rá  r›  )Úroler™   rP  r�  rž  r‹  rŒ  r�  rÉ  rá  Úinner_HÚ	inner_AccÚscorerÚ ú p ú sc ú  H rÂ  rÇ  rÃ  z SDT rÈ  r+  )ÚiterrowsrP  r‰  r   r�  rž  r½   rÀ   rè   r‹  rŒ  rÀ  )rï  r•  rÄ   Úbrœ  ÚoffÚout_rowsrí  s         €€r6   Úemitzmain.<locals>.emit  s9  ø€ Ø—N‘N×$‰DˆAˆqÙ! !§'¡'¨1¯7©7Ó3ˆGÜ˜W a§g¡g¨q¯x©x¸¿¹ÓAˆCØ�O‰OœD d¨q¯w©w¸a¿g¹gÌeÐTU×T\ÑT\ËoÜ',¨Q¯W©W£~¸¸S¹ÀsÈ5ÁzÐWZÐ[`ÑWaØ#& s¡8°#°f±+ÄuÈQÏSÉSÃzÔ]bÐcd×chÑchÓ]iØ(2ô4ô 5ô ˜�v˜Q˜qŸw™w˜i q¨¯©¨	°°Q·X±X°J¸dÀ1Ç7Á7À)ð LØ˜c™( 3˜ u¨S°©Z¸Ð,<¸EÀ#ÀeÁ*ÈSÐAQÐQTÐUXÐY\ÑU]Ð^aÐTbðdö eñ %r7   zselect acc74: z/5 folds reached inner Acc>=r×   z
  inner H z  ró  rô  rõ  Úacc74zfamily rÌ  z/5 inner Acc>=74  inner H Úfamily_zmeans:rï  Ú20srö  z  SDT z  L z  acc1 zPRIMARY acc74  H zgoal H>0.85 and Acc>80: g333333ë?éP   )Cr`   rå   r"  Úis_availablerÀ  r	   r   ÚbackendsÚmatmulÚ
allow_tf32Úcudnnr�   Úload_allÚcheck_fast_matches_officialrè   ry   r    ræ   r¼   r~  r¡   r¥  r¸  rç  r³  r¦  r§  r   r`  rl   ru  rÎ  r=  rÑ  rÉ   r½   r¹  rJ  r‡  rè  ré  r2  rê  r   rƒ  r  r’  rº  ÚINNERÚto_csvr�  r“  r˜  rÓ  r‹  rŒ  r÷  r‰  rP  r�  rž  ÚOUTr�  rÉ  rá  rï  Úbool)2Úchecksr°  Úbase_HÚbase_AccrK  r2   rÕ  rP  r°   r±   rœ  Úmu_eÚsd_eÚt1rÖ  Úexcluded_pairsrr  rß   rø  rÚ  rM  rN  rX   r¹  rà   ÚavgÚmodel_namesrË  Úgroupedrû  r•  r–  rÄ   r×  ÚfpÚdfrï  rW  Úprimr=   r_  rÙ  r±  rå   r¨   r¯  rú  rì  rØ   rí  s2                                            @@@@@@@@@r6   Úmainr  £  s‡  ÿø€ Ü�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜˆw�v�h˜h¤u g¨X´e°WÐ=Ô>Ø,0„E‡N�N×Ñ×ÑÔ)Ø&*„E‡N�N×ÑÔ#Ü‡J�J„LÜ×*Ñ*Ó,€FÜ”2—7‘7©vÓ6©v¨!˜A˜a™D ›I¨vÑ6Ó7Ó8€FÜ”R—W‘W±6Ó:±6¨a˜a ™d 5›k°6Ñ:Ó;Ó<€HÜÐ*¨6°#¨,°f¸XÀc¸NÐKÔLÜ
ˆ6�F‰?Ó˜dÒ"¤c¨(°UÑ*:Ó&;¸dÒ&BÜÐ[Ó\Ð\Ü�&ÔÜÓ€DÜ‡K�K”˜tÕ$ÜÓ€Dä	‡z�z‡~�~�gÔØ�1‰gˆÝ&ÓC™w˜!¨!°?Ò*B’A˜wˆÐCÜ# C¨°4¸ÄsÌ5ÐRTÃ~ÔV‰ˆˆr�2Ü˜E 4¨¨A©¡<°°R¸¸Q¹ÀÓHˆÜ—V‘V±HÓ=±H¨q˜Q ¨¡
™]°HÑ=¸xÓH‰
ˆˆdÜ�Y‰Y‹[ˆÜ�J‰J�u˜g e™n¨d°D¸3±JÀÓFˆÜÐ% a¨¡f¨S \°°q¸±xÀ°nÀCÈÈ#ÉÈsÀ|ð TÜ—Y‘Y“[ 2Ñ% cÐ*¨"ð.ô 	/àà€EØ€DØ€NÜœ'Ö"‰ˆˆ1Ü˜˜Q™˜“ˆAØ×!Ñ! 1 a &Õ)ñ !ð #õgô$ ˆØ" 1™v s¨1¡v¨s°1©v�fˆfˆÛ"‰DˆAˆqÝ#*Ó>¡7˜a¨a¸¸1°vªoš 7ˆHÐ>Ü'¨¨X°t¸VÄUÓK‰MˆE�2�rÜ—7‘7—<‘<¤¨¨¨b´¸aÀ¸VÓ1DÐ0EÀSÐ&IÓJˆDÜ�J‰J ×!1Ñ!1Ó!3¸2ÀRÐPSØ!)ñ+Ø,0ô2ä  t¨F¡|°R¸¸VÀVÓLˆGØ")ˆE�4˜˜A�,ÑØ")ˆE�4˜˜A�,ÑØØ�{‰{˜fÓ$Ü—
‘
×&Ñ&Õ(ð #ñ 	�4Öð ñ   Ó ™4�aˆQˆq‹T˜4Ñ €EÜ
ˆ5ƒz�Q‚Û"‰DˆAˆqÜ!¹UÓ"C¹U¸ 5¨!¨Q°¨Ó#3¸UÑ"CÓDˆCØ'*ˆE�9˜a Ð#Ñ$Ø'*ˆE�9˜a Ð#Ò$ð #ð ˜y˜kÑ)ˆÙ�9Õàˆä�L‰L˜Ó€EÜ‡K�K”—‘—‘¤Ó&°Õ6Ø	‡L�L”˜e€LÔ$Üˆv”e�WÐÔØ�m‰mÒAÓBÒCcÑd×iÑiÓk×wÑwÓy€Gà€E÷ñ ð& €Hõ	eô ˜g¤sÓ+�K€Eˆ4Üˆ~˜d˜VÐ#?ÄÀA¸wð GØŸ™Ÿ™› sÐ+¨5°·±·±Ó1AÀ#Ð0FðHô Ià—‘Ö ‰ˆˆ1Ü�2�a—g‘g�Y˜a §¡˜y¨¨A¯H©H¨:°T¸!¿'¹'¸À*ÈQÏSÉSÐQTÈIÐUZÐ[\×[`Ñ[`ÐadÐZeÐfÕgð !áˆ�%ÔãˆØ�g—m‘m tÑ+Ñ,ˆÜ˜s¤CÓ(‰ˆˆDÜ�7˜4˜&  4 &Ð(BÀ2Ç4Á4Ç9Á9Ã;ÈsÐBSÐSXÐY[×Y_ÑY_×YdÑYdÓYfÐgjÐXkÐlÔmÙˆw�t�fÐ˜rÕ"ð	 ô 
�‰�hÓ	€BØ‡I�IŒc˜€IÔÜˆXÔØ—Z‘Z Ö'‰	ˆˆcØÒ0Ñ1×6Ñ6Ó8ˆÜ�2�d˜3�Z˜t A§C¡C¨ 9¨F°1·5±5¸°+¸VÀAÇEÁEÈ#À;ÈdÐST×SVÑSVÐWZÐR[Ð[bÐcd×ciÑciÐjmÐbnÐoÕpð (ð ˆb�g‰g˜Ñ Ñ!€DÜ�4—6‘6—;‘;“=Ó!¤5¨¯©¯©«Ó#9€s€AÜÐ   3  v¨c°#¨YÐ7Ô8ÜÐ'¬¨Q°©XÒ-B¸#À¹(Ó(CÐ'DÐEÔFÜˆv”c�Uˆ^ÕùòS 7ùÚ:ùò Dùò >ùòF ?ùò !ùò #Ds6   Ã#_,Ä_1Ç	_6Ç_6È3_;Ì%` Ì1` Ð`Ð>`

Ú__main__)@rE   r5  r  r¥  r=  rd  ry   Úpandasr  r`   Útorch.nnr&   Útorch.nn.functionalÚ
functionalr9   Úensemble_clf_nestedr�   Úcommonr   r¹  rº  ÚabspathÚ__file__ÚEXPrJ  r	  r  rç  r»  r1  rÁ   r¦  r§  r	   r   rÏ  rÐ  rÓ  rª  ÚModuler   rI   r…   r¡   r²   rÅ   rá   rò   r  r  r   r`  rH  rk   ru  r~  rƒ  r‡  r˜  r   r³  rÀ  r  rB   rÍ  r7   r6   Ú<module>r$     s²  ðñó: Û Û 	Û ã Û Û Ý ß Ð ã Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø‡g�g‡l�l�3˜	 :Ð/PÓQ€Ø
�‰�‰�S˜) ZÐ1XÓY€Ø	‡w�w‡|�|�C˜ =Ó1€Ø‡g�g‡l�l�3˜Ð';Ó<€à€
ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€Ø	%€Ø	€Ø
€ð€ô3�b—i‘iô 3ô"-E�r—y‘yô -Eò`@ò ò(8ò +ò$òBò/ò"	ò7ò,ò^5ð €‡�ƒñó ðò00ò	ò&ò
<ò;ò
	òòPðf ˆzÒÙ…Fð r7   