Ë
    Ûj•?  ã                   ój  — d Z ddlZddlZddlZddlZddlZddlm	Z	 ddl
ZddlmZ ej                  j                  ej                  j!                  e«      «      Zej                  j'                  eddd«      Zej                  j'                  eddd«      Zej                  j'                  edd	«      Zd
ZdZdZdZdZdZ G d„ de	j:                  «      Zd„ Zd„ Z d„ Z!d„ Z"d„ Z#d„ Z$d„ Z% ejL                  «       d„ «       Z'd„ Z( ejL                  «       d„ «       Z)d„ Z*d„ Z+d„ Z,d„ Z-e.d k(  r e-«        yy)!a¯  Causal transformer on the four direct-classifier logit streams. No decoder.

The network sees only a past window of the per-seed logits (and, in one family, a causal
120 s high-pass of those logits). It never reads the held-out dataset during its own
training. HMM p_stay and emission scale are chosen the same way.

Selection is per held-out dataset D, using only inner datasets. When inner dataset A is
scored, the network and the emission mean/sd are fit on the three datasets that are
neither D nor A. D is scored once afterwards with score.score_dataset, after refitting
on all four non-D datasets.

Rules, fixed before any held-out score is computed:
  acc74  PRIMARY. Among configs with mean inner Acc >= 74, maximise inner H.
         Ties: higher Acc, then lower SDT. If none reach 74, take the highest inner Acc,
         then H, then lower SDT.
  acc73  same threshold at 73. Reported separately. Not used to pick the primary result.

Train seed is 20270101. One fixed step budget, no early stopping on a new subject split.
usage: python ensemble_clf_transformer.py
writes results/research/ensemble_clf_transformer.csv and ensemble_clf_transformer_inner.csv
checkpoints: models/logit_tf/
é    N)ÚDS_KEYSÚresultsÚresearchzensemble_clf_transformer.csvz"ensemble_clf_transformer_inner.csvÚmodelsÚlogit_tfiL5i   i   )g¬Zd;ßï?gV-²�ïï?g+‡ÙÎ÷ï?)gÍÌÌÌÌÌì?ç      ð?gffffffò?))Ú
tf_raw_w16Úrawé   é   )Ú
tf_raw_w48r
   é0   r   )Ú	tf_hp_w32Úhpé    r   )Ú	tf_hp_w48r   r   é   c                   ó*   ‡ — e Zd ZdZdˆ fd„	Zd„ Zˆ xZS )ÚCausalLogitTransformerzDReadout is the last frame of a window that contains only times <= t.c           	      óØ  •— t         ‰	| �  «        || _        t        j                  ||«      | _        t        j                  t        j                  d||«      dz  «      | _	        t        j                  |||dz  |ddd¬«      }t        j                  ||¬«      | _        t        j                  |d«      | _        t        j                  j                  |«      }| j!                  d|«       y )	Nr   ç{®Gáz”?r   TÚgelu)Úd_modelÚnheadÚdim_feedforwardÚdropoutÚbatch_firstÚ
norm_firstÚ
activation)Ú
num_layersÚmask)ÚsuperÚ__init__ÚwindowÚnnÚLinearÚprojÚ	ParameterÚtorchÚrandnÚposÚTransformerEncoderLayerÚTransformerEncoderÚencÚheadÚTransformerÚgenerate_square_subsequent_maskÚregister_buffer)
ÚselfÚc_inr$   r   r   Únlayersr   Úlayerr!   Ú	__class__s
            €úensemble_clf_transformer.pyr#   zCausalLogitTransformer.__init__9   sº   ø€ Ü‰ÑÔØˆŒÜ—I‘I˜d GÓ,ˆŒ	Ü—<‘<¤§¡¨A¨v°wÓ ?À$Ñ FÓGˆŒÜ×*Ñ*Ø 5¸'ÀA¹+Ø¨¸$È6ôSˆô ×(Ñ(¨¸7ÔCˆŒÜ—I‘I˜g qÓ)ˆŒ	Ü�~‰~×=Ñ=¸fÓEˆØ×Ñ˜V TÕ*ó    c                 óö   — | j                  |«      | j                  d d …d |j                  d«      …f   z   }| j                  || j                  ¬«      }| j                  |d d …df   «      j                  d«      S )Nr   )r!   éÿÿÿÿ)r'   r+   Úsizer.   r!   r/   Úsqueeze)r3   ÚxÚhs      r8   ÚforwardzCausalLogitTransformer.forwardF   se   € Ø�I‰I�a‹L˜4Ÿ8™8¢A {¨¯©°« { NÑ3Ñ3ˆØ�H‰H�Q˜TŸY™YˆHÓ'ˆØ�y‰y˜š1˜b˜5™Ó"×*Ñ*¨2Ó.Ð.r9   )r   é   r   gš™™™™™¹?)Ú__name__Ú
__module__Ú__qualname__Ú__doc__r#   r@   Ú__classcell__)r7   s   @r8   r   r   6   s   ø„ ÙNõ+ö/r9   r   c                 ód   — dt        j                  d«      z
  }| t        j                  | |«      z
  S )Nr   ga¿)ÚnpÚexpÚNÚema_2d)ÚDÚalphas     r8   Úhp120rN   L   s+   € Ø”"—&‘&˜Ó'Ñ'€EØŒq�x‰x˜˜5Ó!Ñ!Ð!r9   c                  ó¼  — i i }} t         D ]Ë  }i i c| |<   ||<   t        j                  d   d   |   j                  «       D ]”  \  }}t	        j
                  |t        j                  «      }t        |j                  t        j                  «      «      j                  t        j                  «      }|| |   |<   t	        j                  ||gd«      ||   |<   Œ– ŒÍ | |dœS )NÚbaseÚidr   )r
   r   )r   rJ   ÚGÚitemsrH   ÚasarrayÚfloat32rN   ÚastypeÚfloat64Úconcatenate)r
   r   ÚdsÚkeyrL   ÚHs         r8   Úbuild_featuresr\   Q   sÁ   € Ø�"ˆ€CßˆØ˜bˆˆˆB‰��B‘Ü—c‘c˜&‘k $Ñ'¨Ñ+×1Ñ1Ö3‰FˆC�Ü—
‘
˜1œbŸj™jÓ)ˆAÜ�a—h‘hœrŸz™zÓ*Ó+×2Ñ2´2·:±:Ó>ˆAØˆC�‰G�C‰LÜŸ.™.¨!¨Q¨°Ó3ˆBˆr‰F�3ŠKñ	 4ð ð ˜bÑ!Ð!r9   c                 ó>  — d}d }d }|D ]œ  }| |   j                  «       D ]„  }|t        |«      z  }|j                  d«      j                  t        j
                  «      }t	        j                  |t        j
                  ¬«      j                  d«      }|€|n||z   }|€|n||z   }Œ† Œž ||z  }	||z  |	dz  z
  }
t	        j                  t	        j                  |
d«      «      }|	j                  t        j                  «      |j                  t        j                  «      fS )Nr   )Údtyper   g:Œ0âŽyE>)
ÚvaluesÚlenÚsumrV   rH   rW   ÚsquareÚsqrtÚmaximumrU   )ÚfeatÚdatasetsÚacc_nÚacc_sÚacc_sqrY   ÚXÚsÚsqÚmuÚvarÚsds               r8   Ú
norm_statsrp   ]   sï   € Ø€EØ€EØ€FÛˆØ�b‘—‘Ö"ˆAØ”S˜“V‰OˆEØ—‘�a“—‘¤§
¡
Ó+ˆAÜ—‘˜1¤B§J¡JÔ/×3Ñ3°AÓ6ˆBØ˜‘A¨E°A©IˆEØ!˜>‘R¨v¸©{‰Fñ #ð ð 
�‰€BØ
�5‰.˜2 ™7Ñ
"€CÜ	�‰”—‘˜C Ó&Ó	'€BØ�9‰9”R—Z‘ZÓ  "§)¡)¬B¯J©JÓ"7Ð7Ð7r9   c                 óê   — g }|D ]k  }t         j                  d   |   }| |   j                  «       D ]=  \  }}||   dk(  j                  t        j
                  «      }|j                  ||f«       Œ? Œm |S )NÚattr   )rJ   rR   rS   rV   rH   rU   Úappend)re   rf   ÚoutrY   rr   rZ   rj   Úys           r8   Ú
trial_listrv   n   sn   € Ø
€CÛˆÜ�c‰c�%‰j˜‰nˆØ˜2‘h—n‘nÖ&‰FˆC�Ø�S‘˜Q‘×&Ñ&¤r§z¡zÓ2ˆAØ�J‰J˜˜1�vÕñ 'ð ð
 €Jr9   c                 ó<  — |d   d   j                   d   }t        j                  |||ft        j                  «      }	t        j                  |t        j                  «      }
| j                  d||¬«      }t        j                  |«      }t        j                  ||d¬«      }||z
  }t        |«      D ]]  }t        ||   «      }t        ||   ||   z
  «      }||   \  }}||z
  dz   }|dk\  r|||dz    |	|<   n|d |dz    |	|| d …f<   ||   |
|<   Œ_ |	|z
  |z  }	|	|
fS )Nr   r   )r<   Úright)Úside)
ÚshaperH   ÚzerosrU   ÚemptyÚintegersÚcumsumÚsearchsortedÚrangeÚint)ÚrngÚtrialsÚlengthsÚtotalÚWÚbatchrm   ro   ÚCÚXoÚyoÚpickÚendsÚwhichÚstartsÚiÚtiÚtr>   ru   Úas                        r8   Úsample_batchr“   x   s+  € Øˆq‰	�!‰×Ñ˜1Ñ€AÜ	�‰�5˜!˜Q�-¤§¡Ó	,€BÜ	�‰�%œŸ™Ó	$€BØ�<‰<˜˜5 uˆ<Ó-€DÜ�9‰9�WÓ€DÜ�O‰O˜D $¨WÔ5€EØ�G‰^€FÜ�5Ž\ˆÜ��q‘‹]ˆÜ��Q‘˜& ™*Ñ$Ó%ˆØ�b‰z‰ˆˆ1Ø�‰E�A‰IˆØ�Š6Ø�a˜˜A™�JˆBˆqŠEà˜6˜A ™E˜ˆBˆq�1�"‘#ˆv‰JØ�!‘ˆˆ1Šð ð ˆr‰'�R‰€BØˆrˆ6€Mr9   c                 ó8  — | \  }}}}t        ||   |«      }t        ||   |«      \  }	}
t        j                  |D ��cg c]  \  }}t	        |«      ‘Œ c}}t        j
                  «      }t        |j                  «       «      }t        j                  |D ��cg c]  \  }}|‘Œ	 c}}«      }t        |j                  «       «      }t        j                  d|z
  t        |d«      z  g|¬«      }|d   d   j                  d   }t        j                  d¬«      }|j!                  t"        «       t        j                   t"        «       t%        |||¬«      j'                  |«      }t        j(                  j+                  |j-                  «       dd¬	«      }t/        j0                  |¬
«      }t        j2                  j5                  t"        «      }|j7                  «        t9        j8                  «       }d }t;        t<        «      D �]"  }t?        |||||t@        |	|
«      \  }}t        jB                  |«      j'                  |d¬«      }t        jB                  |«      j'                  |d¬«      }|jE                  d¬«        ||«      } |||«      }t        jF                  |«      stI        d|› d|› �«      ‚|jK                  «        t        j.                  jL                  jO                  |j-                  «       d«       |jQ                  «        t        |jS                  «       «      }�Œ% |jU                  «        tW        ||||||	|
|«      } tY        d|› ddj[                  |«      › d|d›d| d›dt9        j8                  «       |z
  d›d�d¬«       ||	|
fS c c}}w c c}}w )Nr   gü©ñÒMbP?©Údevicer   r   Úcpu©r5   g-Cëâ6?)ÚlrÚweight_decay)Ú
pos_weightT)Únon_blocking)Úset_to_noneznon-finite loss at step ú for z
  trained z on Ú+z  loss ú.3fz  frame-acc z  (z.0fzs)©Úflush).rv   rp   rH   Úarrayr`   Úint64r�   ra   rX   ÚfloatÚmeanr)   ÚtensorÚmaxrz   Ú	GeneratorÚmanual_seedÚ
TRAIN_SEEDr   ÚtoÚoptimÚAdamWÚ
parametersr%   ÚBCEWithLogitsLossÚrandomÚdefault_rngÚtrainÚtimer€   ÚSTEPSr“   ÚBATCHÚ
from_numpyÚ	zero_gradÚisfiniteÚRuntimeErrorÚbackwardÚutilsÚclip_grad_norm_ÚstepÚitemÚevalÚtrain_frame_accÚprintÚjoin)!Úcfgrf   re   r–   ÚnameÚfamilyr$   r5   rƒ   rm   ro   Ú_ru   r„   r…   Úy_allr+   r›   r4   ÚgÚmodelÚoptÚloss_fnr‚   Út0Úlastr¾   ÚxbÚybr>   ÚlogitÚlossÚaccs!                                    r8   Útrain_modelrÔ   Ž   sþ  € Ø$'Ñ!€Dˆ&�&˜'Ü˜˜V™ hÓ/€FÜ˜˜V™ hÓ/�F€BˆÜ�h‰h©6Ô2©6¡4 1 aœ˜A�¨6Ò2´B·H±HÓ=€GÜ�—‘“Ó€EÜ�N‰N©&Ô1©&¡$ ! QšA¨&Ò1Ó2€EÜ
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JØ�!‰9�Q‰<×Ñ˜aÑ €DÜ�‰˜uÔ%€AØ‡M�M”*ÔÜ	×Ñ”jÔ!Ü" 4¨¸ÔA×DÑDÀVÓL€EÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.°4ÀdÐ
Ó
K€CÜ×"Ñ"¨jÔ9€GÜ
�)‰)×
Ñ
¤
Ó
+€CØ	‡K�K„MÜ	�‰‹€BØ€DÜ”e—ˆÜ˜c 6¨7°E¸6Ä5È"ÈbÓQ‰ˆˆBÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆØ�‰ $ˆÔ'Ù�a“ˆÙ�u˜aÓ ˆÜ�~‰~˜dÔ#ÜÐ!9¸$¸¸uÀTÀFÐKÓLÐLØ�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
Ü�T—Y‘Y“[Ó!Šð ð 
‡J�J„LÜ
˜% ¨°%¸ÀÀRÈÓ
P€CÜ	ˆJ�t�f˜D §¡¨(Ó!3Ð 4°G¸DÀ¸:À\ÐRUÐVYÐQZÐZ]Ô^b×^gÑ^gÓ^iÐlnÑ^nÐorÐ]sÐsuÐ
vØõà�"�bˆ=ÐùóC 3ùã1s   ½N
ÂN
c           
      ó�  — t         j                  j                  d«      }t        |||||d||«      \  }	}
t	        j
                  «       5   | t	        j                  |	«      j                  |«      «      }d d d «       dkD  j                  «       j                  «       }t        ||
dkD  k(  j                  «       «      S # 1 sw Y   ŒIxY w)Nr   é   g      à?)rH   r±   r²   r“   r)   Úno_gradr·   r¬   r—   Únumpyr¥   r¦   )rÊ   rƒ   r„   r…   r$   rm   ro   r–   r‚   rÏ   rÐ   rÑ   Úpreds                r8   rÁ   rÁ   ¶   sž   € Ü
�)‰)×
Ñ
 Ó
"€CÜ˜#˜v w°°v¸tÀRÈÓL�F€BˆÜ	�‰�Ù”e×&Ñ& rÓ*×-Ñ-¨fÓ5Ó6ˆ÷ 
à�A‰I�?‰?Ó×"Ñ"Ó$€DÜ�$˜2 ™8Ñ$×*Ñ*Ó,Ó-Ð-÷ 
ˆús   Á	+B<Â<Cc                 óð  — | j                  «        i }|j                  ddd«      }|j                  ddd«      }|j                  «       D �]©  \  }	}
i ||	<   |
j                  «       D �]Š  \  }}|j                  \  }}t	        j
                  |dz
  |ft        j                  «      }t        j                  t	        j                  ||gd«      «      }|j                  d|d«      j                  ddd«      j                  «       }|t        j                  |«      z
  t        j                  |«      z  }g }t        d|d«      D ]J  }|j                   | |||dz    j                  |«      «      j!                  «       j#                  «       «       ŒL t	        j                  |«      j%                  t        j&                  «      }t)        |«      |k7  rt+        dt)        |«      › d|› d|› �«      ‚|||	   |<   �Œ� �Œ¬ |S )	Nr   r;   r   r   rÖ   zlength z != rž   )rÀ   ÚreshaperS   rz   rH   r{   rU   r)   r·   rX   ÚunfoldÚpermuteÚ
contiguousr€   rs   r¬   r—   rØ   rV   rW   r`   rº   )rÊ   Úfeat_dsrm   ro   r$   r–   rt   Úmu_tÚsd_trY   ÚtablerZ   rj   ÚTrˆ   ÚpadÚxpÚwÚpiecesr�   rÙ   s                        r8   Ú	infer_allrè   ¿   sª  € à	‡J�J„LØ
€CØ�:‰:�a˜˜BÓ€DØ�:‰:�a˜˜BÓ€DØ—]‘]—_‰	ˆˆEØˆˆB‰Ø—k‘k—m‰FˆC�Ø—7‘7‰DˆAˆqÜ—(‘(˜F Q™J¨˜?¬B¯J©JÓ7ˆCÜ×!Ñ!¤"§.¡.°#°q°¸1Ó"=Ó>ˆBØ—	‘	˜!˜V QÓ'×/Ñ/°°1°aÓ8×CÑCÓEˆAØ”U×%Ñ% dÓ+Ñ+¬u×/?Ñ/?ÀÓ/EÑEˆAØˆFÜ˜1˜a Ö&�Ø—‘™e A a¨¨D© M×$4Ñ$4°VÓ$<Ó=×AÑAÓC×IÑIÓKÕLð 'ä—>‘> &Ó)×0Ñ0´·±Ó<ˆDÜ�4‹y˜AŠ~Ü" W¬S°«Y¨K°t¸A¸3¸eÀCÀ5Ð#IÓJÐJØˆC�‰G�C‹Lò $ð %ð €Jr9   c                 ó^  — t        j                  d«       t        ddd¬«      j                  | «      j	                  «       }t        j
                  ddd| ¬«      }t        ||«      }t        ||d d …d d…f   «      }t        j                  |d d |d	¬
«      st        d«      ‚t        dd¬«       y )Nr   rA   r   r   r˜   é   r•   é   gñhãˆµøä>)Úatolz!transformer readout is not causalzcausality check passedTr¡   )
r)   rª   r   r¬   rÀ   r*   Úinfer_tensorÚallcloserº   rÂ   )r–   rÊ   r>   ÚfullÚprefs        r8   Úassert_causalrñ   ×   s—   € Ü	×Ñ�aÔÜ" 1 b°!Ô4×7Ñ7¸Ó?×DÑDÓF€EÜ�‰�A�r˜1 VÔ,€AÜ˜˜qÓ!€DÜ˜˜q¢ C R C ™yÓ)€DÜ�>‰>˜$˜s ˜) T°Õ5ÜÐ>Ó?Ð?Ü	Ð
"¨$Ö/r9   c                 ól  — |j                  d«      }| j                  }|j                  d«      }t        j                  d|dz
  ||j                  ¬«      }t        j
                  ||gd«      j                  d«      }|j                  d|d«      j                  ddd«      j                  «       } | |«      S )z3x (1, T, C) already on device. Returns (T,) logits.r   r   r•   r   )
r<   r$   r)   r{   r–   Úcatr=   rÜ   rÝ   rÞ   )rÊ   r>   rã   r†   rˆ   rä   rå   ræ   s           r8   rí   rí   â   s•   € ð 	
�‰ˆq‹	€AØ�‰€AØ	�‰ˆq‹	€AÜ
�+‰+�a˜˜Q™ ¨!¯(©(Ô
3€CÜ	�‰�C˜�8˜QÓ	×	'Ñ	'¨Ó	*€BØ
�	‰	�!�Q˜Ó×"Ñ" 1 a¨Ó+×6Ñ6Ó8€AÙ�‹8€Or9   c                 ó*   — ddj                  | «      z   S )Nzex-Ú-)rÃ   )Úexcludeds    r8   Útriplet_keyr÷   î   s   € Ø�3—8‘8˜HÓ%Ñ%Ð%r9   c                 ó|  — g }d}| j                  d«      D ]Ž  \  }}||j                  |k\     }t        |«      r9|dz  }|j                  |j	                  g d¢g d¢¬«      j
                  d   «       Œ\|j                  |j	                  g d¢g d¢¬«      j
                  d   «       Œ� t        j                  |«      |fS )Nr   Úouterr   )r[   ÚAccÚSDT)FFT)Ú	ascending)rú   r[   rû   )Úgroupbyrú   r`   rs   Úsort_valuesÚilocÚpdÚ	DataFrame)ÚmÚthrÚpicksÚn_okrÇ   rÉ   Úoks          r8   Úselect_ruler  ò   s¨   € Ø€EØ€DØ—	‘	˜'Ö"‰ˆˆ1Øˆq�u‰u˜‰|‰_ˆÜˆrŒ7Ø�A‰IˆDØ�L‰L˜Ÿ™Ò(;ÒG[˜Ó\×aÑaÐbcÑdÕeà�L‰L˜Ÿ™Ò':ÒFZ˜Ó[×`Ñ`ÐabÑcÕdð #ô �<‰<˜Ó Ð$Ð$r9   c                 ó€   — t        j                  | «      }t        j                  ||t        |«      t        |«      «      S )N)rJ   Úto_evÚofficialr¥   )ÚstreamsrY   Úp_stayÚscaleÚevs        r8   Ú
score_pickr  ÿ   s-   € Ü	
�‰�Ó	€BÜ�:‰:�b˜"œe F›m¬U°5«\Ó:Ð:r9   c                  ó*  ‡-— t        j                  t         j                  j                  «       rdnd«      } t	        d| › �d¬«       dt         j
                  j                  j                  _        t        j                  «        t        j                  «       }t        t        j                  |D �cg c]
  }|d   d   ‘Œ c}«      «      }t        t        j                  |D �cg c]
  }|d   d   ‘Œ c}«      «      }t	        d	|d
›d|d›�d¬«       t        |dz
  «      dkD  st        |dz
  «      dkD  rt        d«      ‚t!        | «       t#        «       }t%        j&                  t(        d¬«       i }g }t+        t,        «      D ])  \  }}	t,        |dz   d  D ]  Š-|j/                  |	‰-f«       Œ Œ+ t0        D ]â  }
|
\  }}}}|D ]Ô  \  }	Š-t,        D �cg c]  }||	‰-fvsŒ
|‘Œ }}t3        |
||| «      \  }}}t$        j4                  j7                  t(        |› dt9        |	‰-f«      › d�«      }t        j:                  |j=                  «       ||||||dœ|«       t?        |||   |||| «      }||||	‰-f<   |||‰-|	f<   ~t         j                  jA                  «        ŒÖ Œä g }t,        D ]Ø  }t,        D ]Í  }||k(  rŒ	t,        D �cg c]  }|||fvsŒ
|‘Œ }}t0        D ]�  }
|
d   }||||f   }t        jB                  |D �ci c]  }|||   “Œ
 c}|«      \  }}tD        D ]L  }tF        D ]A  }t        jH                  |||   |||z  |«      }|j/                  tK        dI|||||dœ|¤Ž«       ŒC ŒN Œ‘ t	        d|› d|› �d¬«       ŒÏ ŒÚ tM        jN                  |«      }t%        j&                  t$        j4                  jQ                  tR        «      d¬«       |jU                  tR        d¬«       t	        dtR        › �d¬«       |jW                  g d¢«      g d¢   j                  «       jY                  «       }dd d!œ}i }|j[                  «       D ]Ý  \  }} t]        || «      \  }!}"|!||<   t	        d"|› d#|"› d$| d%›d&|!j^                  j                  «       d
›d'|!j`                  j                  «       d›�
d¬«       |!jc                  «       D ]b  \  }#Š-t	        d(‰-jd                  › d)‰-jf                  › d*‰-jh                  › d+‰-jj                  › d&‰-j^                  d
›d'‰-j`                  d›�d¬«       Œd Œß i }$g }%|j[                  «       D �]\  \  }}!|!jc                  «       D �]B  \  }#Š-‰-jf                  ‰-jd                  f}&|&|$vrütm        ˆ-fd,„t0        D «       «      }
t,        D �cg c]  }|‰-jd                  k7  sŒ|‘Œ }}t3        |
||| «      \  }}}t$        j4                  j7                  t(        ‰-jf                  › d-‰-jd                  › d�«      }t        j:                  |j=                  «       |||
d.   |
d/   |
d   |d0d1œ|«       t?        |||
d      |||
d.   | «      |$|&<   ~t         j                  jA                  «        to        |$|&   ‰-jd                  ‰-jh                  ‰-jj                  «      }'|%j/                  tK        |‰-jd                  ‰-jf                  t        ‰-jh                  «      t        ‰-jj                  «      |'d   |'d   |'d2   |'d3   |'d4   t        ‰-j^                  «      t        ‰-j`                  «      d5¬6«      «       t	        |› d)‰-jd                  › d)‰-jf                  › d*‰-jh                  › d+‰-jj                  › d7|'d   d
›d'|'d   d›d8|'d2   d›d9|'d3   d:›�d¬«       �ŒE �Œ_ t0        D �]c  \  }}}}||jf                  |k(     }(t]        |(d«      \  }!}"t	        d;|› d#|"› d<|!j^                  j                  «       d
›d'|!j`                  j                  «       d›�d¬«       |!jc                  «       D �]Û  \  }#Š-‰-jf                  ‰-jd                  f}&|&|$vrÐ||||f}
t,        D �cg c]  }|‰-jd                  k7  sŒ|‘Œ }}t3        |
||| «      \  }}}t$        j4                  j7                  t(        |› d-‰-jd                  › d�«      }t        j:                  |j=                  «       ||||||dœ|«       t?        |||   |||| «      |$|&<   ~t         j                  jA                  «        to        |$|&   ‰-jd                  ‰-jh                  ‰-jj                  «      }'|%j/                  tK        d=|› �‰-jd                  |t        ‰-jh                  «      t        ‰-jj                  «      |'d   |'d   |'d2   |'d3   |'d4   t        ‰-j^                  «      t        ‰-j`                  «      d5¬6«      «       t	        d;|› d)‰-jd                  › d7|'d   d
›d'|'d   d›�d¬«       �ŒÞ �Œf tM        jN                  |%«      })|)jU                  tp        d¬«       t	        d>«       |)jW                  d?«      D ]o  \  }*}(|(g d¢   j                  «       }+t	        d(|*d@›d7|+j^                  d
›d|+j`                  d›dA|+jr                  d›dB|+jt                  d:›dC|+jv                  d:›�«       Œq |)|)jx                  dDk(     },t	        dE|,j^                  j                  «       d
›d|,j`                  j                  «       d›�«       t	        dFt{        |,j^                  j                  «       dGkD  xr |,j`                  j                  «       dHkD  «      › �«       t	        dtp        › �«       y c c}w c c}w c c}w c c}w c c}w c c}w c c}w )JNÚcudar—   zdevice Tr¡   r   r[   rú   zreproduced lda4 @ 0.998  H z.4fz  Acc z.2fg°rh‘í|é?gü©ñÒMb@?gq=
×£@R@r   z>baseline reproduction does not match the published LDA numbers)Úexist_okÚ__z.pt)Ústaterm   ro   r$   r5   rÆ   r³   r   )rù   ÚinnerrÊ   r  r  zscored inners of z except held F)Úindexzwrote )rù   rÊ   r  r  )r[   rú   rû   ÚLÚacc1g     €R@g     @R@)Úacc74Úacc73zselect z: z/5 folds reached inner Acc>=rÉ   z
  inner H z Acc z  Ú z p z sc c              3   óH   •K  — | ]  }|d    ‰j                   k(  sŒ|–— Œ y­w)r   N)rÊ   )Ú.0ÚcÚbs     €r8   Ú	<genexpr>zmain.<locals>.<genexpr>Q  s    øè ø€ Ð@¡f °°!±¸¿¹³œ1¡fùs   ƒ"›"z__held-r   é   z
refit-four)r  rm   ro   r$   r5   rÆ   r³   Úrule_contextrû   r  r  r
  )ÚrolerY   rÊ   r  r  r[   rú   rû   r  r  Úinner_HÚ	inner_AccÚscorerz  H z SDT z L r    zfamily z/5 inner Acc>=74  inner H Úfamily_z
means:r#  Ú16sz  SDT z  L z  acc1 r  z
PRIMARY acc74  H zgoal H>0.81 and Acc>74: gìQ¸…ëé?éJ   © )>r)   r–   r  Úis_availablerÂ   ÚbackendsÚmatmulÚ
allow_tf32rJ   Úload_allÚcheck_fast_matches_officialr¥   rH   r¦   Úabsrº   rñ   r\   ÚosÚmakedirsÚCKPTÚ	enumerater   rs   ÚMODELSrÔ   ÚpathrÃ   r÷   ÚsaveÚ
state_dictrè   Úempty_cacheÚemisÚP_STAYÚSCALESÚevaluateÚdictr   r  ÚdirnameÚINNERÚto_csvrý   Úreset_indexrS   r  r[   rú   Úiterrowsrù   rÊ   r  r  Únextr  ÚOUTrû   r  r  r#  Úbool).r–   Úchecksr  Úbase_HÚbase_Accre   ÚcacheÚexcluded_pairsr�   r’   rÄ   rÅ   rÆ   r$   r5   ÚdÚtrain_dsrÊ   rm   ro   r7  r  Úrowsrù   r  Úpr  ÚrÚgroupedÚrulesÚchosenÚruler  r  r  rÇ   ÚrefitÚout_rowsrZ   ÚoffÚsubÚdfr#  r  Úprimr  s.                                                @r8   Úmainr\    s¼
  ø€ Ü�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜ	ˆG�F�8Ð
 DÕ)Ø,0„E‡N�N×Ñ×ÑÔ)Ü‡J�J„LÜ×*Ñ*Ó,€FÜ”2—7‘7©vÓ6©v¨!˜A˜a™D ›I¨vÑ6Ó7Ó8€FÜ”R—W‘W±6Ó:±6¨a˜a ™d 5›k°6Ñ:Ó;Ó<€HÜ	Ð'¨¨s |°6¸(À3¸Ð
HÐPTÕUÜ
ˆ6�F‰?Ó˜dÒ"¤c¨(°UÑ*:Ó&;¸dÒ&BÜÐ[Ó\Ð\Ü�&ÔÜÓ€DÜ‡K�K”˜tÕ$ð €EØ€NÜœ'Ö"‰ˆˆ1Ü˜˜Q™˜“ˆAØ×!Ñ! 1 a &Õ)ñ !ð #÷ ˆØ(+Ñ%ˆˆf�f˜gÛ"‰DˆAˆqÝ#*Ó>¡7˜a¨a¸¸1°vªoš 7ˆHÐ>Ü'¨¨X°t¸VÓD‰MˆE�2�rÜ—7‘7—<‘<¤¨¨¨b´¸aÀ¸VÓ1DÐ0EÀSÐ&IÓJˆDÜ�J‰J ×!1Ñ!1Ó!3¸2ÀRØ"(°WÈØ!)ñ+à,0ô2ô    t¨F¡|°R¸¸VÀVÓLˆGØ")ˆE�4˜˜A�,ÑØ")ˆE�4˜˜A�,ÑØÜ�J‰J×"Ñ"Õ$ñ #ð ð €DßˆßˆEØ˜Š~ØÝ#*ÓF¡7˜a¨a¸¸u°~Ò.Eš 7ˆHÐFß�Ø˜1‘v�Ø  u¨eÐ 4Ñ5�äŸ™¹Ó A¹°1  G¨A¡J¡¸Ñ AÀ8ÓL‘��Bß�Aß!'˜ÜŸJ™J u¨g°e©n¸bÀ"ÀuÁ*ÈaÓP˜ØŸ™¤DÐ$j¨u¸EÈÐVWÐ_dÑ$jÐhiÑ$jÕkñ "(ñ  ð ô Ð% e W¨M¸%¸ÐAÈÖNñ ð ô �L‰L˜Ó€EÜ‡K�K”—‘—‘¤Ó&°Õ6Ø	‡L�L”˜e€LÔ$Ü	ˆF”5�'Ð
 $Õ'Ø�m‰mÒAÓBÒCcÑd×iÑiÓk×wÑwÓy€Gà TÑ*€EØ€FØ—[‘[–]‰	ˆˆcÜ! '¨3Ó/‰ˆˆtØˆˆt‰Ü�˜�v˜R ˜vÐ%AÀ#ÀaÀð IØŸ™Ÿ™›¨Ð,¨E°%·)±)·.±.Ó2BÀ3Ð1GðIØPTõ	Và—N‘NÖ$‰DˆAˆqÜ�B�q—w‘w�i˜q §¡ 	¨¨Q¯X©X¨J°d¸1¿7¹7¸)À:ÈaÏcÉcÐRUÈYÐV[Ð\]×\aÑ\aÐbeÐ[fÐgÐosÖtñ %ð #ð €EØ€HØ—|‘|—~‰ˆˆeØ—N‘N×$‰DˆAˆqØ—7‘7˜AŸG™GÐ$ˆCØ˜%ÑÜÓ@¥fÓ@Ó@�Ý'.Ó?¡w !°!°q·w±w³,šA w�Ð?Ü +¨C°¸4ÀÓ H‘��r˜2Ü—w‘w—|‘|¤D¨Q¯W©W¨I°W¸Q¿W¹W¸IÀSÐ*IÓJ�Ü—
‘
 U×%5Ñ%5Ó%7¸rÈØ&)¨!¡f¸¸Q¹È3ÈqÉ6Ø%-¸|ñMàNRôTô ' u¨d°3°q±6©l¸BÀÀCÈÁFÈFÓS��c‘
ØÜ—
‘
×&Ñ&Ô(Ü˜U 3™Z¨¯©°!·(±(¸A¿G¹GÓDˆCØ�O‰OœD d¨q¯w©w¸a¿g¹gÌeÐTU×T\ÑT\ËoÜ',¨Q¯W©W£~¸¸S¹ÀsÈ5ÁzÐWZÐ[`ÑWaØ#& s¡8°#°f±+ÄuÈQÏSÉSÃzÔ]bÐcd×chÑchÓ]iØ(2ô4ô 5ô �T�F˜!˜AŸG™G˜9 A a§g¡g Y¨c°!·(±(°¸4ÀÇÁ¸yð IØ˜3‘x �n E¨#¨e©*°SÐ)9¸¸sÀ5¹zÈ#Ð>NÈcÐRUÐVYÑRZÐ[^ÐQ_ðaØhl÷nò% %ð &÷. *0¨Ñ%ˆˆf�f˜gØ�g—m‘m tÑ+Ñ,ˆÜ! # tÓ,‰ˆˆtÜ�˜�v˜R ˜vÐ%?ÀÇÁÇÁÃÈsÐ?SÐSXÐY^×YbÑYb×YgÑYgÓYiÐjmÐXnÐoÐw{Õ|Ø—N‘N×$‰DˆAˆqØ—7‘7˜AŸG™GÐ$ˆCØ˜%ÑØ˜V V¨WÐ5�Ý'.Ó?¡w !°!°q·w±w³,šA w�Ð?Ü +¨C°¸4ÀÓ H‘��r˜2Ü—w‘w—|‘|¤D¨T¨F°'¸!¿'¹'¸À#Ð*FÓG�Ü—
‘
 U×%5Ñ%5Ó%7¸rÈØ&,¸ÈFÐ]eñgØhlônä& u¨d°6©l¸BÀÀFÈFÓS��c‘
ØÜ—
‘
×&Ñ&Ô(Ü˜U 3™Z¨¯©°!·(±(¸A¿G¹GÓDˆCØ�O‰OœD¨°¨vÐ&6¸1¿7¹7È$ÔW\Ð]^×]eÑ]eÓWfÜ',¨Q¯W©W£~¸¸S¹ÀsÈ5ÁzÐWZÐ[`ÑWaØ#& s¡8°#°f±+ÄuÈQÏSÉSÃzÔ]bÐcd×chÑchÓ]iØ(2ô4ô 5ô �G˜D˜6  1§7¡7 )¨4°°C±¸¨~¸UÀ3ÀuÁ:ÈcÐBRÐSÐ[_×`ò# %ð	 *0ô. 
�‰�hÓ	€BØ‡I�IŒc˜€IÔÜ	ˆ*ÔØ—Z‘Z Ö'‰	ˆˆcØÒ0Ñ1×6Ñ6Ó8ˆÜ��4˜�*˜D §¡ S 	¨°·±°c¨{¸&ÀÇÁÀsÀÈ4ÐPQ×PSÑPSÐTWÈyÐX_Ð`a×`fÑ`fÐgjÐ_kÐlÕmð (ð ˆb�g‰g˜Ñ Ñ!€DÜ	Ð §¡§¡£¨cÐ2°&¸¿¹¿¹»ÈÐ8MÐ
NÔOÜ	Ð$¤T¨$¯&©&¯+©+«-¸$Ñ*>Ò*WÀ4Ç8Á8Ç=Á=Ã?ÐUWÑCWÓ%XÐ$YÐ
ZÔ[Ü	ˆF”3�%ˆ.Õùòu 7ùÚ:ùò$ ?ùò" Gùò
 !Bùò> @ùò4 @sB   Â0m2Ã"m7Çm<Çm<Ê:nËnË5nÖnÖ!náná#nÚ__main__)/rE   r2  r´   rØ   rH   Úpandasr   r)   Útorch.nnr%   Úensemble_clf_nestedrJ   Úcommonr   r7  r@  ÚabspathÚ__file__ÚEXPrÃ   rF  rA  r4  r«   rµ   r¶   r<  r=  r6  ÚModuler   rN   r\   rp   rv   r“   rÔ   rÁ   r×   rè   rñ   rí   r÷   r  r  r\  rB   r*  r9   r8   Ú<module>rf     sF  ðñó, 
Û ã Û Û Ý ã Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø‡g�g‡l�l�3˜	 :Ð/MÓN€Ø
�‰�‰�S˜) ZÐ1UÓV€Ø	‡w�w‡|�|�C˜ :Ó.€à€
Ø€Ø€Ø	€Ø	€ð
€ô/˜RŸY™Yô /ò,"ò
	"ò8ò"òò,%òP.ð €‡�ƒñó ðò.0ð €‡�ƒñó ðò&ò
%ò;ò
@ðF ˆzÒÙ…Fð r9   