Ë
    ¨räj­p  ã                   ób  — d Z ddlZddlZddlZddlZddlZddlZddl	Z	ddl
mZ ddlmc mZ ddlZddlZddlZddlmZ ej.                  j1                  ej.                  j3                  e«      «      Zej.                  j9                  edd«      Zej.                  j9                  edd«      Zej.                  j9                  eddd	«      Zej.                  j9                  ed
d«      Z ej.                  j9                  eddd«      Z!ej.                  j9                  eddd«      Z"ej.                  j9                  ed
d«      Z#dZ$dZ%dZ&dZ'dZ(dZ)d„ Z*d„ Z+ G d„ dejX                  «      Z-d„ Z. G d„ dejX                  «      Z/d„ Z0d„ Z1d„ Z2d„ Z3d„ Z4d „ Z5d!„ Z6d'd"„Z7d#„ Z8d$„ Z9d%„ Z:e;d&k(  r e:«        yy)(aÅ  Causal logit transformer, third round.

Same official metric as ensemble_clf_transformer_v2.py: H is the harmonic mean of
subject-mean accuracy and switch score L from score.score_dataset. Leave-one-dataset-out.
Inner selection (nested mode) uses the acc74 rule on datasets that are neither the
held-out dataset nor the scored inner dataset. Emissions are fit without the scored
dataset. Test labels are read only inside the scorer.

What is new, relative to stem_ms96 (nested family mean H 0.8677, Acc 82.42):
  gate_local   the 24-d multi-scale logit features are 6 groups x 4 classifier seeds.
               Each seed is projected and passed through a causal depthwise conv, then
               the four seeds are mixed by attention at the same time step. A zero-init
               dilated conv stem and local causal attention (relative bias, 6.25 s)
               sit in front of a zero-init head. The linear skip still starts as the
               mean of the four raw logits. Loss matches stem_ms96.
  gate_robust  the same network with label smoothing, cross-window mixup, per-channel
               gain, mild group-DRO, a small CORAL penalty across training datasets,
               and a lighter temporal-smoothness penalty.

Train seed 20270101.

usage:
  SMOKE=1 STEPS=30 FOLD=AVGC python ensemble_clf_transformer_v3.py
  MODE=screen STEPS=1000 python ensemble_clf_transformer_v3.py
  MODE=nested ONLY=gate_local STEPS=1000 python ensemble_clf_transformer_v3.py
é    N)ÚDS_KEYSÚmodelsÚlogit_tf_v3Úlogit_tf_v2ÚresultsÚresearchztransformer_v3_screen.csvÚexperimentsztransformer_v3_screen.logzensemble_clf_transformer_v3.csvz%ensemble_clf_transformer_v3_inner.csvztransformer_v3.log))
Ú
gate_localÚmsé`   Úgateé@   é   ç-Cëâ6J?çš™™™™™¹?g-Cëâ6?F)
Úgate_robustr   r   r   r   r   r   g333333Ã?ga2U0*©3?Té   é   ç{®Gáz”?g{®Gázt?c                 óð   — t        |d¬«       t        j                  t        j                  j	                  | «      d¬«       t        | d«      5 }|j                  |dz   «       d d d «       y # 1 sw Y   y xY w)NT©Úflush©Úexist_okÚaÚ
)ÚprintÚosÚmakedirsÚpathÚdirnameÚopenÚwrite)r    ÚtextÚfhs      ú6/root/disk_3tb/eeg-thao/ensemble_clf_transformer_v3.pyÚlog_liner'   @   sL   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘ Ó%°Õ5Ü	ˆd�CŒ˜BØ
�‰�˜‘Ô÷ 
�‰ús   ÁA,Á,A5c                  ó°  — t         j                  j                  dd«      j                  «       } | st	        t
        «      S | j                  d«      D �ch c]#  }|j                  «       sŒ|j                  «       ’Œ% }}t
        D �cg c]  }|d   |v sŒ|‘Œ }}||D �ch c]  }|d   ’Œ	 c}z
  }|rt        dt        |«      › �«      ‚|S c c}w c c}w c c}w )NÚONLYÚ Ú,r   zunknown ONLY names: )	r   ÚenvironÚgetÚstripÚlistÚCONFIGSÚsplitÚ
SystemExitÚsorted)ÚonlyÚnÚnamesÚcÚcfgsÚmissings         r&   Úwanted_configsr:   G   s¼   € Ü�:‰:�>‰>˜& "Ó%×+Ñ+Ó-€DÙÜ”G‹}ÐØ $§
¡
¨3¤Ó=¡˜1°1·7±7µ9ˆQ�W‰W�Y €EÐ=ÝÓ0‘w�! ! A¡$¨%¢-ŠA�w€DÐ0Ø¡TÓ*¡T �q˜“t TÑ*Ñ*€GÙÜÐ/´°w³Ð/@ÐAÓBÐBØ€Kùò >ùÚ0ùÚ*s   ÁC	Á)C	ÂCÂCÂCc                   ó(   ‡ — e Zd ZdZˆ fd„Zd„ Zˆ xZS )ÚLocalCausalBlockzPNorm-first local causal attention plus an FFN. Output projections start at zero.c           	      ór  •— t         ‰| �  «        ||z  dk7  rt        d|› d|› �«      ‚|| _        || _        ||z  | _        t        j                  |«      | _        t        j                  |d|z  «      | _
        t        j                  ||«      | _        t        j                  t        j                  ||«      «      | _        t        j                   |«      | _        t        j                  |«      | _        t        j&                  t        j                  |d|z  «      t        j(                  «       t        j                   |«      t        j                  d|z  |«      «      | _        t        j,                  j/                  | j                  j0                  «       t        j,                  j/                  | j                  j2                  «       t        j,                  j/                  | j*                  d   j0                  «       t        j,                  j/                  | j*                  d   j2                  «       y )Nr   zd_model z not divisible by nhead é   r   éÿÿÿÿ)ÚsuperÚ__init__Ú
ValueErrorÚnheadÚspanÚdhÚnnÚ	LayerNormÚnorm1ÚLinearÚqkvÚoutÚ	ParameterÚtorchÚzerosÚrelÚDropoutÚdropÚnorm2Ú
SequentialÚGELUÚffÚinitÚzeros_ÚweightÚbias)ÚselfÚdrC   rD   ÚdropoutÚ	__class__s        €r&   rA   zLocalCausalBlock.__init__V   so  ø€ Ü‰ÑÔØˆu‰9˜Š>Ü˜x¨ sÐ*BÀ5À'ÐJÓKÐKØˆŒ
ØˆŒ	Ø�u‘*ˆŒÜ—\‘\ !“_ˆŒ
Ü—9‘9˜Q  A¡Ó&ˆŒÜ—9‘9˜Q “?ˆŒÜ—<‘<¤§¡¨E°4Ó 8Ó9ˆŒÜ—J‘J˜wÓ'ˆŒ	Ü—\‘\ !“_ˆŒ
Ü—-‘-Ü�I‰I�a˜˜Q™Ó¤§¡£¬B¯J©J°wÓ,?ÄÇÁÈ1ÈqÉ5ÐRSÓATóVˆŒä
�‰�‰�t—x‘x—‘Ô'Ü
�‰�‰�t—x‘x—}‘}Ô%Ü
�‰�‰�t—w‘w˜r‘{×)Ñ)Ô*Ü
�‰�‰�t—w‘w˜r‘{×'Ñ'Õ(ó    c                 óJ  — |j                   \  }}}| j                  |«      }| j                  |«      j                  ||d| j                  | j
                  «      j                  ddddd«      }|d   |d   |d   }	}}| j                  dz
  }
t        j                  |dd|
df«      }t        j                  |	dd|
df«      }|j                  d| j                  d«      }|j                  d| j                  d«      }|j                  d«      |z  j                  d«      t        j                  | j
                  «      z  }|| j                  j                  d| j                  d| j                  «      z   }t!        j"                  | j                  |j$                  ¬«      }t!        j"                  ||j$                  ¬«      }|j                  d| j                  «      | j                  dz
  |z
  j                  |d«      k\  }|j'                  |j                  dd|| j                  «       t!        j(                  |j*                  «      j,                  «      }| j/                  t!        j0                  |d¬	«      «      }|j                  d«      |z  j                  d«      }|j                  dddd«      j3                  «       j                  |||«      }|| j/                  | j5                  |«      «      z   }|| j/                  | j7                  | j9                  |«      «      «      z   }|S )
Nr>   r   r   é   r   r?   éþÿÿÿ©Údevice©Údim)ÚshaperH   rJ   ÚviewrC   rE   ÚpermuterD   ÚFÚpadÚunfoldÚ	unsqueezeÚsumÚmathÚsqrtrO   rM   Úarangerc   Úmasked_fillÚfinfoÚdtypeÚminrQ   ÚsoftmaxÚ
contiguousrK   rU   rR   )rZ   ÚxÚbÚtr[   ÚhrJ   ÚqÚkÚvrj   Úk_padÚv_padÚk_uÚv_uÚscoreÚslotsÚtimesÚvalidrX   Úctxs                        r&   ÚforwardzLocalCausalBlock.forwardj   ss  € Ø—'‘'‰ˆˆ1ˆaØ�J‰J�q‹MˆØ�h‰h�q‹k×Ñ˜q ! Q¨¯
©
°D·G±GÓ<×DÑDÀQÈÈ1ÈaÐQRÓSˆØ�a‘&˜#˜a™& # a¡&ˆaˆ1ˆØ�i‰i˜!‰mˆÜ—‘�a˜!˜Q  Q˜Ó(ˆÜ—‘�a˜!˜Q  Q˜Ó(ˆØ�l‰l˜1˜dŸi™i¨Ó+ˆØ�l‰l˜1˜dŸi™i¨Ó+ˆØ—‘˜R“ 3Ñ&×+Ñ+¨BÓ/´$·)±)¸D¿G¹GÓ2DÑDˆØ˜Ÿ™Ÿ™ a¨¯©°Q¸¿	¹	ÓBÑBˆÜ—‘˜TŸY™Y¨q¯x©xÔ8ˆÜ—‘˜Q q§x¡xÔ0ˆØ—
‘
˜1˜dŸi™iÓ(¨T¯Y©Y¸©]¸UÑ-B×,HÑ,HÈÈAÓ,NÑNˆØ×!Ñ! 5§:¡:¨a°°A°t·y±yÓ#AÐ"AÄ5Ç;Á;ÈuÏ{É{ÓC[×C_ÑC_Ó`ˆØ—‘œ5Ÿ=™=¨°BÔ7Ó8ˆØ×Ñ Ó# cÑ)×.Ñ.¨rÓ2ˆØ�k‰k˜!˜Q  1Ó%×0Ñ0Ó2×7Ñ7¸¸1¸aÓ@ˆØ�—	‘	˜$Ÿ(™( 3›-Ó(Ñ(ˆØ�—	‘	˜$Ÿ'™' $§*¡*¨Q£-Ó0Ó1Ñ1ˆØˆr^   ©Ú__name__Ú
__module__Ú__qualname__Ú__doc__rA   r‡   Ú__classcell__©r]   s   @r&   r<   r<   S   s   ø„ ÙZô)ö(r^   r<   c                 ó€  — t        j                  | d¬«      }t        j                  |dd|df«      d d …d | j	                  d«      …f   }t        j
                  d| j	                  d«      dz   | j                  ¬«      j                  |¬«      j                  ddd«      }||z
  |j                  | j                  «      z  S )Nr`   rd   r   rb   )Úmaxr?   )rM   Úcumsumri   rj   Úsizerp   rc   Úclamprg   Útors   )rz   r|   ÚtotalÚshiftedÚcounts        r&   Úcausal_poolr˜   ‚   sœ   € Ü�L‰L˜ Ô"€EÜ�e‰e�E˜A˜q ! Q˜<Ó(ª¨K¨a¯f©f°Q«i¨K¨Ñ8€GÜ�L‰L˜˜AŸF™F 1›I¨™M°!·(±(Ô;×AÑAÀaÐAÓH×MÑMÈaÐQSÐUVÓW€EØ�G‰O˜uŸx™x¨¯©Ó0Ñ0Ð0r^   c                   ó,   ‡ — e Zd ZdZdˆ fd„	Zdd„Zˆ xZS )ÚSeedGateLocalzUPer-seed causal conv, same-time seed attention, dilated stem, local causal attention.c                 óþ  •— t         ‰
| �  «        |t        t        z  k7  rt	        dt        t        z  › d|› �«      ‚|| _        || _        d| _        t        j                  t        |«      | _
        t        j                  ||| j                  dz   |¬«      | _        t        j                  ||«      | _        t        j                  ||«      | _        t        j                  ||«      | _        t        j                  ||«      | _        t        j"                  dD �cg c]  }t%        j&                  |d||¬«      ‘Œ c}«      | _        t        j"                  t+        |«      D �	cg c]  }	t-        ||||«      ‘Œ c}	«      | _        t        j                  |d	z  d«      | _        t        j                  |dd
¬«      | _        t        j4                  j7                  | j                  j8                  «       t        j4                  j7                  | j                  j:                  «       t        j4                  j7                  | j                   j8                  «       t        j4                  j7                  | j                   j:                  «       t        j4                  j7                  | j0                  j8                  «       t        j4                  j7                  | j0                  j:                  «       t        j4                  j7                  | j2                  j8                  «       t=        j>                  «       5  dt        z  | j2                  j8                  dd t        …f<   d d d «       y c c}w c c}	w # 1 sw Y   y xY w)Nz	expected z channels, got é   r`   )Úgroups)r`   r   r   rœ   é   )r|   Údilationr\   r>   F)rY   ç      ð?r   ) r@   rA   ÚN_SEEDSÚN_GROUPSrB   ÚwindowÚd_modelÚdw_padrF   rI   Ú	seed_projÚConv1dÚdwr{   r|   r}   Úseed_outÚ
ModuleListÚVÚDilatedResidualÚblocksÚranger<   ÚlocalÚheadÚskiprV   rW   rX   rY   rM   Úno_grad)rZ   Úc_inr£   r¤   rC   Únlayersr\   rD   ÚdilÚ_r]   s             €r&   rA   zSeedGateLocal.__init__Œ   sY  ø€ Ü‰ÑÔØ”7œXÑ%Ò%Ü˜y¬´8Ñ);Ð(<¸OÈDÈ6ÐRÓSÐSØˆŒØˆŒØˆŒÜŸ™¤8¨WÓ5ˆŒÜ—)‘)˜G W¨d¯k©k¸A©oÀgÔNˆŒÜ—‘˜7 GÓ,ˆŒÜ—‘˜7 GÓ,ˆŒÜ—‘˜7 GÓ,ˆŒÜŸ	™	 '¨7Ó3ˆŒÜ—m‘má#ó%
á#�ô ×Ñ˜g¨°SÀ'ÖJØ#ñ%
ó ˆŒô —]‘]ÜEJÈ7Ä^ó$
ÙESÀÔ˜W e¨T°7Õ;À^ñ$
ó ˆŒ
ô —I‘I˜g¨™k¨1Ó-ˆŒ	Ü—I‘I˜d A¨EÔ2ˆŒ	Ü
�‰�‰�t—w‘w—~‘~Ô&Ü
�‰�‰�t—w‘w—|‘|Ô$Ü
�‰�‰�t—}‘}×+Ñ+Ô,Ü
�‰�‰�t—}‘}×)Ñ)Ô*Ü
�‰�‰�t—y‘y×'Ñ'Ô(Ü
�‰�‰�t—y‘y—~‘~Ô&Ü
�‰�‰�t—y‘y×'Ñ'Ô(Ü�]‰]�_Ø,/´'©MˆD�I‰I×Ñ˜Q ¤ ˜[Ñ)÷ ˆ_ùò!%
ùò$
÷ ˆ_ús   Ä M)Å"M.Ì7)M3Í3M<c                 ó
  — |}|j                   \  }}}|j                  «       j                  ||t        t        «      j                  dddd«      }| j                  |«      }|j                  |t        z  || j                  «      }	|	| j                  t        j                  |	j                  dd«      | j                  df«      «      j                  dd«      z   }	|	j                  |t        || j                  «      j                  dddd«      }t        j                  t        j                   t        j                  | j#                  |«      | j%                  |«      j                  dd«      «      t'        j(                  | j                  «      z  d¬«      | j+                  |«      «      }
|j-                  d¬«      | j/                  |
j-                  d¬«      «      z   }| j0                  D ]
  } ||«      }Œ | j2                  D ]
  } ||«      }Œ t        j4                  |t7        |d«      t7        |d	«      gd¬«      }| j9                  |«      j;                  d«      | j=                  |«      j;                  d«      z   }|r||fS |S )
Nr   r>   r`   r   r?   ra   rd   r   é   )rf   rv   rg   r¢   r¡   rh   r¦   Úreshaper¤   r¨   ri   rj   Ú	transposer¥   rM   Úmatmulru   r{   r|   rn   ro   r}   Úmeanr©   r­   r¯   Úcatr˜   r°   Úsqueezer±   )rZ   rw   Úreturn_hÚrawrx   ry   r¶   Úseedsrz   ÚflatÚmixÚfusedÚblockÚlayerÚpooledÚlogits                   r&   r‡   zSeedGateLocal.forward¬   sÿ  € ØˆØ—'‘'‰ˆˆ1ˆaØ—‘“×#Ñ# A q¬(´GÓ<×DÑDÀQÈÈ1ÈaÓPˆØ�N‰N˜5Ó!ˆØ�y‰y˜œW™ a¨¯©Ó6ˆØ�d—g‘gœaŸe™e D§N¡N°1°aÓ$8¸4¿;¹;ÈÐ:JÓKÓL×VÑVÐWXÐZ[Ó\Ñ\ˆØ�I‰I�aœ ! T§\¡\Ó2×:Ñ:¸1¸aÀÀAÓFˆÜ�l‰lœ5Ÿ=™=¬¯©°d·f±f¸Q³iÀÇÁÈÃ×ATÑATÐUWÐY[ÓA\Ó)]Ü,0¯I©I°d·l±lÓ,Cñ*DØIKôMØNRÏfÉfÐUVËióYˆà—‘˜1�“ §¡¨c¯h©h¸1¨h«oÓ >Ñ>ˆØ—[”[ˆEÙ˜%“L‰Eð !à—Z”ZˆEÙ˜%“L‰Eð  ä—‘˜E¤;¨u°aÓ#8¼+ÀeÈRÓ:PÐQÐWYÔZˆØ—	‘	˜&Ó!×)Ñ)¨"Ó-°·	±	¸#³×0FÑ0FÀrÓ0JÑJˆÙØ˜%�<ÐØˆr^   )r   r   r   r   é   )Frˆ   rŽ   s   @r&   rš   rš   ‰   s   ø„ Ù_õ:÷@r^   rš   c           
      ó\   — | \
  }}}}}}}}	}
}|dk7  rt        |«      ‚t        |||||	¬«      S )Nr   )r¤   r´   r\   )rB   rš   )Úcfgr³   Ú_nameÚ_familyr£   Úkindr¤   r´   Ú_lrr\   Ú_wdÚ_robusts               r&   Úbuild_modelrÒ   Â   sB   € ØQTÑN€Eˆ7�F˜D '¨7°C¸À#ÀwØˆv‚~Ü˜ÓÐÜ˜˜v¨wÀÐQXÔYÐYr^   c           	      óH  — | j                  d«      }g }t        j                  |j                  d«      |j                  ¬«      }t        |«      D ]f  }|||z  |k(     }||j                  dd¬«      z
  }|j                  |j                  dd«      |z  t        |j                  d«      dz
  d«      z  «       Œh |j                  d«      }d}t        |«      D ]F  }	t        |	dz   |«      D ]2  }
|||	   ||
   z
  j                  d«      j                  «       z   }|dz  }Œ4 ŒH ||z  S )Nr`   r   rb   T)Úkeepdim© r   )r¼   rM   rp   r’   rc   r®   Úappendrº   r�   Ú	new_zerosÚpow)rz   Ún_gÚzÚcovsÚindexÚgiÚzgÚlossÚpairsÚiÚjs              r&   Ú
coral_lossrã   É   s  € Ø	�‰ˆq‹	€AØ€DÜ�L‰L˜Ÿ™ ›¨1¯8©8Ô4€EÜ�CŽjˆØˆu�s‰{˜bÑ Ñ!ˆØ�"—'‘'˜! T�'Ó*Ñ*ˆØ�‰�B—L‘L  AÓ&¨Ñ+¬c°"·'±'¸!³*¸q±.À!Ó.DÑDÕEð ð �;‰;�r‹?€DØ€EÜ�3ŽZˆÜ�q˜1‘u˜cÖ"ˆAØ˜4 ™7 T¨!¡WÑ,×1Ñ1°!Ó4×9Ñ9Ó;Ñ;ˆDØ�Q‰J‰Eñ #ð ð �%‰<Ðr^   c                 ó@  — t        j                  | «      } t        j                  | j	                  d«      d| j	                  d«      | j
                  ¬«      j                  t        j                  d«      t        j                  d«      «      j                  «       }| |z  S )Nr   r`   r   rb   g      è?g      ô?)
r«   ÚaugmentrM   Úemptyr’   rc   Úuniform_rn   ÚlogÚexp)rw   Úgains     r&   Úrobust_augmentrë   Ú   sl   € Ü	�	‰	�!‹€AÜ�;‰;�q—v‘v˜a“y ! Q§V¡V¨A£Y°q·x±xÔ@×IÑIÌ$Ï(É(ÐSWË.ÔZ^×ZbÑZbÐcgÓZhÓi×mÑmÓo€DØˆt‰8€Or^   c                 ó°  — | \
  }}}}}	}
}}}}t        j                  ||   |«      \  }}t        j                  ||   |«      \  }}t        |j	                  «       «      }t        j                  d|z
  t        |d«      z  g|¬«      }|d   d   d   d   j                  d   }t        j                  t         j                  «       |j                  dk(  r-t
        j                  j                  t         j                  «       t        | |«      j                  |«      }t!        j"                  |«      j%                  «       }t
        j&                  j)                  |j+                  «       ||¬«      }t,        j.                  j1                  t         j                  «      }t3        |«      }t        j4                  ||¬«      }|j7                  «        t9        j8                  «       }d }t;        |«      D �]r  }t        j<                  ||||«       t        j>                  |||t         j@                  ||«      \  }} }!t        jB                  |«      j                  |d	¬
«      }"t        jB                  | «      j                  |d	¬
«      }#t        jB                  |!«      j                  |d	¬
«      }$|r§tE        |"«      }"t        jF                  d|¬«      dk  rkt        |jI                  dd«      «      }%t        jJ                  |"jM                  d«      |¬«      }&|%|"z  d|%z
  |"|&   z  z   }"|%|#z  d|%z
  |#|&   z  z   }#|$|$|&   z  }$|#dtN        z
  z  dtN        z  z   }'nt        jP                  |"«      }"|#}'|jS                  d	¬«       |r ||"d	¬«      \  }(})n
 ||"«      }(d })t        jT                  |#|$«      }*tW        jX                  |(|'|d¬«      }+|rtZ        nd},|�r3|+|*z  |$z  j]                  d«      |*|$z  j]                  d«      j_                  d«      z  }-g }.t        j`                  |-jM                  d«      |¬«      }/t;        |«      D ]*  }0|.jc                  |-|/|z  |0k(     j	                  «       «       Œ, t        jd                  |.«      }.t        jf                  ||j	                  «       z
  dz  d¬«      }1|1|.z  j]                  «       th        tk        |)|«      z  z   }2|jm                  d«      jo                  |.jq                  «       d¬«       n;|*|$z  j]                  «       j_                  d«      }3|+|*z  |$z  j]                  «       |3z  }2|(d d …dd …f   |(d d …d d…f   z
  js                  «       }4|$d d …dd …f   |$d d …d d…f   z  }5|2|,|4|5z  j]                  «       z  |5j]                  «       j_                  d«      z  z   }2t        jt                  |2«      stw        d|› d|› �«      ‚|2jy                  «        t
        jz                  j|                  j                  |j+                  «       d«       |j�                  «        t        j‚                  ||d«       t        |2j…                  «       «      }�Œu |j%                  «        t        j†                  ||||||«      }6t‰        d|› ddj‹                  |«      › d|d›d |6d›d!t9        j8                  «       |z
  d"›d#�d	¬$«       |||fS )%Nr    gü©ñÒMbP?rb   r   Útrialsr`   Úcuda)ÚlrÚweight_decayT)Únon_blockingrÕ   g      à?gš™™™™™Ù?)Úset_to_none)r¿   Únone)Ú
pos_weightÚ	reductiongš™™™™™©?r   rd   çÍÌÌÌÌÌì?)Úalphar?   znon-finite loss at step z for g×£p=
×ï?z
  trained z on Ú+z  loss ú.3fz  frame-acc z  (ú.0fús)r   )Fr«   Útrial_groupsÚ
norm_statsÚfloatr¼   rM   Útensorr�   rf   Úmanual_seedÚ
TRAIN_SEEDÚtyperî   Úmanual_seed_allrÒ   r”   ÚcopyÚdeepcopyÚevalÚoptimÚAdamWÚ
parametersÚnpÚrandomÚdefault_rngÚlenrN   ÚtrainÚtimer®   Úset_lrÚsample_batchÚBATCHÚ
from_numpyrë   ÚrandÚbetaÚrandpermr’   Ú
SMOOTH_EPSrå   Ú	zero_gradÚswitch_weightsri   Ú binary_cross_entropy_with_logitsÚ	TV_ROBUSTrm   Ú	clamp_minrp   rÖ   Ústackru   ÚCORAL_Wrã   Úmul_Úadd_ÚdetachÚabsÚisfiniteÚRuntimeErrorÚbackwardrF   ÚutilsÚclip_grad_norm_ÚstepÚ
ema_updateÚitemÚtrain_frame_accr   Újoin)7rË   ÚdatasetsÚfeatrc   ÚstepsÚnameÚfamilyr£   Ú_kindÚ_d_modelÚ_nlayersrï   Ú_dropoutÚwdÚrobustr�   Úy_allÚmuÚsdÚposrô   r³   ÚmodelÚemaÚoptÚrngrÙ   ÚdroÚt0Úlastr(  ÚxbÚybÚmbrw   ÚyÚmÚlamÚpermÚy_hatrÈ   ÚhiddenÚswÚbceÚtv_wÚperÚgroupedÚrowsrÝ   r{   rß   ÚdenomÚdvÚm2Úaccs7                                                          r&   Útrain_modelrV  à   sÓ  € ØPSÑM€Dˆ&�&˜% ¨8°R¸À2ÀvÜ—N‘N 4¨¡<°Ó:�M€FˆEÜ�\‰\˜$˜v™,¨Ó1�F€BˆÜ
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JØ�!‰9�XÑ˜qÑ! !Ñ$×*Ñ*¨1Ñ-€DÜ	×Ñ”a—l‘lÔ#Ø‡{�{�fÒÜ�
‰
×"Ñ"¤1§<¡<Ô0Ü˜˜TÓ"×%Ñ% fÓ-€EÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€CÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.°2ÀBÐ
Ó
G€CÜ
�)‰)×
Ñ
¤§¡Ó
-€CÜ
ˆf‹+€CÜ
�+‰+�c &Ô
)€CØ	‡K�K„MÜ	�‰‹€BØ€DÜ�e—ˆÜ	�‰��d˜E 2Ô&Ü—^‘^ C¨°¼¿¹À"ÀbÓI‰
ˆˆB�Ü×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÙÜ˜qÓ!ˆAÜ�z‰z˜" VÔ,¨sÒ2Ü˜CŸH™H S¨#Ó.Ó/�Ü—~‘~ a§f¡f¨Q£i¸Ô?�Ø˜!‘G˜s S™y¨A¨d©GÑ3Ñ3�Ø˜!‘G˜s S™y¨A¨d©GÑ3Ñ3�Ø˜˜$™‘K�Ø˜œzÑ)Ñ*¨S´:Ñ-=Ñ=‰Eä—	‘	˜!“ˆAØˆEØ�‰ $ˆÔ'ÙÙ! !¨dÔ3‰MˆE‘6á˜!“HˆEØˆFÜ×Ñ˜a Ó#ˆÜ×0Ñ0°¸È*Ð`fÔgˆÙ"�y¨ˆÚØ˜‘8˜a‘<×$Ñ$ QÓ'¨2°©6¯,©,°q«/×*CÑ*CÀCÓ*HÑHˆCØˆGÜ—<‘< §¡¨£°FÔ;ˆDÜ˜C–j�Ø—‘˜s 4¨#¡:°Ñ#3Ñ4×9Ñ9Ó;Õ<ð !ä—k‘k 'Ó*ˆGÜ—‘˜s S§X¡X£ZÑ/°3Ñ6¸AÔ>ˆAØ˜‘K×$Ñ$Ó&¬´:¸fÀcÓ3JÑ)JÑJˆDØ�H‰H�S‹M×Ñ˜wŸ~™~Ó/°sÐÕ;à˜!‘V—L‘L“N×,Ñ,¨SÓ1ˆEØ˜"‘H˜q‘L×%Ñ%Ó'¨%Ñ/ˆDØ’A�q‘r�E‰l˜U¢1 c r c 6™]Ñ*×/Ñ/Ó1ˆØŠq�!‘"ˆu‰X˜š!˜S˜b˜S˜&™	Ñ!ˆØ�d˜b 2™gŸ]™]›_Ñ,¨r¯v©v«x×/AÑ/AÀ#Ó/FÑFÑFˆÜ�~‰~˜dÔ#ÜÐ!9¸$¸¸uÀTÀFÐKÓLÐLØ�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
Ü	�‰�U˜C Ô'Ü�T—Y‘Y“[Ó!Šðc ðd ‡H�H„JÜ
×
Ñ
˜C ¨°°R¸Ó
@€CÜ	ˆJ�t�f˜D §¡¨(Ó!3Ð 4°G¸DÀ¸:À\ÐRUÐVYÐQZð [Ü�i‰i‹k˜BÑ˜sÐ# 2ð'Ø.2õ4à��Bˆ;Ðr^   c                 ó<  — t        j                  d«       t        t        t        z  ddd¬«      j                  | «      j                  «       }t        j                  ddt        t        z  | ¬«      }t        j                  «       5   ||«      }|j                  «       }t        j                  dt        t        z  | ¬«      |d d …df<    ||«      }|j                  «       }t        j                  dt        t        z  | ¬«      |d d …df<    ||«      }d d d «       t        j                  d d …d d…f   d d …d d…f   d	¬
«      st        d«      ‚t        j                  |d d …d d…f   d d …d d…f   d	¬
«      st        d«      ‚t        dd¬«       y # 1 sw Y   Œ�xY w)Nr   é    r`   )r¤   r´   r   rb   r?   é
   gñhãˆµøä>)Úatolz!seed-gate readout sees the futurez-seed-gate readout is not causal at mid-windowzcausality check passedTr   )rM   r   rš   r¡   r¢   r”   r  Úrandnr²   ÚcloneÚallcloser$  r   )rc   r<  rw   ÚbaseÚlateÚy_lateÚmidÚy_mids           r&   Úassert_causalrc  ,  sL  € Ü	×Ñ�aÔÜœ'¤HÑ,¨b¸"ÀaÔH×KÑKÈFÓS×XÑXÓZ€EÜ�‰�A�rœ7¤XÑ-°fÔ=€AÜ	�‰�Ù�Q‹xˆØ�w‰w‹yˆÜ—k‘k !¤W¬xÑ%7ÀÔGˆŠQ�ˆU‰Ù�t“ˆØ�g‰g‹iˆÜ—[‘[ ¤G¬hÑ$6¸vÔFˆŠAˆrˆE‰
Ù�c“
ˆ÷ 
ô �>‰>˜$šq # 2 #˜v™,¨ªq°#°2°#¨v©¸TÕBÜÐ>Ó?Ð?Ü�>‰>˜$šq # 2 #˜v™,¨ªa°°"°¨f©¸DÕAÜÐJÓKÐKÜ	Ð
"¨$Ö/÷ 
ˆús   ÂBFÆFc           
      óÒ  — t         j                  j                  t        d| › d�«      }t         j                  j	                  |«      st        d|› �«      ‚t        j                  |dd¬«      }|d   }|d   t        d	      t        t        |d   t        d	      «      «         j                  d
   }t        j                  ||d   |d   |d   t        |d   «      ¬«      j                  |«      }|j!                  |d   «       |j#                  «        t        j$                  ||d   |d   |d   |d   |«      }~|j&                  dk(  rt        j(                  j+                  «        |S )NÚstem_ms96__ú.ptzmissing stem checkpoint ÚcpuF©Úmap_locationÚweights_onlyrË   r   r   r`   r   r>   r   rž   ©r¤   r´   ÚstemÚstater9  r:  rî   )r   r    r,  Ú	STEM_CKPTÚexistsr$  rM   Úloadr   ÚnextÚiterrf   r«   ÚLogitTransformerÚboolr”   Úload_state_dictr  Ú	infer_allr  rî   Úempty_cache)	Útagr.  rc   r    ÚblobrË   r³   r<  Ústreamss	            r&   Úload_stem_streamsr{  ?  s:  € Ü�7‰7�<‰<œ	 [°°°SÐ#9Ó:€DÜ�7‰7�>‰>˜$ÔÜÐ5°d°VÐ<Ó=Ð=Ü�:‰:�d¨¸UÔC€DØ
ˆu‰+€CØ�‰:”g˜a‘jÑ!¤$¤t¨D°©J´w¸q±zÑ,BÓ'CÓ"DÑE×KÑKÈAÑN€DÜ×Ñ˜t S¨¡V°S¸±VÀSÈÁVÔRVÐWZÐ[\ÑW]ÓR^Ô_×bÑbÐciÓj€EØ	×Ñ˜$˜w™-Ô(Ø	‡J�J„LÜ�k‰k˜%  d¡¨T°$©Z¸¸d¹ÀSÈÁVÈVÓT€GØØ‡{�{�fÒÜ�
‰
×ÑÔ Ø€Nr^   c                 ób  — g }t         j                  D �]e  }t         j                  D �]N  }g }|j                  «       D ]4  \  }}	|j	                  t        j                  || |   |||z  ||	«      «       Œ6 |j	                  t        ||t        t        j                  |D �
cg c]  }
|
d   ‘Œ	 c}
«      «      t        t        j                  |D �
cg c]  }
|
d   ‘Œ	 c}
«      «      t        t        j                  |D �
cg c]  }
|
d   ‘Œ	 c}
«      «      t        t        j                  |D �
cg c]  }
|
d   ‘Œ	 c}
«      «      t        t        j                  |D �
cg c]  }
|
d   ‘Œ	 c}
«      «      ¬«      «       �ŒQ �Œh t        j                  |«      \  }}||fS c c}
w c c}
w c c}
w c c}
w c c}
w )NÚHÚAccÚSDTÚLÚacc1)Úp_stayÚscaler}  r~  r  r€  r�  )r«   ÚP_STAYÚSCALESÚitemsrÖ   ÚIMGÚevaluate_keysÚdictrþ   r
  r¼   Úpick_setting)rz  Úval_keysr9  r:  rQ  Úprƒ  ÚmergedÚdsÚkeysr}   ÚbestÚreacheds                r&   Úselect_on_valr’  P  sg  € Ø€DÜ�X�XˆÜ—X•XˆEØˆFØ$ŸN™NÖ,‘��DØ—‘œc×/Ñ/°°G¸B±KÀÀRÈ%ÁZÐQRÐTXÓYÕZð -à�K‰Kœ A¨UÜ$¤R§W¡W¹fÓ-E¹f¸¨a°«f¸fÑ-EÓ%FÓGÜ!&¤r§w¡wÁ&Ó/IÁ&¸Q°°%³À&Ñ/IÓ'JÓ!KÜ!&¤r§w¡wÁ&Ó/IÁ&¸Q°°%³À&Ñ/IÓ'JÓ!KÜ$¤R§W¡W¹fÓ-E¹f¸¨a°«f¸fÑ-EÓ%FÓGÜ"'¬¯©ÁFÓ0KÁF¸q°°6³ÀFÑ0KÓ(LÓ"MôOö Pò	 ð ô ×$Ñ$ TÓ*�M€Dˆ'Ø�ˆ=Ðùò .FùÚ/IùÚ/IùÚ-EùÚ0Ks   ÂFÃFÃ:F" Ä(F'"ÅF,$c                 ó8  — t        j                  | dd¬«      }|d   }|d   |d   |d   t        |d   «      f\  }}}}	||   t        d	      t	        t        ||   t        d	      «      «         j                  d
   }
t        j                  |
||||	¬«      j                  |«      }|j                  |d   «       |j                  «        t        j                  |||   |d   |d   ||«      }~|j                  dk(  rt         j                  j                  «        |S )Nrg  Frh  rË   r   r>   r   rž   r   r`   rk  rm  r9  r:  rî   )rM   rp  rt  r   rq  rr  rf   r«   rs  r”   ru  r  rv  r  rî   rw  )r    r.  rc   r1  ry  rË   r£   r¤   r´   rl  r³   r<  rz  s                r&   Úload_streamsr”  a  s
  € Ü�:‰:�d¨¸UÔC€DØ
ˆu‰+€CØ%(¨¡V¨S°©V°S¸±V¼TÀ#ÀaÁ&»\Ð%IÑ"€FˆG�W˜dØ�‰<œ ™
Ñ#¤D¬¨d°6©l¼7À1¹:Ñ.FÓ)GÓ$HÑI×OÑOÐPQÑR€DÜ×Ñ˜t V°WÀgÐTXÔY×\Ñ\Ð]cÓd€EØ	×Ñ˜$˜w™-Ô(Ø	‡J�J„LÜ�k‰k˜%  f¡¨t°D©z¸4À¹:ÀvÈvÓV€GØØ‡{�{�fÒÜ�
‰
×ÑÔ Ø€Nr^   c                 óö  — t        t        j                  j                  dd«      «      }t        j                  j                  dd«      j	                  «       }|j                  d«      D �cg c]#  }|j	                  «       sŒ|j	                  «       ‘Œ% c}xs t        t        «      }|D �cg c]  }|t        vsŒ|‘Œ }}|rt        d|› �«      ‚t        «       }g }	|D �]ö  }
t        j                  |
«      \  }}}t        j                  |
|«       t        j                  ||«      }g }|D �]W  }t        j                  «       }t        |t        |«      || |«      \  }}}t        j                  j                  d«      sft        j                   j#                  t$        |d   › d	|
› d
�«      }t'        j(                  |j+                  «       ||||t,        j.                  dœ|«       t-        j0                  |||d      |||d   | «      }~| j2                  dk(  rt&        j4                  j7                  «        t        j8                  ||«      \  }}t;        ||||«      \  }}t        j<                  ||
|||j>                  |j@                  «      }tC        d|d   |
tE        |j>                  «      tE        |j@                  «      |d   |d   |d   |d   |d   tE        |jF                  «      tE        |jH                  «      tK        |«      t        j                  «       |z
  d¬«      }|	jM                  |«       tO        |d|d   › d|
› d|j>                  › d|j@                  › d|d   d›d|d   d›d|d   d›d |d   d!›d"|jF                  d›d#|jH                  d›d$|d%   d&›d'�«       |jM                  |«       t        j                  j                  d(«      d)k(  �r‡t        j                   j#                  tP        d*d+d,|
› d
�«      }t-        jR                  |tU        ||| |d   «      g«      }t        j8                  ||«      \  }} t;        |||| «      \  }!}"t        j<                  ||
|| |!j>                  |!j@                  «      }#|	jM                  tC        dd-|d   › d.�|
tE        |!j>                  «      tE        |!j@                  «      |#d   |#d   |#d   |#d   |#d   tE        |!jF                  «      tE        |!jH                  «      tK        |"«      d/d¬«      «       tO        |d0|d   › d1|
› d|!j>                  › d|!j@                  › d|#d   d›d|#d   d›d|#d   d›d |#d   d!›�«       t        j                  j                  d«      s�ŒT|	c c S  tW        |«      dk\  s�Œ¸t-        jR                  |«      }$t        j8                  |$|«      \  }}t;        |$|||«      \  }}t        j<                  |$|
|||j>                  |j@                  «      }|	jM                  tC        dd2|
tE        |j>                  «      tE        |j@                  «      |d   |d   |d   |d   |d   tE        |jF                  «      tE        |jH                  «      tK        |«      d/d¬«      «       tO        |d3|
› d|j>                  › d|j@                  › d|d   d›d|d   d›d|d   d›d |d   d!›�«       �Œù tY        jZ                  |	«      }%t        j                  j                  d«      sät        j\                  t        j                   j_                  t`        «      d4¬5«       |%jc                  t`        d6¬7«       tO        |d8«       |%je                  d9«      D ]b  \  }}&|&g d:¢   jg                  «       }'tO        |d;|d<›d|'jF                  d›d=|'jH                  d›d>|'jh                  d›d?|'jj                  d!›�
«       Œd tO        |d@t`        › �«       |	S c c}w c c}w )ANÚSTEPSÚ1000ÚFOLDr*   r+   zunknown FOLD ÚSMOKEr   z	__screen-rf  )rm  r9  r:  rË   r/  Úseedr`   r   rî   Úimage_screenr}  r~  r  r€  r�  Úofficial)Úprotocolr<  rŽ  r‚  rƒ  r}  r~  r  r€  r�  Úval_HÚval_AccÚval_reached_74ÚsecondsÚscorerzscreen Ú ú p ú sc ú  H ú.4fú Acc ú.2fú SDT ú L rù   z valH z valAcc z (r¡  rú   rû   ÚENS_IMAGE_STEMÚ1r   Ústem_ms96_image_splitzstem_ms96__held-Úens_Ú_stemg        zscreen ens_z_stem Ú
ens_screenzscreen ens_screen Tr   F©rÜ   zscreen means:r<  )r}  r~  r  r€  ú  Ú16sú  Acc ú  SDT ú  L úwrote )6Úintr   r,   r-   r.   r1   r/   r   r2   r:   r‡  Úcompetition_splitÚassert_matches_saved_splitÚfilter_featr  rV  r    r,  ÚCKPTrM   ÚsaveÚ
state_dictr«   r  rv  r  rî   rw  Úemis_onr’  Úofficial_testr‚  rƒ  r‰  rþ   r}  r~  rt  rÖ   r'   ÚEXPÚaverage_streamsr”  r  ÚpdÚ	DataFramer   r!   Ú
SCREEN_OUTÚto_csvÚgroupbyr¼   r  r€  )(rc   r.  rè   r/  r4   rz   ÚheldsÚunknownr8   rQ  ÚheldÚ	_val_subjÚ
train_keysr‹  Ú
train_featÚfold_streamsrË   rA  r<  r9  r:  r    rz  Úmu_eÚsd_er�  r‘  ÚoffÚrecÚ	stem_pathrÃ   Úmu_mÚsd_mÚbest_mÚ	reached_mÚoff_mÚavgÚdfÚsubrG  s(                                           r&   Ú
run_screenrÝ  p  s^  € Ü”—
‘
—‘˜w¨Ó/Ó0€EÜ�:‰:�>‰>˜& "Ó%×+Ñ+Ó-€DØ $§
¡
¨3¤Ó=¡˜1°1·7±7µ9ˆQ�W‰W�Y Ñ=ÒNÄÄgÃ€EÙÓ4™%�Q 1¬GÒ#3Šq˜%€GÐ4ÙÜ˜=¨¨	Ð2Ó3Ð3ÜÓ€DØ€DÜˆÜ*-×*?Ñ*?ÀÓ*EÑ'ˆ	�:˜xÜ×&Ñ& t¨YÔ7Ü—_‘_ T¨:Ó6ˆ
ØˆÜˆCÜ—‘“ˆBÜ'¨¬T°*Ó-=¸zÈ6ÐSXÓY‰MˆE�2�rÜ—:‘:—>‘> 'Ô*Ü—w‘w—|‘|¤D¨S°©V¨H°I¸d¸VÀ3Ð*GÓH�Ü—
‘
 U×%5Ñ%5Ó%7¸rÈÐTWØ%*´A·L±LñBØCGôIä—k‘k %¨¨c°!©f©°r¸2¸sÀ1¹vÀvÓNˆGØØ�{‰{˜fÒ$Ü—
‘
×&Ñ&Ô(ÜŸ™ W¨jÓ9‰JˆD�$Ü)¨'°8¸TÀ4ÓH‰MˆD�'Ü×#Ñ# G¨T°4¸¸t¿{¹{ÈDÏJÉJÓWˆCÜ °c¸!±fÀÌeÐTX×T_ÑT_ÓN`Ü" 4§:¡:Ó.°#°c±(ÀÀEÁ
ÐPSÐTYÑPZÐ^aÐbeÑ^fØ ™K¬u°T·V±V«}ÄeÈDÏHÉHÃoÜ&*¨7£m¼T¿Y¹Y»[È2Ñ=MÐV`ôbˆCð �K‰K˜ÔÜ�S˜G C¨¡F 8¨1¨T¨F°#°d·k±k°]À$ÀtÇzÁzÀlð SØ" 3™x¨˜n¨E°#°e±*¸SÐ1AÀÀsÈ5ÁzÐRUÐFVÐVYÐZ]Ð^aÑZbÐcfÐYgð h"Ø"&§&¡&¨ ¨X°d·h±h¸s°^À2ÀcÈ)ÁnÐUXÐEYÐY[ð]ô ^ð ×Ñ Ô(Ü�z‰z�~‰~Ð.Ó/°3Ó6ÜŸG™GŸL™L¬¨hÐ8OÐScÐdhÐciÐilÐQmÓn�	Ü×'Ñ'¨´,¸yÈ$ÐPVÐX[Ð\]ÑX^Ó2_Ð(`Óa�Ü Ÿ[™[¨¨jÓ9‘
��dÜ$1°#°xÀÀtÓ$LÑ!�˜	Ü×)Ñ)¨#¨t°T¸4ÀÇÁÐPV×P\ÑP\Ó]�Ø—‘œD¨.À$ÀsÈ1ÁvÀhÈeÐ@TÐY]Ü(-¨f¯m©mÓ(<ÄEÈ&Ï,É,ÓDWØ#(¨¡:°5¸±<ÀUÈ5Á\ÐUZÐ[^ÑU_Ø&+¨F¡m¼5ÀÇÁ»?ÔTYÐZ`×ZdÑZdÓTeÜ04°Y³ÈÐU_ô	aô bô
 ˜ ¨C°©F¨8°6¸$¸¸sÀ6Ç=Á=À/ÐQUÐV\×VbÑVbÐUcð d#Ø#(¨¡:¨cÐ"2°%¸¸e¹ÀSÐ7IÈÈuÐUZÉ|Ð\_ÐN`Ð`cÐdiÐjmÑdnÐorÐcsðuô vä�z‰z�~‰~˜gÖ&Ø”ðK ôL ˆ|Ó Ô!Ü×#Ñ# LÓ1ˆCÜŸ™ S¨*Ó5‰JˆD�$Ü)¨#¨x¸¸tÓD‰MˆD�'Ü×#Ñ# C¨¨t°T¸4¿;¹;ÈÏ
É
ÓSˆCØ�K‰Kœ n¸LÈTÔZ_Ð`d×`kÑ`kÓZlÜ#(¨¯©Ó#4¸¸C¹ÀcÈ%ÁjÐVYÐZ_ÑV`ÐdgÐhkÑdlØ"% f¡+´U¸4¿6¹6³]ÌEÐRV×RZÑRZËOÜ,0°«MÀ3Èzô[ô \ô �SÐ.¨t¨f°C¸¿¹°}ÀDÈÏÉÈð UØ" 3™x¨˜n¨E°#°e±*¸SÐ1AÀÀsÈ5ÁzÐRUÐFVÐVYÐZ]Ð^aÑZbÐcfÐYgðiö jði ôl 
�‰�dÓ	€BÜ�:‰:�>‰>˜'Ô"Ü
�‰”B—G‘G—O‘O¤JÓ/¸$Õ?Ø
�	‰	”* Eˆ	Ô*Ü��oÔ&ØŸ*™* WÖ-‰JˆE�3ØÒ,Ñ-×2Ñ2Ó4ˆAÜ�S˜B˜u S˜k¨¨a¯c©c°#¨Y°f¸Q¿U¹UÀ3¸KÀvÈaÏeÉeÐTWÈ[ÐX\Ð]^×]`Ñ]`ÐadÐ\eÐfÕgð .ô 	�˜œz˜lÐ+Ô,Ø€KùòK >ùÚ4s   Á+_1Â_1Â+_6Â9_6c                 ó€  ‡ ‡‡‡/‡0‡1‡2‡3‡4‡5‡6‡7‡8— t        t        j                  j                  dd«      «      Š7t	        «       Š1t        j                  j                  dd«      dk7  }i Š/i Š6ˆ ˆˆ6fd„Š0g Š5g }t        t        «      D ])  \  }}t        |dz   d  D ]  }|j                  ||f«       Œ Œ+ ˆ/ˆˆ5fd„}‰1D �]  }	|	d	   |	d   |	d
   }}}
|D ]ø  \  }}t        D �cg c]  }|||fvsŒ
|‘Œ }}t        |	|‰‰ ‰7«      \  }}}t        j                  j                  t        |
› dt        j                  ||f«      › d�«      }t        j                  |j!                  «       |||	|‰7dœ|«       t        j"                  |‰|   |||‰ «      }|‰/|
||f<   |‰/|
||f<   ~‰ j$                  dk(  sŒÛt        j&                  j)                  «        Œú  ||
«       �Œ ‰1D �cg c]  }|d	   ‘Œ	 c}Š2g }t+        ‰2«      d
k\  r\|D ]>  \  }}t        j,                  ‰2D �cg c]
  }‰/|||f   ‘Œ c}«      }|‰/d||f<   |‰/d||f<   Œ@ |j                  d«        |d«       |rü|D ]¨  \  }} ‰0t        j                  ||f«      «      }‰2D ]5  }
t        j,                  ‰/|
||f   |g«      }d|
› d�}|‰/|||f<   |‰/|||f<   Œ7 t+        ‰2«      d
k\  sŒlt        j,                  ‰2D �cg c]
  }‰/|||f   ‘Œ c}|gz   «      }|‰/d||f<   |‰/d||f<   Œª ‰2D ]#  }
|j                  d|
› d�«        |d|
› d�«       Œ% t+        ‰2«      d
k\  r|j                  d«        |d«       ‰2|z   }t/        j0                  ‰5«      }t        j2                  t        j                  j5                  t6        «      d¬«       |j9                  t6        d¬«       t;        ‰dt6        › �«       |j=                  g d¢«      g d¢   j?                  «       jA                  «       }i Š4ˆ0ˆ1ˆ ˆˆ2ˆ4ˆ7ˆ8fd„Š8g Š3ˆˆ3ˆ8fd„}t        jB                  |t        jD                  «      \  }}t;        ‰d|› dt        jD                  d›d|jF                  j?                  «       d ›d!|jH                  j?                  «       d"›�«       |jK                  «       D ]a  \  } }t;        ‰d#|jL                  › d$|jN                  › d%|jP                  › d&|jR                  › d|jF                  d ›d!|jH                  d"›�«       Œc  |d'|«       |D ]‘  }
||jN                  |
k(     }!t        jB                  |!t        jD                  «      \  }"}#t;        ‰d(|
› d)|#› d*|"jF                  j?                  «       d ›d!|"jH                  j?                  «       d"›�«        |d+|
› �|"«       Œ“ t/        j0                  ‰3«      }$|$j9                  tT        d¬«       t;        ‰d,«       |$j=                  d-«      D ]p  \  }%}!|!g d¢   j?                  «       }&t;        ‰d#|%d.›d/|&jF                  d ›d0|&jH                  d"›d1|&jV                  d"›d2|&jX                  d3›d4|&jZ                  d3›�«       Œr |$|$j\                  d'k(     }'t_        |'jF                  j?                  «       «      t_        |'jH                  j?                  «       «      })}(t;        ‰d5|(d ›d0|)d"›�«       d'|(|)},}+}*|$j=                  d-«      D ]s  \  }%}!t_        |!jF                  j?                  «       «      t_        |!jH                  j?                  «       «      }.}-|-|+kD  sta        jb                  |-|+«      sŒh|.|,kD  sŒn|%|-|.},}+}*Œu t;        ‰d6|*› d/|+d ›d0|,d"›�«       t;        ‰d7te        |+d8kD  xr |,d9kD  «      › �«       t;        ‰dtT        › �«       |$S c c}w c c}w c c}w c c}w ):Nr–  r—  ÚENS_STEMr­  Ú0c                 ó6   •— | ‰vrt        | ‰‰«      ‰| <   ‰|    S )N)r{  )rx  rc   r.  Ú
stem_caches    €€€r&   Úcached_stemzrun_nested.<locals>.cached_stemÂ  s'   ø€ Ø�jÑ Ü/°°T¸6ÓBˆJ�s‰OØ˜#‰Ðr^   r`   c                 óŠ  •— t         D ]É  }t         D ]¾  }||k(  rŒ	t         D �cg c]  }|||fvsŒ
|‘Œ }}‰| ||f   }t        j                  |D �ci c]  }|||   “Œ
 c}|«      \  }}t        j                  D ]V  }t        j
                  D ]A  }	t        j                  |||   |||	z  |«      }
‰j                  t        d||| ||	dœ|
¤Ž«       ŒC ŒX ŒÀ ŒË t        j                  ‰D �
cg c]  }
|
d   | k(  sŒ|
‘Œ c}
«      }|j                  g d¢«      g d¢   j                  «       j                  «       }t        j                  |j                  | ¬«      t        j                   «      \  }}t#        ‰d| › d|› d|j$                  j                  «       d	›d
|j&                  j                  «       d›�«       y c c}w c c}w c c}
w )N)ÚouterÚinnerr<  r‚  rƒ  r<  )rå  r‚  rƒ  )r}  r~  r  )r<  zinner ú: z/5 Acc>=74  H r§  r¨  r©  rÕ   )r   ÚNÚemisr«   r„  r…  ÚevaluaterÖ   r‰  rÄ  rÅ  rÈ  r¼   Úreset_indexÚselect_ruleÚassignÚTHRr'   r}  r~  )r0  rå  Úinner_dsr[   Útrain_dsrz  r9  r:  rŒ  rƒ  ÚrrÜ  Úgrouped_oneÚpicksÚn_okÚcacherè   rQ  s                  €€€r&   Ú
score_namezrun_nested.<locals>.score_nameÌ  s¨  ø€ ßˆEß#�Ø˜uÒ$ØÝ'.ÓM¡w !°!¸EÀ8Ð;LÒ2LšA w�ÐMØ  u¨hÐ 7Ñ8�ÜŸ™¹Ó A¹°1  G¨A¡J¡¸Ñ AÀ8ÓL‘��BÜŸœ�AÜ!"§¤˜ÜŸJ™J x°¸Ñ1BÀBÈÈUÉ
ÐTUÓV˜ØŸ™¤DÐ$m¨u¸HÈDÐYZÐbgÑ$mÐklÑ$mÕnñ "*ñ "ñ $ð ô �l‰l¡tÓB¡t !¨q°©z¸TÓ/AšA tÑBÓCˆØ—k‘kÒ">Ó?Ò@SÑT×YÑYÓ[×gÑgÓiˆÜ—m‘m K×$6Ñ$6¸TÐ$6Ó$BÄAÇEÁEÓJ‰ˆˆtÜ�˜˜t˜f B t f¨N¸5¿7¹7¿<¹<»>È#Ð:NÈeÐTY×T]ÑT]×TbÑTbÓTdÐehÐSiÐjÕkùò Nùâ Aùò
 Cs   ¢F6®F6ÁF;Ã'G Ã5G r   r   Ú__rf  ©rm  r9  r:  rË   r  r/  rî   Úens_newr¯  r°  Úens_all_stemTr   Fr²  r¸  )rå  r<  r‚  rƒ  )r}  r~  r  r€  r�  c           	      óâ  •‡ — ‰ |f}|‰v r‰|   S ‰ dk(  r2t        j                  ‰D �cg c]  } ‰||«      ‘Œ c}«      ‰|<   ‰|   S ‰ dk(  r?t        j                  ‰D �cg c]  } ‰||«      ‘Œ c} ‰d|› �«      gz   «      ‰|<   ‰|   S ‰ j                  d«      rX‰ j                  d«      rG‰ t	        d«      t	        d«        }t        j                   ‰||«       ‰d|› �«      g«      ‰|<   ‰|   S t        ˆ fd„‰D «       «      }t        D �cg c]
  }||k7  sŒ	|‘Œ }}t        ||‰‰‰«      \  }}	}
t        j                  j                  t        ‰ › d|› d�«      }t        j                  |j                  «       |	|
||‰d	œ|«       t        j                  |‰|d
      |	|
|d   ‰«      ‰|<   ~‰j                   dk(  rt        j"                  j%                  «        ‰|   S c c}w c c}w c c}w )Nrù  rú  zheld-r¯  r°  c              3   ó4   •K  — | ]  }|d    ‰k(  sŒ|–— Œ y­w)r   NrÕ   )Ú.0r7   r0  s     €r&   Ú	<genexpr>z2run_nested.<locals>.streams_for.<locals>.<genexpr>#  s   øè ø€ Ð3™d˜ a¨¡d¨d£l”1™dùs   ƒ‘z__held-rf  rø  r`   r   rî   )r«   rÃ  Ú
startswithÚendswithr  rq  r   rV  r   r    r,  r½  rM   r¾  r¿  rv  r  rî   rw  )r0  rå  Úkeyr5   r^  rË   r[   rð  r<  r9  r:  r    rã  r8   rc   r.  r6   Úrefitr/  Ústreams_fors   `           €€€€€€€€r&   r  zrun_nested.<locals>.streams_for  s	  ù€ Ø�UˆmˆØ�%‰<Ø˜‘:ÐØ�9ÒÜ×*Ñ*É5Ó+QÉ5Àa©K¸¸5Õ,AÈ5Ñ+QÓRˆE�#‰JØ˜‘:ÐØ�>Ò!Ü×*Ñ*É5Ó+QÉ5Àa©K¸¸5Õ,AÈ5Ñ+QÙ.9¸EÀ%À¸/Ó.JÐ-Kñ,Ló MˆE�#‰Jà˜‘:ÐØ�?‰?˜6Ô" t§}¡}°WÔ'=Øœ˜F›¤S¨£\ MÐ2ˆDÜ×*Ñ*Ù˜D %Ó(Ù˜e E 7˜OÓ,ð,ó ˆE�#‰Jð ˜‘:ÐÜÓ3™dÓ3Ó3ˆÝ&Ó5™w˜!¨!¨u«*’A˜wˆÐ5Ü# C¨°4¸ÀÓG‰ˆˆr�2Ü�w‰w�|‰|œD T F¨'°%°¸Ð"<Ó=ˆÜ�
‰
˜U×-Ñ-Ó/°rÀÈCÐZbØ"ñ$Ø%)ô	+ä—[‘[ ¨¨S°©V©°b¸"¸cÀ!¹fÀfÓMˆˆc‰
ØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$Ø�S‰zÐùò/ ,Rùò ,Rùò 6s   ¨G"ÁG'Ä
G,ÄG,c                 óÈ  •— |j                  «       D �]M  \  }} ‰|j                  |j                  «      }t        j                  ||j                  |j
                  |j                  «      }‰j                  t        | |j                  |j                  t        |j
                  «      t        |j                  «      |d   |d   |d   |d   |d   t        |j                  «      t        |j                  «      d¬«      «       t        ‰| › d|j                  › d|j                  › d	|j
                  › d
|j                  › d|d   d›d|d   d›d|d   d›d|d   d›�«       �ŒP y )Nr}  r~  r  r€  r�  rœ  )ÚrolerŽ  r<  r‚  rƒ  r}  r~  r  r€  r�  Úinner_HÚ	inner_Accr¢  r£  r¤  r¥  r¦  r§  r¨  r©  rª  r«  rù   )Úiterrowsr<  rå  r«   Ú
score_pickr‚  rƒ  rÖ   r‰  rþ   r}  r~  r'   )	r  ró  r¶   rx   rz  rÒ  rè   Úout_rowsr  s	         €€€r&   Úemitzrun_nested.<locals>.emit1  s@  ø€ Ø—N‘N×$‰DˆAˆqÙ! !§'¡'¨1¯7©7Ó3ˆGÜ—,‘,˜w¨¯©°·±¸1¿7¹7ÓCˆCØ�O‰OœD d¨q¯w©w¸a¿g¹gÌeÐTU×T\ÑT\ËoÜ',¨Q¯W©W£~¸¸S¹ÀsÈ5ÁzÐWZÐ[`ÑWaØ#& s¡8°#°f±+ÄuÈQÏSÉSÃzÔ]bÐcd×chÑchÓ]iØ(2ô4ô 5ô �S˜T˜F ! A§G¡G 9¨A¨a¯g©g¨Y°c¸!¿(¹(¸À4ÈÏÉÀyð QØ" 3™x¨˜n¨E°#°e±*¸SÐ1AÀÀsÈ5ÁzÐRUÐFVÐVYÐZ]Ð^aÑZbÐcfÐYgðiö jñ %r^   zselect acc74: z/5 folds reached inner Acc>=Úgz
  inner H r§  r¨  r©  r³  r£  r¤  r¥  Úacc74zfamily rç  z/5 inner Acc>=74  inner H Úfamily_zmeans:r  Ú28sr¦  rµ  r¶  r·  rù   z  acc1 zPRIMARY acc74  H z
BEST role zgoal H>0.9 and Acc>85: rö   éU   )3r¹  r   r,   r-   r:   Ú	enumerater   rÖ   rV  r    r,  r½  r«   Útriplet_keyrM   r¾  r¿  rv  r  rî   rw  r  rÃ  rÄ  rÅ  r   r!   Ú
NEST_INNERrÇ  r'   rÈ  r¼   rë  rì  rî  r}  r~  r  rå  r<  r‚  rƒ  ÚNEST_OUTr  r€  r�  r  rþ   rn   Úisclosert  )9rc   r.  rè   Úens_stemÚexcluded_pairsrá   r   rx   rö  rË   r0  r1  r£   r[   rð  r<  r9  r:  r    rz  r7   Úextrar5   rÚ  rl  rx  Úmodel_namesræ  rP  r  ró  rô  r¶   rÜ  ÚfpÚn_familyrÛ  r  rG  Úprimrz   rU  Ú	best_roleÚbest_hÚbest_accÚhhÚaarõ  rã  r8   r6   r
  r  rQ  râ  r/  r  s9   ```                                            @@@@@@@@@@r&   Ú
run_nestedr"  »  s  ÿü€ Ü”—
‘
—‘˜w¨Ó/Ó0€EÜÓ€DÜ�z‰z�~‰~˜j¨#Ó.°#Ñ5€HØ€EØ€Jöð €DØ€NÜœ'Ö"‰ˆˆ1Ü˜˜Q™˜“ˆAØ×!Ñ! 1 a &Õ)ñ !ð #ölô" ˆØ" 1™v s¨1¡v¨s°1©v�fˆfˆÛ"‰DˆAˆqÝ#*Ó>¡7˜a¨a¸¸1°vªoš 7ˆHÐ>Ü'¨¨X°t¸VÀUÓK‰MˆE�2�rÜ—7‘7—<‘<¤¨¨¨b´·±ÀÀ1¸vÓ1FÐ0GÀsÐ&KÓLˆDÜ�J‰J ×!1Ñ!1Ó!3¸2ÀRÐPSÐ^fØ!&ñ(Ø)-ô/ä—k‘k %¨¨f©°r¸2¸vÀvÓNˆGØ")ˆE�4˜˜A�,ÑØ")ˆE�4˜˜A�,ÑØØ�{‰{˜fÓ$Ü—
‘
×&Ñ&Õ(ð #ñ 	�4Öð ñ   Ó ™4�aˆQˆq‹T˜4Ñ €EØ€EÜ
ˆ5ƒz�Q‚Û"‰DˆAˆqÜ×#Ñ#¹uÓ$E¹u¸! U¨A¨q°!¨9Ó%5¸uÑ$EÓFˆCØ'*ˆE�9˜a Ð#Ñ$Ø'*ˆE�9˜a Ð#Ò$ð #ð 	�‰�YÔÙ�9ÔÙÛ"‰DˆAˆqÙœqŸ}™}¨a°¨VÓ4Ó5ˆDÛ�Ü×'Ñ'¨°°a¸¨|Ñ)<¸dÐ(CÓD�Ø˜T˜F %Ð(�Ø%(��s˜A˜q�kÑ"Ø%(��s˜A˜q�kÒ"ð	 ô
 �5‹z˜Q‹Ü×'Ñ'Á5Ó(IÁ5¸a¨°°1°a¨yÓ)9À5Ñ(IÈTÈFÑ(RÓS�Ø03��~ q¨!Ð,Ñ-Ø03��~ q¨!Ð,Ò-ð #ó ˆDØ�L‰L˜4 ˜v UÐ+Ô,Ù˜˜d˜V 5Ð)Õ*ð ô ˆu‹:˜Š?Ø�L‰L˜Ô(Ù�~Ô&à˜%‘-€KÜ�L‰L˜Ó€EÜ‡K�K”—‘—‘¤
Ó+°dÕ;Ø	‡L�L” 5€LÔ)ÜˆS�Fœ:˜,Ð'Ô(Ø�m‰mÒAÓBÒCcÑd×iÑiÓk×wÑwÓy€GØ€E÷ó ð< €Hö	jô —-‘- ¬¯©Ó/�K€Eˆ4ÜˆS�N 4 &Ð(DÄQÇUÁUÈ1ÀIð NØ"ŸW™WŸ\™\›^¨CÐ0°°e·i±i·n±nÓ6FÀsÐ5KðMô Nà—‘Ö ‰ˆˆ1Ü�˜˜1Ÿ7™7˜) 1 Q§W¡W I¨S°·±°
¸$¸q¿w¹w¸iÀzÐRS×RUÑRUÐVYÐQZÐZ_Ð`a×`eÑ`eÐfiÐ_jÐkÕlð !áˆ�%ÔÛˆØ�g—m‘m tÑ+Ñ,ˆÜ—}‘} S¬!¯%©%Ó0‰ˆˆHÜ�˜ ˜v R¨ zÐ1KÈBÏDÉDÏIÉIËKÐX[ÐK\Ð\aÐbd×bhÑbh×bmÑbmÓboÐpsÐatÐuÔvÙˆw�t�fÐ˜rÕ"ð	 ô 
�‰�hÓ	€BØ‡I�IŒh˜e€IÔ$ÜˆS�(ÔØ—Z‘Z Ö'‰	ˆˆcØÒ0Ñ1×6Ñ6Ó8ˆÜ�˜˜4 ˜* D¨¯©¨S¨	°¸¿¹¸c°{À&ÈÏÉÈsÈÐSWÐXY×X[ÑX[Ð\_ÐW`Ð`gÐhi×hnÑhnÐorÐgsÐtÕuð (ð ˆb�g‰g˜Ñ Ñ!€DÜ�4—6‘6—;‘;“=Ó!¤5¨¯©¯©«Ó#9€s€AÜˆSÐ% a¨ W¨F°3°s°)Ð<Ô=Ø")¨1¨c�xˆv€IØ—Z‘Z Ö'‰	ˆˆcÜ�s—u‘u—z‘z“|Ó$¤e¨C¯G©G¯L©L«NÓ&;ˆBˆØ�ŠKœTŸ\™\¨"¨fÕ5¸"¸x»-Ø*.°°B˜x�v‰Ið (ô ˆS�J˜y˜k¨¨f°S¨\¸ÀÈ¸~ÐNÔOÜˆSÐ+¬D°¸#±Ò1OÀ(ÈRÁ-Ó,PÐ+QÐRÔSÜˆS�Fœ8˜*Ð%Ô&Ø€Iùòs ?ùò !ùò %Fùò )Js   Ã^,Ã&^,Ç^1È^6
Ë^;
c                  óÎ  — t         j                  j                  dd«      j                  «       j	                  «       } | dk(  rt
        nt        }t         j                  j                  d«      rt        |d«      j                  «        nNt        j                  t         j                  j                  |«      d¬«       t        |d«      j                  «        t        j                  t        j                  j                  «       rd	nd
«      }t!        t         j                  j                  dd«      «      }t#        |d|› d| › d|› dt$        j&                  › �«       dt        j(                  j                  j*                  _        dt        j(                  j.                  _        t1        j2                  «        t1        j4                  «       }t7        t9        j:                  |D �cg c]
  }|d   d   ‘Œ c}«      «      }t7        t9        j:                  |D �cg c]
  }|d   d   ‘Œ c}«      «      }t#        |d|d›d|d›�«       t=        |dz
  «      dkD  st=        |dz
  «      dkD  rt?        d«      ‚tA        |«       t%        jB                  «       }t        j                  tD        d¬«       | dk(  rtG        |||«       y | dk(  rtI        |||«       y tK        d| › �«      ‚c c}w c c}w )NÚMODEÚscreenÚnestedr™  r   Tr   Úwrî   rg  r–  r—  zdevice z  mode z  steps z  batch r`   r}  r~  zreproduced lda4 @ 0.998  H r§  rµ  r©  g°rh‘í|é?gü©ñÒMb@?gq=
×£@R@r   z>baseline reproduction does not match the published LDA numberszunknown MODE )&r   r,   r-   r.   ÚlowerÚNEST_LOGÚ
SCREEN_LOGr"   Úcloser   r    r!   rM   rc   rî   Úis_availabler¹  r'   r«   r  Úbackendsr»   Ú
allow_tf32Úcudnnrè  Úload_allÚcheck_fast_matches_officialrþ   r
  r¼   r"  r$  rc  Úbuild_featuresr½  rÝ  r"  r2   )	Úmoderè   rc   r/  Úchecksr7   Úbase_hÚbase_accr.  s	            r&   Úmainr7  \  s)  € Ü�:‰:�>‰>˜& (Ó+×1Ñ1Ó3×9Ñ9Ó;€DØ˜hÒ&�(¬J€CÜ	‡z�z‡~�~�gÔÜˆS�#‹×ÑÕä
�‰”B—G‘G—O‘O CÓ(°4Õ8ÜˆS�#‹×ÑÔÜ�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜ”—
‘
—‘˜w¨Ó/Ó0€EÜˆS�G˜F˜8 7¨4¨&°¸¸¸xÌÏÉÀyÐQÔRØ,0„E‡N�N×Ñ×ÑÔ)Ø&*„E‡N�N×ÑÔ#Ü‡J�J„LÜ×*Ñ*Ó,€FÜ”2—7‘7©vÓ6©v¨!˜A˜a™D ›I¨vÑ6Ó7Ó8€FÜ”R—W‘W±6Ó:±6¨a˜a ™d 5›k°6Ñ:Ó;Ó<€HÜˆSÐ/°°s¨|¸6À(È3ÀÐPÔQÜ
ˆ6�F‰?Ó˜dÒ"¤c¨(°UÑ*:Ó&;¸dÒ&BÜÐ[Ó\Ð\Ü�&ÔÜ×ÑÓ€DÜ‡K�K”˜tÕ$ØˆxÒÜ�6˜4 Õ%Ø	�Ò	Ü�6˜4 Õ%ä˜=¨¨Ð/Ó0Ð0ùò 7ùÚ:s   Ç"KÈK"Ú__main__)r   )<rŒ   r  rn   r   r  Únumpyr
  ÚpandasrÄ  rM   Útorch.nnrF   Útorch.nn.functionalÚ
functionalri   Úensemble_clf_nestedrè  Úensemble_clf_transformer_v2r«   r®  r‡  Úcommonr   r    r!   ÚabspathÚ__file__rÂ  r,  r½  rn  rÆ  r*  r  r  r)  r0   r¡   r¢   r  r  r  r'   r:   ÚModuler<   r˜   rš   rÒ   rã   rë   rV  rc  r{  r’  r”  rÝ  r"  r7  r‰   rÕ   r^   r&   Ú<module>rD     sŸ  ðñó4 Û Û 	Û ã Û Û Ý ß Ð ã Û 'Û #Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø	‡w�w‡|�|�C˜ =Ó1€Ø�G‰G�L‰L˜˜h¨Ó6€	Ø�W‰W�\‰\˜#˜y¨*Ð6QÓR€
Ø�W‰W�\‰\˜#˜}Ð.IÓJ€
Ø�7‰7�<‰<˜˜Y¨
Ð4UÓV€Ø�W‰W�\‰\˜#˜y¨*Ð6]Ó^€
Ø�7‰7�<‰<˜˜]Ð,@ÓA€ð€ð €Ø€Ø€	Ø€
Ø
€òò	ô,�r—y‘yô ,ò^1ô6�B—I‘Iô 6òrZòò"òIòX0ò&ò"ó"òHòV^òB1ð> ˆzÒÙ…Fð r^   