Ë
    \ãjœf  ã                   óÐ  — d Z ddlZddlZddlZddlZddlZddlZddlZddl	Z	ddl
mc mZ ddlZddlZddlZddlZddlmZ ej0                  j3                  ej0                  j5                  e«      «      Zej0                  j;                  edd«      Zej0                  j;                  edd«      Zej@                  jC                  de«      Z"ej0                  j;                  edd«      Z#ej0                  j;                  ed	d
«      Z$ej0                  j;                  eddd«      Z%dZ&dZ' e(ej@                  jC                  dd«      «      Z) e(ej@                  jC                  dd«      «      Z*ej@                  jC                  dd«      dk(  Z+ej@                  jC                  dd«      dk(  Z,ej@                  jC                  dd«      j[                  «       j]                  «       Z/ e0ej@                  jC                  dd«      «      Z1 e0ej@                  jC                  dd«      «      Z2 e0ej@                  jC                  dd«      «      Z3 e0ej@                  jC                  d d!«      «      Z4d"Z5d#Z6d$Z7d%Z8d&d'd(d)d*d+e6fZ9d(Z:d,Z; e<d-d.¬/«      Z=d0„ Z>d1„ Z? e	j€                  «       d2„ «       ZAd3„ ZBd4„ ZCd5„ ZDd6„ ZEd7„ ZFd8„ ZGd9„ ZH	 dDd:„ZI	 dEd;„ZJd<„ ZKd=„ ZLd>„ ZMd?„ ZNd@„ ZOdA„ ZPdB„ ZQeRdCk(  r eQ«        yy)Fu>  AVGC-hard curriculum fine-tune of stem_ms96 from IRM (â‰  avgc-upweight Î»).

Frozen IRMâ†”synth teacher (w=0.5 blend of IRM + stem_synth_switch logits) scores
every training frame; hardness = BCE or 1/(|logit|+eps). After warm-up:
  1) upsample hard windows (hardness-weighted end-frame sampling), and
  2) when AVGC is in the train set, ramp AVGC batch fraction above 1/n_env.

Student init: models/stem_ms96_irm/{held-*,all5}.pt (causal -inf mask restored).
Eval EMA 0.995. HMM p_stay 0.994 scale 0.8 + causal tau-30 hp30. Never AASD/Carta labels.

Distinct from avgc-upweight (loss multiplier on AVGC rows) which hurt AVGC H.

usage:
  STEPS=1000 flock multi_agent_opt/gpu.lock python -u stem_ms96_avgc_curriculum.py
  SMOKE=1 STEPS=40 python stem_ms96_avgc_curriculum.py
  TUNE=1 STEPS=1000 ...   # smoke HARD_KIND then full
é    N)ÚDS_KEYSÚmodelsÚstem_ms96_irmÚstem_ms96_synth_switchÚINIT_DIRÚstem_ms96_avgc_curriculumÚexperimentszstem_ms96_avgc_curriculum.logÚresultsÚresearchzstem_ms96_avgc_curriculum.jsonzb/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/results/research)ÚAASDÚ	Carta2026ÚSTEPSÚ1000ÚBATCHÚ512ÚSMOKEÚ0Ú1ÚTUNEÚ	HARD_KINDÚbceÚ	TEACHER_Wz0.5Ú	WARM_FRACz0.2ÚHARD_MIX_MAXz0.75ÚMAX_AVGC_FRACz0.45g×£p=
×ï?g-Cëâ6J?g+‡ÙÎï?gš™™™™™é?Ú	stem_ms96Úmsé`   é@   é   TgìQ¸…ëå?g-Cëâ6ê?gáz®GáR@©ÚHÚAccc                 ó   — t        | d¬«       t        j                  t        j                  j	                  t
        «      d¬«       t        t
        d«      5 }|j                  | dz   «       d d d «       y # 1 sw Y   y xY w)NT)Úflush©Úexist_okÚaÚ
)ÚprintÚosÚmakedirsÚpathÚdirnameÚLOGÚopenÚwrite)ÚtextÚfhs     ústem_ms96_avgc_curriculum.pyÚlog_liner5   @   sL   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ø
�‰�˜‘Ô÷ 
�‰ús   ÁA4Á4A=c                 ó$  — t        j                  | dd¬«      }|d   \  }}}}}}}	|dk7  s|r	|t        k7  rt        d|d   › �«      ‚t	        t        j                  |d   «      j                  d   «      }
t        j                  |
|||d	¬
«      }|j                  j                  «       j                  «       }|j                  |d   «       |j                  j                  |«       t        j                  |j                  «      j!                  «       rt        d| › �«      ‚|j#                  |«      }t        j                  |d   t
        j$                  «      }t        j                  |d   t
        j$                  «      }|||t'        |d   «      fS )NÚcpuF)Úmap_locationÚweights_onlyÚcfgr   zunexpected stem cfg Úmur   T)Úd_modelÚnlayersÚstemÚstatez-causal mask still has nan after restore from ÚsdÚtrain)ÚtorchÚloadÚWINDOWÚRuntimeErrorÚintÚnpÚasarrayÚshapeÚVÚLogitTransformerÚmaskÚdetachÚcloneÚload_state_dictÚcopy_ÚisnanÚanyÚtoÚfloat32Úlist)r-   ÚdeviceÚblobÚnameÚfamilyÚwindowr<   r=   r>   Ú_lrÚc_inÚnetÚ	good_maskr;   r@   s                  r4   Ú	load_stemr_   G   sK  € Ü�:‰:�d¨¸UÔC€DØ8<¸U¹Ñ5€Dˆ&�&˜' 7¨D°#Øˆ{Ò¡$¨&´FÒ*:ÜÐ1°$°u±+°Ð?Ó@Ð@ÜŒr�z‰z˜$˜t™*Ó%×+Ñ+¨AÑ.Ó/€DÜ
×
Ñ
˜T 6°7ÀGÐRVÔ
W€CØ—‘—‘Ó!×'Ñ'Ó)€IØ×Ñ˜˜W™Ô&Ø‡H�H‡N�N�9ÔÜ‡{�{�3—8‘8Ó× Ñ Ô"ÜÐJÈ4È&ÐQÓRÐRØ
�&‰&�‹.€CÜ	�‰�D˜‘J¤§
¡
Ó	+€BÜ	�‰�D˜‘J¤§
¡
Ó	+€BØ��Bœ˜T '™]Ó+Ð+Ð+ó    c           
      óÌ  — | j                  «        i }t        j                  |j                  ddd«      «      }t        j                  |j                  ddd«      «      }|j	                  «       D �]q  \  }}	i ||<   |	j	                  «       D �]R  \  }
}|j
                  \  }}t        j                  t        dz
  |ft        j                  «      }t        j                  t        j                  ||gd«      «      }g }t        d|d«      D ]›  }|||dz   t        z   dz
   }|j                  dt        d«      j                  ddd«      j                  «       }||z
  |z  }|j                   | |j!                  |«      «      dd…df   j#                  «       j%                  «       «       Œ� t        j                  |«      j'                  t        j(                  «      ||   |
<   �ŒU �Œt |S )zHPer-dataset dict of trial_key -> (T,) logits at each frame (causal w96).é   éÿÿÿÿr   i   r    N)ÚevalrB   Ú
from_numpyÚreshapeÚitemsrI   rG   ÚzerosrD   rT   ÚconcatenateÚrangeÚunfoldÚpermuteÚ
contiguousÚappendrS   r7   ÚnumpyÚastypeÚfloat64)ÚmodelÚfeat_dsr;   r@   rV   ÚoutÚmu_tÚsd_tÚdsÚtableÚkeyÚXÚTÚCÚpadÚxpÚpiecesÚiÚslÚws                       r4   Úteacher_frame_logitsrƒ   Y   s‘  € ð 
‡J�J„LØ
€CÜ×Ñ˜BŸJ™J q¨!¨RÓ0Ó1€DÜ×Ñ˜BŸJ™J q¨!¨RÓ0Ó1€DØ—]‘]—_‰	ˆˆEØˆˆB‰Ø—k‘k—m‰FˆC�Ø—7‘7‰DˆAˆqÜ—(‘(œF Q™J¨˜?¬B¯J©JÓ7ˆCÜ×!Ñ!¤"§.¡.°#°q°¸1Ó"=Ó>ˆBØˆFÜ˜1˜a Ö&�Ø˜˜!˜d™(¤VÑ+¨aÑ/Ð0�Ø—I‘I˜a¤¨Ó+×3Ñ3°A°q¸!Ó<×GÑGÓI�Ø˜‘X Ñ%�Ø—‘™e A§D¡D¨£LÓ1²!°R°%Ñ8×<Ñ<Ó>×DÑDÓFÕGð	 'ô
 Ÿ>™>¨&Ó1×8Ñ8¼¿¹ÓDˆC�‰G�C‹Lò $ð %ð €Jr`   c                 óv   — i }| D ]1  }i ||<   | |   D ]"  }|| |   |   z  d|z
  ||   |   z  z   ||   |<   Œ$ Œ3 |S )Nç      ð?© )Úirm_logÚ	synth_logr‚   rt   rw   ry   s         r4   Úblend_logitsr‰   p   sa   € Ø
€CÛˆØˆˆB‰Ø˜2”;ˆCØ˜w r™{¨3Ñ/Ñ/°3¸±7¸iÈ¹mÈCÑ>PÑ2PÑPˆC�‰G�CŠLñ ð ð €Jr`   c                 ó´  — t        j                  | t         j                  «      } t        j                  |t         j                  «      }|dk(  rdt        j                  | «      dz   z  S | }t        j                  |d«      ||z  z
  t        j
                  t        j                  t        j                  |«       «      «      z   }t        j                  |d«      S )NÚ	abs_logitr…   çš™™™™™©?r   g�íµ ÷Æ°>)rG   rH   rq   ÚabsÚmaximumÚlog1pÚexp)ÚlogitÚyÚkindÚzr   s        r4   Úhardness_from_logitr•   y   sœ   € Ü�J‰J�uœbŸj™jÓ)€EÜ
�
‰
�1”b—j‘jÓ!€AØˆ{ÒØ”b—f‘f˜U“m dÑ*Ñ+Ð+ð 	€Aä
�*‰*�Q˜Ó
˜Q ™UÑ
"¤R§X¡X¬b¯f©f´b·f±f¸Q³i°ZÓ.@Ó%AÑ
A€CÜ�:‰:�c˜4Ó Ð r`   c                 óè  — g }i }t        | |«      D �][  \  }}t        j                  d   |   }	g }
t        |d   ||   j                  «       «      D ]‹  \  \  }}}||   |   }t	        |«      t	        |«      k7  r)t        dt	        |«      › dt	        |«      › d|› d|› �«      ‚t        |||«      }|
j                  |j                  t        j                  «      «       Œ� t        j                  |
«      }t	        |«      |d   k7  r’g }
t        ||   j                  «       «      }t        |d   «      D ]N  \  }\  }}||   }||   |   }|
j                  t        |||«      j                  t        j                  «      «       ŒP t        j                  |
«      }t	        |«      |d   k7  r t        dt	        |«      › d	|d   › d|› �«      ‚|t        t        |j!                  «       «      d
«      z  }|j                  |«       t#        t        |j!                  «       «      t        t        j$                  |d«      «      t        |j                  «       «      t'        t	        |«      «      ¬«      ||<   �Œ^ ||fS )zOPer-group flat hardness aligned with sample_batch's pick index over g['total'].ÚattÚtrialszteacher len z != y ú for Ú/Útotalzhardness len z
 != total g:Œ0âŽyE>gÍÌÌÌÌÌì?)ÚmeanÚp90ÚmaxÚn)ÚzipÚNÚGÚkeysÚlenrE   r•   rn   rp   rG   rq   ri   rU   Ú	enumeraterž   Úfloatrœ   ÚdictÚquantilerF   )ÚgroupsÚtrain_dsÚfeat_msÚteacher_logr“   Úframe_wÚstatsÚgrw   r—   Úpartsrz   r’   ry   ÚlogÚhr‚   r£   Útis                      r4   Úbuild_group_hardnessr´   †   s'  € à€GØ€EÜ�V˜X×&‰ˆˆ2Ü�c‰c�%‰j˜‰nˆØˆÜ˜q ™{¨G°B©K×,<Ñ,<Ó,>Ö?‰K‰FˆQ��Cà˜b‘/ #Ñ&ˆCÜ�3‹xœ3˜q›6Ò!Ü" \´#°c³(°¸6Ä#ÀaÃ&ÀÈÈrÈdÐRSÐTWÐSXÐ#YÓZÐZÜ# C¨¨DÓ1ˆAØ�L‰L˜Ÿ™¤"§*¡*Ó-Õ.ð @ô �N‰N˜5Ó!ˆÜˆq‹6�Q�w‘ZÒàˆEÜ˜ ™×(Ñ(Ó*Ó+ˆDÜ'¨¨(©Ö4‘
�‘F�Q˜Ø˜2‘h�Ø! "‘o cÑ*�Ø—‘Ô0°°a¸Ó>×EÑEÄbÇjÁjÓQÕRð 5ô —‘˜uÓ%ˆAÜˆq‹6�Q�w‘ZÒÜ ¬s°1«v¨h°jÀÀ7ÁÀÈEÐRTÐQUÐVÓWÐWØ””E˜!Ÿ&™&›(“O TÓ*Ñ*ˆØ�‰�qÔÜœe A§F¡F£H›o´5¼¿¹ÀQÈÓ9LÓ3MÜ" 1§5¡5£7›^¬s´3°q³6«{ô<ˆˆb‹	ð1 'ð4 �Eˆ>Ðr`   c
                 ó~  — |d   d   d   d   j                   d   }
t        j                  |||
ft        j                  «      }t        j                  ||ft        j                  «      }t        j                  ||ft        j                  «      }t	        |«      }|��?|	��<|dkD  �r6t        t        |t        |	«      z  «      «      }t        t        |d«      ||dz
  z
  «      }||z
  }t        |«      D �cg c]
  }||k7  sŒ	|‘Œ }}|t	        |«      z  }||t	        |«      z  z
  }t        j                  |t        j                  «      }|||<   t        |«      D ]  \  }}|||k  rdndz   ||<   Œ t        j                  t        |«      D �cg c]3  }t        j                  t        ||   «      |t        j                  «      ‘Œ5 c}«      }| j                  |«       nt        j                   |«      |z  }t        |«      D �]£  \  }}t        j"                  ||k(  «      }t	        |«      dk(  rŒ.t	        |«      }t        t        |t        |«      z  «      «      }t        t        |d«      |«      }t        j$                  |t        j                  «      }|dkD  r5|�3||   }||j'                  «       z  } | j)                  |d   |d| ¬«      |d| ||k  r| j+                  d|d   ||z
  ¬«      ||d t        j,                  |d	   |d
¬«      }!||d	   |d   z
  |!   z
  }"|d   }#t/        ||!|"«      D ]t  \  }$}%}&|#t        |%«         \  }'}(t        |&«      }&|&|z
  dz   })|)dk\  r|'|)|&dz    ||$<   |(|)|&dz    ||$<   d||$<   ŒL|&dz   }*|'d|* ||$|* d…f<   |(d|* ||$|* d…f<   d||$|* d…f<   Œv �Œ¦ ||z  }||z  }|||fS c c}w c c}w )zKDataset-balanced (or AVGC-frac) windows; within-ds mix uniform vs hardness.r   r˜   rb   Nr›   T)ÚsizeÚreplaceÚp)r¶   ÚendsÚright)ÚsideÚlengthsr…   )rI   rG   rh   rT   r¤   rF   Úroundr¦   Úminrž   rj   Úint64r¥   ri   ÚfullÚshuffleÚarangeÚflatnonzeroÚemptyÚsumÚchoiceÚintegersÚsearchsortedr    )+Úrngr©   ÚWÚbatchr;   r@   r­   Úhard_mixÚavgc_idxÚ	avgc_fracr|   ÚXoÚyoÚmoÚn_envÚn_avgcÚremr€   ÚothersÚbaseÚextraÚcountsÚjÚoiÚds_ofÚg_ir¯   ÚrowsrŸ   Ún_hardÚpicksr‚   r¸   ÚwhichÚlocalr˜   Úrowr³   ÚtÚxr’   r(   Únns+                                              r4   Úsample_batch_curriculumræ   §   s³  € àˆq‰	�(Ñ˜AÑ˜qÑ!×'Ñ'¨Ñ*€AÜ	�‰�5˜!˜Q�-¤§¡Ó	,€BÜ	�‰�5˜!�*œbŸj™jÓ	)€BÜ	�‰�5˜!�*œbŸj™jÓ	)€BÜ�‹K€EàÑ 	Ñ 5¸%À!»)Ü”U˜5¤5¨Ó#3Ñ3Ó4Ó5ˆÜ”S˜ “^ U¨e°a©iÑ%8Ó9ˆØ�f‰nˆÜ" 5œ\Ó;™\˜¨Q°(«]’!˜\ˆÐ;Ø”c˜&“kÑ!ˆØ�dœS ›[Ñ(Ñ(ˆÜ—‘˜%¤§¡Ó*ˆØ!ˆˆxÑÜ˜vÖ&‰EˆAˆrØ a¨%¢i¡°QÑ7ˆF�2ŠJð 'ä—‘ÌeÐTYÌlÓ[ÉlÈ¤§¡¬¨F°1©I«¸¼2¿8¹8Õ DÈlÑ[Ó\ˆØ�‰�EÕä—	‘	˜%Ó  5Ñ(ˆä˜F×#‰ˆˆQÜ�~‰~˜e s™lÓ+ˆÜˆt‹9˜Š>ØÜ�‹IˆÜ”U˜1œu X›Ñ.Ó/Ó0ˆÜ”S˜ “^ QÓ'ˆÜ—‘˜œBŸH™HÓ%ˆØ�AŠ:˜'Ð-Ø˜‘ˆAØ�A—E‘E“G‘ˆAØ ŸZ™Z¨¨'©
¸ÈÐQR˜ZÓSˆE�'�6ˆNØ�AŠ:Ø Ÿ\™\¨!¨Q¨w©Z¸aÀ&¹j˜\ÓIˆE�&�'ˆNÜ—‘  &¡	¨5°wÔ?ˆØ˜˜6™ Q y¡\Ñ1°5Ñ9Ñ9ˆØ�8‘ˆÜ˜d E¨5Ö1‰JˆC��QØœ#˜b›'‘?‰DˆAˆqÜ�A“ˆAØ�A‘˜‘	ˆAØ�AŠvØ˜A˜a !™e˜*��3‘Ø˜A˜a !™e˜*��3‘Ø��3’à˜‘U�Ø ! # 2 ��3˜˜™�9‘Ø ! # 2 ��3˜˜™�9‘Ø #��3˜˜™�9’ò 2ð# $ð< ˆ"�H€BØˆ"�H€BØˆr�2ˆ:ÐùòY <ùò  \s   Ã4
N5Ã?N5Æ8N:c                 ó>  — t        ||z  «      }dt        |d«      z  }| |k  r	d|�|fS d fS | |z
  t        ||z
  d«      z  }	ddt        j                  t        j                  |	z  «      z
  z  }
||
z  }|€d }||fS |||z
  |
z  z   }t        t        ||«      d«      }||fS )Nr…   rb   ç        ç      à?gffffffæ?)rF   rž   ÚmathÚcosÚpir¾   )Ústepr›   Ú	warm_fracÚhard_mix_maxÚmax_avgc_fracrÒ   rÍ   ÚwarmÚ	base_fracr¸   ÚramprÌ   rÎ   s                r4   Úschedulerô   â   sÏ   € Üˆu�yÑ Ó!€DØ”c˜% “mÑ#€IØˆd‚{Ø (Ð"6�YÐAÐA¸DÐAÐAØ	�‰œ˜E D™L¨!Ó,Ñ,€Aà�#œŸ™¤§¡¨1¡Ó-Ñ-Ñ.€DØ˜dÑ"€HØÐØˆ	ð �YÐÐð  °Ñ!:¸dÑ BÑBˆ	Üœ˜I yÓ1°3Ó7ˆ	Ø�YÐÐr`   c                 óÄ  — t        j                  ||«      }t        j                  | ||d¬«      }||z  j	                  «       j                  d«      }||z  |z  j	                  «       |z  }| d d …dd …f   | d d …d d…f   z
  j                  «       }|d d …dd …f   |d d …d d…f   z  }	|d||	z  j	                  «       z  |	j	                  «       j                  d«      z  z   }|S )NÚnone)Ú
pos_weightÚ	reductionr…   rb   rc   rŒ   )rJ   Úswitch_weightsÚFÚ binary_cross_entropy_with_logitsrÅ   Ú	clamp_minr�   )
r‘   r’   Úmr÷   Úswr   ÚdenomÚlossÚdvÚm2s
             r4   Úweighted_bcer  ó   sÝ   € Ü	
×	Ñ	˜!˜QÓ	€BÜ
×
,Ñ
,¨U°AÀ*ÐX^Ô
_€CØ�!‰V�L‰L‹N×$Ñ$ SÓ)€EØ�"‰H�q‰L×ÑÓ %Ñ'€DØ
’�1‘2�‰,˜šq # 2 #˜v™Ñ
&×	+Ñ	+Ó	-€BØ	
Š1ˆa‰bˆ5‰�A’a˜˜"˜�f‘IÑ	€BØ�$˜"˜r™'Ÿ™›Ñ(¨2¯6©6«8×+=Ñ+=¸cÓ+BÑBÑB€DØ€Kr`   c                 ó  — t        dt        |dz  d«      «      }||k  r||dz   z  |z  }nJ||z
  t        ||z
  d«      z  }dd|dz
  z  dt        j                  t        j                  |z  «      z   z  z   }| j
                  D ]  }||d<   Œ	 |S )Né(   é
   rb   gñhãˆµøä>ré   r…   Úlr)r¾   rž   rê   rë   rì   Úparam_groups)Úoptrí   r›   rÖ   rñ   r  r¸   Úgroups           r4   Úset_lrr  þ   s˜   € Üˆr”3�u ‘{ AÓ&Ó'€DØˆd‚{Ø�T˜A‘XÑ Ñ%‰à�D‰[œC ¨¡¨aÓ0Ñ0ˆØ�C˜4 $™;Ñ'¨3´·±¼$¿'¹'ÀA¹+Ó1FÑ+FÑGÑGˆØ×!Ô!ˆØˆˆdŠð "à€Ir`   c                 óv  — t        |j                  «       «      }t        j                  d|z
  t	        |d«      z  g|¬«      }t        j
                  j                  | j                  «       t        d¬«      }t        j                  j                  t        j                  «      }t        j                  | «      j!                  «       }| j#                  «        t%        |«      }t'        d„ t)        |«      D «       d «      }t+        j*                  «       }d }g }dx}}t-        |«      D �]r  }t/        |||t        «       t1        ||t2        t4        t6        ||«      \  }}||�|nd}}t9        ||t:        |	||||||«
      \  }}}t        j<                  |«      j?                  |d	¬
«      }t        j<                  |«      j?                  |d	¬
«      } t        j<                  |«      j?                  |d	¬
«      }!t        j@                  |«      }|jC                  d	¬«       tE         | |«      | |!|«      }"t        jF                  |"«      stI        d|› d|
› �«      ‚|"jK                  «        t        jL                  jN                  jQ                  | j                  «       d«       |jS                  «        t        jT                  | |tV        «       t        |"jY                  «       «      }||k  rn|j[                  |«       |dz   |k(  rUt        t        j                  |«      «      }#t]        d|
› d|› d|#d›�«       |#t^        k\  rtI        d|
› d|#d›dt^        › �«      ‚|dk(  s|dz   dz  dk(  s
|dz   |k(  s�ŒF|�|d›nd}$t]        d|
› d|dz   › d|› d|d›d|d›d|$› d|› �«       �Œu |j!                  «        t        j`                  ||t:        |||«      }%t]        d |
› d|d›d!|%d›d|› d"|d u› d#t+        j*                  «       |z
  d$›d%�«       |tc        ||%||d ut        |«      t        |«      t4        t6        t2        td        ¬&«
      fS )'Nr…   gü©ñÒMbP?)rV   g-Cëâ6?)r  Úweight_decayc              3   ó2   K  — | ]  \  }}|d k(  sŒ|–— Œ y­w)ÚAVGCNr†   )Ú.0r€   Úds      r4   Ú	<genexpr>z#train_curriculum.<locals>.<genexpr>  s   è ø€ ÐFÑ#6™4˜1˜a¸!¸v»+”QÑ#6ùs   ‚�rè   ç      ð¿T)Únon_blocking)Úset_to_noneznon-finite loss at step r™   rb   z    z early-abort check mean_loss@Ú=ú.4fzearly abort z: mean loss z >= chance r   éÈ   ú.3fÚnaz step rš   z loss z
 hard_mix z avgc_frac z kind z
  trained z frame-acc z avgc_in_train=z (z.0fzs))
r   Ú	frame_accÚ	hard_kindÚavgc_in_trainÚfinal_hard_mixÚfinal_avgc_fracrï   rð   rî   Ú	teacher_w)3r¦   rœ   rB   Útensorrž   ÚoptimÚAdamWÚ
parametersÚLRrG   ÚrandomÚdefault_rngrJ   Ú
TRAIN_SEEDÚcopyÚdeepcopyrd   rA   r¤   Únextr¥   Útimerj   r  rô   r   r   r   ræ   rD   re   rS   ÚaugmentÚ	zero_gradr  ÚisfiniterE   Úbackwardrå   ÚutilsÚclip_grad_norm_rí   Ú
ema_updateÚ	EMA_DECAYÚitemrn   r5   ÚCHANCE_LOSSÚtrain_frame_accr§   r   )&rr   r©   rª   Úy_allr;   r@   r­   rV   ÚstepsrË   Útagr  Úabort_afterÚposr÷   r	  rÉ   ÚemarÒ   rÍ   Út0ÚlastÚearly_lossesÚlast_hmÚlast_afrí   rÌ   rÎ   ÚxbÚybÚmbrä   r’   rý   r   Ú
mean_earlyÚaf_sÚaccs&                                         r4   Útrain_curriculumrI  
  sý  € ä
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.´2ÀDÐ
Ó
I€CÜ
�)‰)×
Ñ
¤§¡Ó
-€CÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€CØ	‡K�K„MÜ�‹K€EÜÑF¤9¨XÔ#6ÓFÈÓM€HÜ	�‰‹€BØ€DØ€LØÐ€GˆgÜ�e—ˆÜˆs�D˜%¤Ô$Ü&Ø�%œ¤L´-ÀÈóRÑˆ�)à#°9Ð3H¡iÈd�ˆÜ,Ø�œ ¨¨B°¸À8ÈYóX‰
ˆˆB�ä×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ�I‰I�a‹LˆØ�‰ $ˆÔ'Ü™E !›H a¨¨JÓ7ˆÜ�~‰~˜dÔ#ÜÐ!9¸$¸¸uÀSÀEÐJÓKÐKØ�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
Ü	�‰�U˜C¤Ô+Ü�T—Y‘Y“[Ó!ˆØ�+ÒØ×Ñ Ô%Ø�a‰x˜;Ò&Ü"¤2§7¡7¨<Ó#8Ó9�
Ü˜4 ˜uÐ$AÀ+ÀÈaÐPZÐ[^ÐO_Ð`ÔaØ¤Ò,Ü&Ø& s e¨<¸
À3Ð7GÀ{ÔS^ÐR_Ð`óbð bà�1Š9˜ ™ SÑ(¨AÒ-°¸±¸UÔ1BØ)2Ð)>�i ‘_ÀDˆDÜØ�s�e˜6 $¨¡( ¨1¨U¨G°6¸$¸s¸ð DØ$ S˜>¨°T°F¸&ÀÀðMöNð= ðB ‡H�H„JÜ
×
Ñ
˜C ¬°°R¸Ó
@€CÜØ
�S�E˜  S˜z¨°S¸°I¸VÀIÀ;ð OØ!¨Ð-Ð.¨b´·±³¸rÑ1AÀ#Ð0FÀbð	JôKð ”Ø˜S¨IØ dÐ*Ü˜W“~´u¸W³~Ü!´Ü¤yô2ð 2ð 2r`   c                 ód  — t        | |«      \  }}}}	 t        ||||||||||||	«      \  }}|||||fS # t        j                  j                  $ r_ |
r‚ t        d|› d|› d�«       ~|j                  dk(  rt        j                  j                  «        t        | |||||||dz  ||	d¬«      cY S w xY w)Nz	  OOM on z
 at batch z; halving onceÚcudar    T)Úhalved)	r_   rI  rB   rK  ÚOutOfMemoryErrorr5   ÚtypeÚempty_cacheÚfit_with_oom)Ú	init_pathr©   rª   r8  r­   rV   r9  rË   r:  r  rL  rr   r;   r@   Ú_trainr=  r®   s                    r4   rP  rP  F  s×   € ä% i°Ó8Ñ€Eˆ2ˆr�6ð$Ü%Ø�6˜8 U¨B°°G¸VÀUÈEÐSVÐXaóc‰
ˆˆUà�B˜˜E 5Ð(Ð(øÜ�:‰:×&Ñ&ò 	$ÙØÜ�9˜S˜E ¨E¨7°.ÐAÔBØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$ÜØ�v˜x¨°¸ÀÈÐQRÉ
ÐTWØ˜dô$ò 	$ð	$ús   “3 ³A9B/Â.B/c                 ó  — i }| j                  «       D ]r  \  }}t        j                  t        j                  |t        j
                  «      d d …d f   «      j                  d«      j                  t        j
                  «      ||<   Œt |S )Nrc   )rg   ÚV4ÚhighpassrG   rH   rq   rf   rp   )Ústreamrt   ry   r  s       r4   Úhp30_streamrW  Y  sg   € Ø
€CØ—,‘,–.‰ˆˆQÜ—;‘;œrŸz™z¨!¬R¯Z©ZÓ8º¸D¸ÑAÓB×JÑJÈ2ÓN×UÑUÔVX×V`ÑV`ÓaˆˆCŠð !à€Jr`   c                 ó6  — t        j                  | |||t        |«      }t        j                  |«      }t        j
                  ||t        t        «      }|D �	ci c]  }	|	t        ||	   «      “Œ }
}	t        j                  |
«      }t        j
                  ||t        t        «      }t        d|› dt        › dt        › d|d   d›d|d   d	›d
|d   d›d|d   d	›�«       t        d|› dt        › dt        › d|d   d›d|d   d	›�
«       t        ||¬«      |fS c c}	w )NzLODO ú p ú sc ú  H r"   r  ú Acc r#   ú.2fú L ÚLr  ú SDT ÚSDTz
LODO_hp30 ©ÚcurrÚhp30)rJ   Ú	infer_allrD   r¡   Úto_evÚofficialÚP_STAYÚSCALErW  r5   r§   )rr   Úfeatr;   r@   ÚheldrV   ÚstreamsÚevÚoffrw   ÚhpÚev_hpÚoff_hps                r4   Ú
score_lodorr  `  s&  € Ü�k‰k˜%  r¨2¬v°vÓ>€GÜ	
�‰�Ó	€BÜ
�*‰*�T˜2œv¤uÓ
-€CÙ18Ó	9±¨2ˆ"Œk˜' "™+Ó&Ñ
&°€BÐ	9Ü�G‰G�B‹K€EÜ�Z‰Z˜˜e¤V¬UÓ3€FÜˆu�T�F˜#œf˜X T¬%¨°°S¸±X¸c°NÀ%ÈÈEÉ
ÐSVÐGWð XØ�c‘(˜3�˜u S¨¡Z°Ð$4ð6ô 7äˆz˜$˜˜s¤6 (¨$¬u¨g°T¸&À¹+ÀcÐ9JÈ%ÐPVÐW\ÑP]Ð^aÐObÐcÔdÜ�S˜vÔ&¨Ð/Ð/ùò 
:s   ÁDc                 ó<  — g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       |D �	ci c]  }	|	t        ||	   «      “Œ }}	g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       i }t        D �]ú  }	t        j                  | |	||	   i||t         |«      |	   }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t        |«      }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t#        ||¬«      ||	<   t        d|	› dt,        › dt        › d|d   d›d|d   d›d|d   d›d|d   d›�«       t        d|	› dt,        › dt        › d|d   d›d|d   d›�
«       �Œý |S c c}	w )Nr   r…   r  z  external emissions mu r  z sd z scale z  external hp30 emissions mu r—   Út_endÚatt128Ún128Úsubject)Úr0Úr1r—   rt  ru  rv  rw  g      è?rb  zEXT rY  rZ  r[  r"   r\  r#   r]  r^  r_  r  r`  ra  z	EXT_hp30 )rg   rn   rG   rH   rq   Úwherer¦   ri   rœ   Ústdr5   ri  rW  Ú
TEST_NAMESrJ   re  rD   r§   rh   r¤   ÚEÚscorerh  )rr   Úfeat_extÚmetaÚmu_inÚsd_inÚcorpus_streamsÚ
corpus_attrV   r°   rw   rx   Úlabelsry   r  Úmu_eÚsd_eÚ	hp_corpusÚparts_hpÚmu_hpÚsd_hprÝ   rV  rm  Úmeta_kÚrÚ	stream_hprp  Úr_hps                               r4   Úscore_externalr�  m  sÜ  € Ø€EØ#×)Ñ)Ö+‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�L‰LœŸ™ A¤r§z¡zÓ2´R·X±X¸fÀS¹kÈQÑ>NÐPSÐUYÓ5ZÑZÕ[ñ $ð ,ô ”—‘ Ó&×+Ñ+Ó-Ó.€DÜ”—‘ Ó&×*Ñ*Ó,Ó-€DÜÐ'¨¨S z°°d¸3°Z¸wÄuÀgÐNÔOá?MÓN¹~¸�”[ °Ñ!3Ó4Ñ4¸~€IÐNØ€HØ—_‘_Ö&‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�O‰OœBŸJ™J q¬"¯*©*Ó5¼¿¹ÀÈÁÐPQÑAQÐSVÐX\Ó8]Ñ]Õ^ñ $ð 'ô ”"—.‘. Ó*×/Ñ/Ó1Ó2€EÜ”"—.‘. Ó*×.Ñ.Ó0Ó1€EÜÐ,¨U°3¨K°t¸EÀ#¸;ÀgÌeÈWÐUÔVà€DßˆjˆÜ—‘˜U R¨°"©Ð$6¸¸uÄfÈfÓUÐVXÑYˆØˆØ—l‘l–n‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ˜a¤B§H¡H¬S°«VÓ$4¸&À¹-ÈvÐV]ÉØ"(¨Ñ"2¸À¹ÐQWÐXaÑQbôdˆBˆsŠGð %ô
 �G‰G�B˜˜d¤U™l¬F°DÓ9ˆÜ Ó'ˆ	ØˆØ—o‘oÖ'‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ ¤r§x¡x´°A³Ó'7¸VÀE¹]ÐRXÐY`ÑRaØ%+¨HÑ%5¸FÀ6¹NÐTZÐ[dÑTeôgˆE�#ŠJð (ô
 �w‰w�u˜e U¬U¡]´F¸DÓAˆÜ˜Q TÔ*ˆˆR‰Ü�4˜�t˜3œv˜h d¬5¨'°°a¸±f¸S°\ÀÀqÈÁxÐPSÀnð UØ˜‘f˜S�\  q¨¡x° nð6ô 	7ä�9˜R˜D ¤F 8¨4´¨w°d¸4À¹9ÀS¸/ÈÈtÐTYÉ{Ð[^ÐN_Ð`Öað) ð* €KùòA Os   Ã?Pc                  ó¤  — t         j                  j                  dg d¢¬«       i i }} t        D �]Š  }g }t	        d«      D ]f  }t
        j                  j                  t        d|› d|› d�«      }t        |d«      5 }|j                  t        j                  |«      «       d d d «       Œh i i c| |<   ||<   |d	   D ]à  }|D �cg c]0  }||   d
   ||   d   z
  j                  t        j                  «      ‘Œ2 }	}|d	   |   }
t        j                   |	d«      | |   |<   t#        t        j$                  |
d   «      t        j$                  |
d   t        j&                  «      t        j$                  |
d   «      t)        |
d   «      t)        |
d   «      ¬«      ||   |<   Œâ t+        d|› dt-        | |   «      › d�«       �Œ� | |fS # 1 sw Y   �Œ‹xY wc c}w )NÚ
eaP_n5_t60)ÚenvÚonsetÚdom)ÚprepÚtargetsé   Úext_clf_Ú_w10b3sw2P_evidence_sz.pklÚrbr   rx  ry  rb   r—   rt  ru  rv  rw  )r—   rt  ru  rv  rw  z  external z: z trials)r}  ÚCONFÚupdater|  rj   r+   r-   ÚjoinÚEVIDr0   rn   ÚpicklerC   rp   rG   rT   Ústackr§   rH   rq   rF   r5   r¤   )Úlogitsr€  rw   Úevsr€   r-   r3   ry   rm  ÚcolsÚe0s              r4   Úload_externalr¦  š  sª  € Ü‡F�F‡M�M�|Ò-D€MÔEØ�rˆD€FßˆjˆØˆÜ�q–ˆAÜ—7‘7—<‘<¤¨°°Ð4IÈ!ÈÈDÐ&QÓRˆDÜ�d˜DÔ! RØ—
‘
œ6Ÿ;™; r›?Ô+÷ "Ð!ð ð  " 2Ðˆˆr‰
�D˜‘HØ�q”6ˆCÙQTÓUÑQTÈ2�R˜‘W˜T‘] R¨¡W¨T¡]Ñ2×:Ñ:¼2¿:¹:ÕFÐQTˆDÐUØ�Q‘˜‘ˆBÜ Ÿh™h t¨QÓ/ˆF�2‰J�s‰OÜ Ü—J‘J˜r %™yÓ)´·±¸B¸w¹KÌÏÉÓ1TÜ—z‘z " X¡,Ó/´c¸"¸V¹*³oÌsÐSUÐV_ÑS`ÓOaôcˆD�‰H�SŠMð	 ô 	�;˜r˜d "¤S¨°©£_Ð$5°WÐ=Ö>ð ð �4ˆ<Ð÷ "Ñ!üò Vs   Á9%G Â?5GÇ G
c           	      ó�  ‡— | �t         D �cg c]
  }|| k7  sŒ	|‘Œ c}nt        t         «      }| �d| › �nd}t        j                  j	                  t
        |› d�«      }t        j                  j	                  t        |› d�«      }t        j                  j                  |«      st        |«      ‚t        j                  j                  |«      st        |«      ‚t        ||«      \  }	}
}}t        d|› �«       t        |	|D �ci c]  }|||   “Œ
 c}|
||«      }~	|j                  dk(  rt        j                  j                  «        t        ||«      \  }}}}t        d|› �«       t        ||D �ci c]  }|||   “Œ
 c}|||«      }~|j                  dk(  rt        j                  j                  «        t!        ||t"        «      }t%        j&                  ||«      \  }}|D �ci c]  }|||   “Œ
 }}t)        |||||«      \  }Št        d|› d�d	j	                  ˆfd
„|D «       «      z   «       |||‰|fS c c}w c c}w c c}w c c}w )uR   Frozen IRMâ†”synth teacher on the same held-* ckpts; hardness over train datasets.úheld-Úall5ú.ptz  teacher IRM rK  z  teacher synth z  hardness[z] z, c              3   ó:   •K  — | ]  }|› d ‰|   d   d›�–— Œ y­w)z:p90=r�   r  Nr†   )r  r  Úhstatss     €r4   r  z)build_teacher_for_fold.<locals>.<genexpr>Ï  s,   øè ø€ ð 5=Ù3;¨aˆ1ˆ#ˆU�6˜!‘9˜UÑ# CÐ(Ô)±8ùs   ƒ)r   rU   r+   r-   rž  ÚIRM_DIRÚ	SYNTH_DIRÚisfileÚFileNotFoundErrorr_   r5   rƒ   rN  rB   rK  rO  r‰   r   rJ   Útrial_groupsr´   )rk  Úfeat_allrV   r  r  rª   r:  Úirm_pathÚ
synth_pathÚirmÚmu_iÚsd_iÚ_r‡   ÚsynthÚmu_sÚsd_srˆ   Úblendedr©   r8  Úfeat_subr­   r¬  s                          @r4   Úbuild_teacher_for_foldr¾  ¯  s1  ø€ à48Ð4D�7Ó0™7�a a¨4£i’˜7Ò0Ì$ÌwË-€HØ Ð,ˆE�$�‰.°&€CÜ�w‰w�|‰|œG¨ u¨C [Ó1€HÜ—‘—‘œi¨C¨5°¨Ó5€JÜ�7‰7�>‰>˜(Ô#Ü Ó)Ð)Ü�7‰7�>‰>˜*Ô%Ü 
Ó+Ð+ä" 8¨VÓ4Ñ€Cˆˆt�QÜˆ~˜h˜ZÐ(Ô)Ü" 3ÁÓ(JÁ¸A¨¨H°Q©K©ÀÑ(JÈDÐRVÐX^Ó_€GØØ‡{�{�fÒÜ�
‰
×ÑÔ ä$ Z°Ó8Ñ€Eˆ4��qÜÐ 
˜|Ð,Ô-ô % UÁXÓ,NÁXÀ¨Q°¸±©^ÀXÑ,NÐPTÐVZÐ\bÓc€IØØ‡{�{�fÒÜ�
‰
×ÑÔ ä˜7 I¬yÓ9€GÜ—N‘N 8¨XÓ6�M€FˆEá(0Ó1© 1��8˜A‘;‘¨€HÐ1Ü*¨6°8¸XÀwÐPYÓZ�O€GˆVÜˆ{˜9˜+ RÐ(¨4¯9©9ó 5=Ù3;ó5=ó ,=ñ =ô >à�5˜' 6¨8Ð3Ð3ùòA 1ùò )Kùò -Oùò 2s   Œ
H4—H4ÄH9
Å/H>
Ç"Ic                 ó  — d}t         j                  j                  dd«      j                  d«      D �cg c]#  }|j	                  «       sŒ|j	                  «       ‘Œ% }}t        t         j                  j                  dd«      «      }g }|D �]  }t        d|› d|› d	|› �«       	 t        || ||«      \  }}	}
}}t         j                  j                  t        d
|› d�«      }t        ||||	|
||t        d|› �|«
      \  }}}}}~|j                  dk(  rt        j                  j!                  «        |d   d uxr) t#        j$                  |d   «      xr |d   dkD  xr |d   }t'        d!|||dœ|¤Ž}|j)                  |«       t        d|› d|› d|d   d›d|d   d›�«       �Œ |D �cg c]  }|j                  d«      sŒ|‘Œ }}|st/        d|› �«      ‚t1        |d„ ¬«      }t        d|d    › d|d   d›d|d   d›�«       |d    |fS c c}w # t*        $ ro}t        d|› d|› �«       |j)                  t'        |dt-        |«      ¬«      «       |j                  dk(  rt        j                  j!                  «        Y d }~�Œõd }~ww xY wc c}w )"NÚUHDÚSMOKE_KINDSzbce,abs_logitÚ,ÚSMOKE_STEPSÚ40zSMOKE HARD_KIND=z steps=z held=r¨  rª  zsmoke-rK  r   r  gš™™™™™á?r  )ÚokrË   Úhardnessz ok=z loss=r  z frame=r  z	 FAILED: F)r  rÅ  ÚerrorrÅ  zall smoke kinds failed: c                 ó&   — | d   | d   dk(  rdfS dfS )Nr  r  r   r   rc   r†   )r�  s    r4   Ú<lambda>zsmoke_kind.<locals>.<lambda>ô  s   €  q¨¡~¸A¸k¹NÈeÒ<S°qÑ&\ÐY[Ñ&\r`   )ry   zSMOKE chose HARD_KIND=r  r†   )r+   ÚenvironÚgetÚsplitÚstriprF   r5   r¾  r-   rž  r   rP  r   rN  rB   rK  rO  rê   r/  r§   rn   Ú	ExceptionÚstrrE   rž   )r²  rV   rk  rä   Ú
candidatesÚsmoke_stepsr
   r“   r©   r8  r­   r¬  rª   r-   r=  r;   r@   Úusedr®   rÅ  râ   Úexcr�  Úok_rowsÚbests                            r4   Ú
smoke_kindrÖ  Ô  sº  € Ø€DÜ%'§Z¡Z§^¡^°MÀ?Ó%S×%YÑ%YÐZ]Ô%^ÓlÑ%^ Ðbc×biÑbiÕbk�!—'‘'•)Ð%^€JÐlÜ”b—j‘j—n‘n ]°DÓ9Ó:€KØ€GÜˆÜÐ# D 6¨°°¸VÀDÀ6ÐJÔKð	)Ü7MØ�h ¨ó8.Ñ4ˆF�E˜7 F¨Hä—7‘7—<‘<¤¨E°$°°sÐ*;Ó<ˆDÜ'3Ø�f˜h¨¨w¸ÀÌUØ˜˜� ó('Ñ$ˆC��R˜˜uð Ø�{‰{˜fÒ$Ü—
‘
×&Ñ&Ô(Ø˜‘- tÐ+ò K´·±¸eÀF¹mÓ0Lò KØ˜KÑ(¨4Ñ/òKØ49¸/Ñ4Jð äÐC˜" D°6ÑC¸UÑCˆCØ�N‰N˜3ÔÜÐ'¨ v¨T°"°°V¸EÀ&¹MÈ#Ð;Nð OØ# KÑ0°Ð5ð7ö 8ð! ñ. "Ó1™'�Q Q§U¡U¨4¥[Šq˜'€GÐ1ÙÜÐ5°g°YÐ?Ó@Ð@äˆwÑ\Ô]€DÜÐ% d¨;Ñ&7Ð%8¸ÀÀ[Ñ@QÐRUÐ?Vð WØ˜&‘\ #Ð&ð(ô )à�Ñ˜gÐ%Ð%ùòC møô* ò 	)ÜÐ'¨ v¨Y°s°eÐ<Ô=Ø�N‰Nœ4¨$°5ÄÀCÃÔIÔJØ�{‰{˜fÒ$Ü—
‘
×&Ñ&Ô(ÿùð		)üò
 2s1   ´HÁ
HÂ$C<HÆ'JÆ>JÈ	JÈA$J Ê Jc                  óÄ  — t        j                  t         j                  j                  t        «      d¬«       t        t        d«      j                  «        t        j                  t        j                  j                  «       rdnd«      } t        d| › dt        › dt        › d	t        › d
t        › dt         › dt"        › dt$        › dt&        › dt(        › dt*        › �«       t        dt,        d   d›dt,        d   d›d�«       dt        j.                  j                  j0                  _        dt        j.                  j4                  _        t7        j8                  | «       t;        j<                  «        t7        j>                  «       d   }t        j                  t@        d¬«       t        }d }t(        st*        r¶tC        || «      \  }}t(        r¡tE        ||t&        t        ¬«      }t        j                  t         j                  j                  tF        «      d¬«       t        tF        jI                  dd«      d«      5 }tK        jL                  ||dtN        ¬«       d d d «       t        d«       y i }tP        D �]Z  }t         j                  jS                  t&        d|› d �«      }t         j                  jU                  |«      stW        |«      ‚t        d!|› d|› d"|› �«       tY        ||| |«      \  }	}
}}}t[        ||	||
|| t        t        d|› �|«
      \  }}}}}t        j\                  |j_                  «       ||||t        ||||t`        t        d#œt         j                  jS                  t@        d|› d �«      «       tc        |||||| «      \  }}tE        ||||¬$«      ||<   ~| jd                  dk(  s�Œ=t        j                  jg                  «        �Œ] t        d%t&        › d&�«       tY        d || |«      \  }	}
}}}t         j                  jS                  t&        d'«      }t[        ||	||
|| t        t        d(|«
      \  }}}}}t        j\                  |j_                  «       ||||t        ||||t`        t        d#œt         j                  jS                  t@        d'«      «       t7        jh                  ||||tj        | «      }tm        «       \  }}to        jp                  |«      d   }ts        ||||||t:        jt                  d)   | «      }tO        tw        jx                  tP        D �cg c]  }||   d*   d+   d   ‘Œ c}«      «      }tO        tw        jx                  tP        D �cg c]  }||   d*   d+   d   ‘Œ c}«      «      }tO        |d,   d*   d+   d   «      }tO        |d,   d*   d+   d   «      }t        d-|d›d.|d›�«       t        d/|d›d.|d›d0t,        d   d›dt,        d   d›d1|t,        d   z
  d2›d3|t,        d   z
  d4›�«       tE        dJi d5tz        “d6t|        “d7t        “d8t        “d9|“d:t        “d;t         “d<t"        “d=t$        “d>t&        “d?|“d@t,        “dAtP        D �ci c]  }|||   d*   “Œ c}“dBtP        D �ci c]  }|||   dC   “Œ c}“dDtE        ||¬E«      “dFtE        ||¬E«      “dG|“dH|“Ž}t        j                  t         j                  j                  tF        «      d¬«       t        tF        d«      5 }tK        jL                  ||dtN        ¬«       d d d «       t        dItF        › �«       y # 1 sw Y   �ŒÜxY wc c}w c c}w c c}w c c}w # 1 sw Y   Œ=xY w)KNTr&   r‚   rK  r7   zdevice z steps z batch z HARD_KIND z teacher_w z hard_mix_max z max_avgc_frac z warm z init z smoke=z tune=zfuse tip AVGC r"   r  rš   r#   r]  u    (IRMâ†”synth w=0.5)r   )ÚsmokeÚchosen_hard_kindÚinit_dirr   z.jsonz_smoke.jsonrb   )ÚindentÚdefaultz&SMOKE done; exiting without full scorer¨  rª  zfold held-out=z kind=)r?   r;   r@   ÚinitrA   r9  rË   r  r®   rÆ  r:   r   )Úscoresr®   rË   rÆ  z5all-5 AVGC-curriculum fine-tune for AASD/Carta, init z/all5.ptzall5.ptr©  r—   rÞ  rc  r  zLODO mean H r\  zAVGC H z vs fuse tip u    Î”H z+.4fu    Î”Acc z+.2fÚp_stayÚscaler9  rË   r  r   rï   rð   rî   rÚ  rØ  Úfuse_tip_avgcÚlodoÚ
lodo_statsr®   Ú	lodo_meanr!   ÚavgcÚexternalÚ
all5_statszwrote r†   )?r+   r,   r-   r.   r/   r0   ÚcloserB   rV   rK  Úis_availabler5   r   r   r   r   r   r   r   r   r   r   ÚFUSE_TIPÚbackendsÚmatmulÚ
allow_tf32ÚcudnnrJ   Úassert_causalr¡   Úload_allÚbuild_featuresÚCKPT_DIRrÖ  r§   ÚOUTr·   ÚjsonÚdumpr¦   r   rž  r¯  r°  r¾  rP  ÚsaveÚ
state_dictÚCFGrr  rN  rO  re  rD   r¦  rT  Úbuild_features_fromr�  r¢   rG   rœ   rh  ri  ) rV   r²  r  Ú
smoke_infort   r3   Úperrk  r-   r©   r8  r­   r¬  rª   r=  r;   r@   rÒ  r®   rÞ  Ú_streamsÚall_pathrƒ  Ú
ext_logitsÚext_metaÚext_featÚextr  Úmean_hÚmean_accÚavgc_hÚavgc_as                                    r4   Úmainr  ú  sµ  € Ü‡K�K”—‘—‘¤Ó$¨tÕ4ÜŒˆcƒN×ÑÔÜ�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜØ
�&�˜¤  w¬u¨g°[ÄÀð LÜ�K˜~¬l¨^¸?Ì=È/ð ZÜˆ{˜&¤ 
¨'´%°¸¼t¸fð	FôGô ˆ~œh s™m¨CÐ0°´(¸5±/À#Ð1FÐFZÐ[Ô\Ø,0„E‡N�N×Ñ×ÑÔ)Ø&*„E‡N�N×ÑÔ#Ü‡O�O�FÔÜ‡J�J„LÜ×ÑÓ! $Ñ'€HÜ‡K�K” 4Õ(ä€IØ€JÝ•Ü *¨8°VÓ <Ñˆ	�:ÝÜ˜Z¸)ÌhÜ!*ô,ˆCä�K‰KœŸ™Ÿ™¬Ó,°tÕ<Ü”c—k‘k '¨=Ó9¸3Ô?À2Ü—	‘	˜#˜r¨!´UÕ;÷ @äÐ=Ô>Øà
€Cß�ˆÜ�w‰w�|‰|œH¨¨d¨V°3Ð&7Ó8ˆÜ�w‰w�~‰~˜dÔ#Ü# DÓ)Ð)Ü�> $  v¨d¨V°6¸)¸ÐEÔFÜ3IØ�(˜F Ió4/Ñ0ˆ��w ¨ä#/Ø�&˜( E¨7°F¼EÄ5Ø�D�6ˆN˜Ió$'Ñ ˆˆR��T˜5ô 	�
‰
˜SŸ^™^Ó-°R¸rÈ4Ø%´ÀØ!*°UÈÜ¬Yñ8ô —7‘7—<‘<¤¨E°$°°sÐ*;Ó<ô		>ô
 & c¨8°R¸¸TÀ6ÓJÑˆ�Ü ¨e¸4È&ÔQˆˆD‰	ØØ�;‰;˜&Ô Ü�J‰J×"Ñ"Ö$ð' ô* ÐDÄXÀJÈhÐWÔXÜ/EØˆh˜ 	ó0+Ñ,€FˆE�7˜F Hä�w‰w�|‰|œH iÓ0€HÜ+Ø�&˜( E¨7°F¼EÄ5È&ÐR[ó ]Ñ€CˆˆR��uä	‡J�J˜Ÿ™Ó)°¸2ÀxØ!¬E¸DØ&°ÀFÜ¬ñ4ô �w‰w�|‰|œH iÓ0ô	2ô
 —[‘[  h°°B¼ÀÓG€NÜ(›?Ñ€J�Ü×%Ñ% jÓ1°$Ñ7€HÜ
˜˜h¨°"°b¸.Ì!Ï#É#ÈeÉ*ÐV\Ó
]€Cä”2—7‘7Å7ÓKÁ7¸a˜C ™F 8Ñ,¨VÑ4°SÓ9À7ÑKÓLÓM€FÜ”R—W‘WÅwÓOÁwÀ!˜c !™f XÑ.¨vÑ6°uÓ=ÀwÑOÓPÓQ€HÜ�3�v‘;˜xÑ(¨Ñ0°Ñ5Ó6€FÜ�3�v‘;˜xÑ(¨Ñ0°Ñ7Ó8€FÜˆ|˜F 3˜< u¨X°c¨NÐ;Ô<ÜØ
�&˜�˜U 6¨# ,¨mÜ�C‰=˜Ð
˜Qœx¨™¨sÐ3ð 4Øœ ™Ñ% dÐ+¨7°6¼HÀU¹OÑ3KÈDÐ2Qð	SôTô
 ò ÝðÝ"ðÝ*/ðÝ7<ðáðå'0ðõ "ðõ 2?ðõ KTðõ ð	ñ ",ð	õ <Dð	õ
 ,3Ó3©7 aˆa��Q‘˜Ñ!Ñ!¨7Ò3ðõ 18Ó8±¨1�A�s˜1‘v˜g‘Ñ&°Ò8ðô ˜ XÕ.ðô �F Õ'ðñ ðñ ð€Cô ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ü�	‰	�#�r !¬UÕ3÷ 
äˆv”c�Uˆ^Õ÷I @Ñ?üòV LùÚOùò 4ùÚ8÷ 
ˆús0   È=\5Ô#]Õ]Ù!]Ù=]Û<]Ü5\?Ý]Ú__main__)é2   )F)SÚ__doc__r)  rô  rê   r+   r   r,  ro   rG   rB   Útorch.nn.functionalrå   Ú
functionalrú   Úensemble_clf_nestedr¡   Úensemble_clf_transformer_v2rJ   Úensemble_clf_transformer_v4rT  Úeval_externalr}  Úcommonr   r-   r.   ÚabspathÚ__file__ÚEXPrž  r­  r®  rÊ  rË  r   rò  r/   ró  rŸ  r|  rF   r   r   r   r   rÍ  Úlowerr   r¦   r   r   r   r   r4  r%  rh  ri  rø  rD   r6  r§   rê  r5   r_   Úno_gradrƒ   r‰   r•   r´   ræ   rô   r  r  rI  rP  rW  rr  r�  r¦  r¾  rÖ  r  Ú__name__r†   r`   r4   Ú<module>r     s²  ðñó" Û Û Û 	Û Û ã Û ß Ð ã Û 'Û (Û Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø
�'‰'�,‰,�s˜H oÓ
6€Ø�G‰G�L‰L˜˜hÐ(@ÓA€	Ø�:‰:�>‰>˜* gÓ.€Ø�7‰7�<‰<˜˜XÐ'BÓC€Ø‡g�g‡l�l�3˜Ð'FÓG€Ø‡g�g‡l�l�3˜	 :Ð/OÓP€Øk€Ø"€
áˆB�J‰J�N‰N˜7 FÓ+Ó,€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€Ø
�
‰
�‰�w Ó$¨Ñ+€Ø	‡z�z‡~�~�f˜cÓ" cÑ)€Ø�J‰J�N‰N˜;¨Ó.×4Ñ4Ó6×<Ñ<Ó>€	Ù�"—*‘*—.‘. ¨eÓ4Ó5€	Ù�"—*‘*—.‘. ¨eÓ4Ó5€	Ù�R—Z‘Z—^‘^ N°FÓ;Ó<€Ù�b—j‘j—n‘n _°fÓ=Ó>€Ø€	Ø	€Ø	€Ø€Ø�D˜"˜b ! T¨2Ð.€Ø	€Ø€Ù�&˜eÔ$€òò,ð$ €‡�ƒñó ðò,ò
!òòB8òvò"ò	ð -/ó92ðz $)ó$ò&ò
0ò*òZò*"4òJ#&òL\ð~ ˆzÒÙ…Fð r`   