Ë
    G`àjB  ã                   ó€  — d Z ddlZddlZddlZddlZddlZddlZddlZddl	Z	ddl
mc mZ ddlZddlZddlZddlZddlmZ ej0                  j3                  ej0                  j5                  e«      «      Zej0                  j;                  edd«      Zej0                  j;                  edd«      Zej0                  j;                  edd«      Z ej0                  j;                  ed	d
d«      Z!dZ"dZ# e$ejJ                  jM                  dd«      «      Z' e$ejJ                  jM                  dd«      «      Z( e)ejJ                  jM                  dd«      «      Z*ejJ                  jM                  dd«      dk(  Z+dZ,dZ-dZ.dZ/dddddd e-fZ0dZ1d!„ Z2d"„ Z3d#„ Z4d$„ Z5d%„ Z6d&„ Z7d'„ Z8d0d(„Z9d)„ Z:d*„ Z;d+„ Z<d,„ Z=d-„ Z>d.„ Z?e@d/k(  r e?«        yy)1uš  Invariant Risk Minimization (IRM) fine-tune of stem_ms96 from SWA checkpoints.

Arjovsky et al.: treat each train dataset as an environment. Loss =
  mean_e ERM_BCE(e) + Î» * mean_e ||âˆ‡_w|_{w=1} R^e(w Â· logit)||^2
Dummy classifier scale w=1; gradient should be small in every environment.

Init from models/stem_ms96_swa/{held-*,all5}.pt. Architecture unchanged.
Evaluate EMA weights (decay 0.995). HMM preset p_stay 0.994 scale 0.8.
Also report causal tau-30 high-pass of the IRM evidence (honest; corpus emissions).

usage:
  IRM_LAMBDA=1.0 STEPS=1000 python stem_ms96_irm.py
  SMOKE=1 IRM_LAMBDA=1.0 STEPS=40 python stem_ms96_irm.py   # no LODO/external score
é    N)ÚDS_KEYSÚmodelsÚstem_ms96_swaÚstem_ms96_irmÚexperimentszstem_ms96_irm.logÚresultsÚresearchzstem_ms96_irm.jsonzb/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/results/research)ÚAASDÚ	Carta2026ÚSTEPSÚ1000ÚBATCHÚ512Ú
IRM_LAMBDAz1.0ÚSMOKEÚ0Ú1g×£p=
×ï?g-Cëâ6J?g+‡ÙÎï?gš™™™™™é?Ú	stem_ms96Úmsé`   é@   é   Tc                 ó   — t        | d¬«       t        j                  t        j                  j	                  t
        «      d¬«       t        t
        d«      5 }|j                  | dz   «       d d d «       y # 1 sw Y   y xY w)NT)Úflush©Úexist_okÚaÚ
)ÚprintÚosÚmakedirsÚpathÚdirnameÚLOGÚopenÚwrite)ÚtextÚfhs     ú(/root/disk_3tb/eeg-thao/stem_ms96_irm.pyÚlog_liner*   4   sL   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ø
�‰�˜‘Ô÷ 
�‰ús   ÁA4Á4A=c                 ó$  — t        j                  | dd¬«      }|d   \  }}}}}}}	|dk7  s|r	|t        k7  rt        d|d   › �«      ‚t	        t        j                  |d   «      j                  d   «      }
t        j                  |
|||d	¬
«      }|j                  j                  «       j                  «       }|j                  |d   «       |j                  j                  |«       t        j                  |j                  «      j!                  «       rt        d| › �«      ‚|j#                  |«      }t        j                  |d   t
        j$                  «      }t        j                  |d   t
        j$                  «      }|||t'        |d   «      fS )NÚcpuF)Úmap_locationÚweights_onlyÚcfgr   zunexpected stem cfg Úmur   T)Úd_modelÚnlayersÚstemÚstatez-causal mask still has nan after restore from ÚsdÚtrain)ÚtorchÚloadÚWINDOWÚRuntimeErrorÚintÚnpÚasarrayÚshapeÚVÚLogitTransformerÚmaskÚdetachÚcloneÚload_state_dictÚcopy_ÚisnanÚanyÚtoÚfloat32Úlist)r"   ÚdeviceÚblobÚnameÚfamilyÚwindowr1   r2   r3   Ú_lrÚc_inÚnetÚ	good_maskr0   r5   s                  r)   Úload_swarT   ;   sM  € Ü�:‰:�d¨¸UÔC€DØ8<¸U¹Ñ5€Dˆ&�&˜' 7¨D°#Øˆ{Ò¡$¨&´FÒ*:ÜÐ1°$°u±+°Ð?Ó@Ð@ÜŒr�z‰z˜$˜t™*Ó%×+Ñ+¨AÑ.Ó/€DÜ
×
Ñ
˜T 6°7ÀGÐRVÔ
W€Cð —‘—‘Ó!×'Ñ'Ó)€IØ×Ñ˜˜W™Ô&Ø‡H�H‡N�N�9ÔÜ‡{�{�3—8‘8Ó× Ñ Ô"ÜÐJÈ4È&ÐQÓRÐRØ
�&‰&�‹.€CÜ	�‰�D˜‘J¤§
¡
Ó	+€BÜ	�‰�D˜‘J¤§
¡
Ó	+€BØ��Bœ˜T '™]Ó+Ð+Ð+ó    c                 óÄ  — t        j                  ||«      }t        j                  | ||d¬«      }||z  j	                  «       j                  d«      }||z  |z  j	                  «       |z  }| d d …dd …f   | d d …d d…f   z
  j                  «       }|d d …dd …f   |d d …d d…f   z  }	|d||	z  j	                  «       z  |	j	                  «       j                  d«      z  z   }|S )NÚnone)Ú
pos_weightÚ	reductionç      ð?é   éÿÿÿÿgš™™™™™©?)r?   Úswitch_weightsÚFÚ binary_cross_entropy_with_logitsÚsumÚ	clamp_minÚabs)
ÚlogitÚyÚmrX   ÚswÚbceÚdenomÚlossÚdvÚm2s
             r)   Úweighted_bcerl   O   sÝ   € Ü	
×	Ñ	˜!˜QÓ	€BÜ
×
,Ñ
,¨U°AÀ*ÐX^Ô
_€CØ�!‰V�L‰L‹N×$Ñ$ SÓ)€EØ�"‰H�q‰L×ÑÓ %Ñ'€DØ
’�1‘2�‰,˜šq # 2 #˜v™Ñ
&×	+Ñ	+Ó	-€BØ	
Š1ˆa‰bˆ5‰�A’a˜˜"˜�f‘IÑ	€BØ�$˜"˜r™'Ÿ™›Ñ(¨2¯6©6«8×+=Ñ+=¸cÓ+BÑBÑB€DØ€KrU   c                 ó´   — | j                  dd¬«      }t        | |z  |||«      }t        j                  j	                  ||d¬«      \  }|j                  d«      S )uH   ||âˆ‡_w R(w Â· logit)||^2 at w=1 (IRMv1). create_graph so Î¦ is updated.rZ   T)Úrequires_grad)Úcreate_graphr   )Ú
new_tensorrl   r7   ÚautogradÚgradÚpow)rc   rd   re   rX   ÚscaleÚriskrr   s          r)   Úirm_env_penaltyrv   Z   sV   € à×Ñ˜S°ÐÓ5€EÜ˜ ™ q¨!¨ZÓ8€DÜ�N‰N×Ñ  e¸$ÐÓ?�E€DØ�8‰8�A‹;ÐrU   c           	      ó  — g g }}t        |«      D ]¥  }t        j                  || j                  d«      || j                  ¬«      }|j                  «       dk(  rŒI| |   ||   ||   }}
}	|j                  «       dk  rŒl|j                  t        |	|
||«      «       |j                  t        |	|
||«      «       Œ§ |st        d«      ‚t        j                  |«      j                  «       }t        j                  |«      j                  «       }||fS )z7Dataset-balanced batch: row i belongs to env i % n_env.r   ©rK   r[   zno valid environments in batch)Úranger7   ÚarangeÚsizerK   Únumelr`   Úappendrl   rv   r:   ÚstackÚmean)rc   rd   re   rX   Ún_envÚermsÚpensÚeÚidxÚleÚyeÚmeÚermÚpens                 r)   Úenv_erm_and_penaltyrŠ   b   sé   € à�Rˆ$€DÜ�5Ž\ˆÜ�l‰l˜1˜eŸj™j¨›m¨U¸5¿<¹<ÔHˆØ�9‰9‹;˜!ÒØØ˜3‘Z  3¡¨¨3©�ˆBˆØ�6‰6‹8�aŠ<ØØ�‰”L  R¨¨ZÓ8Ô9Ø�‰”O B¨¨B°
Ó;Õ<ð ñ ÜÐ;Ó<Ð<Ü
�+‰+�dÓ
×
 Ñ
 Ó
"€CÜ
�+‰+�dÓ
×
 Ñ
 Ó
"€CØ�ˆ8€OrU   c                 ó  — t        dt        |dz  d«      «      }||k  r||dz   z  |z  }nJ||z
  t        ||z
  d«      z  }dd|dz
  z  dt        j                  t        j                  |z  «      z   z  z   }| j
                  D ]  }||d<   Œ	 |S )Né(   é
   r[   gñhãˆµøä>g      à?rZ   Úlr)ÚminÚmaxÚmathÚcosÚpiÚparam_groups)ÚoptÚstepÚtotalÚbaseÚwarmrŽ   ÚpÚgroups           r)   Úset_lrrœ   u   s˜   € Üˆr”3�u ‘{ AÓ&Ó'€DØˆd‚{Ø�T˜A‘XÑ Ñ%‰à�D‰[œC ¨¡¨aÓ0Ñ0ˆØ�C˜4 $™;Ñ'¨3´·±¼$¿'¹'ÀA¹+Ó1FÑ+FÑGÑGˆØ×!Ô!ˆØˆˆdŠð "à€IrU   c
                 óz  — t        |«      }
t        |j                  «       «      }t        j                  d|z
  t        |d«      z  g|¬«      }t        j                  j                  | j                  «       t        d¬«      }t        j                  j                  t        j                  «      }t        j                   | «      j#                  «       }| j%                  «        t'        j&                  «       }d x}x}}t)        |«      D �]8  }t+        |||t        «       t        j,                  ||t.        |||«      \  }}}t        j0                  |«      j3                  |d¬«      }t        j0                  |«      j3                  |d¬«      }t        j0                  |«      j3                  |d¬«      }t        j4                  |«      }|j7                  d¬«        | |«      }t9        |||||
«      \  }}||	|z  z   }t        j:                  |«      s3t=        d	|› d
|› d|j?                  «       › d|j?                  «       › �«      ‚|jA                  «        t        jB                  jD                  jG                  | j                  «       d«       |jI                  «        t        jJ                  | |tL        «       t        |j?                  «       «      }t        |j?                  «       «      }t        |j?                  «       «      }|dk(  s|dz   dz  dk(  s
|dz   |k(  s�ŒtO        d|› d|dz   › d|› d|d›d|d›d|d›d|	› �«       �Œ; |j#                  «        t        jP                  ||t.        |||«      }tO        d|› d|d›d|d›d|d›d|d›d|
› dt'        j&                  «       |z
  d›d�«       |tS        |||||
¬ «      fS )!NrZ   gü©ñÒMbP?rx   g-Cëâ6?)rŽ   Úweight_decayT)Únon_blocking)Úset_to_noneznon-finite loss at step z for z: erm=ú pen=r   r[   éÈ   z    z step Ú/z loss ú.4fz erm z pen ú.6fu    Î» z
  trained z frame-acc ú.3fz n_env z (z.0fzs))ri   rˆ   r‰   Ú	frame_accr€   )*ÚlenÚfloatr   r7   Útensorr�   ÚoptimÚAdamWÚ
parametersÚLRr<   ÚrandomÚdefault_rngr?   Ú
TRAIN_SEEDÚcopyÚdeepcopyÚevalr6   Útimery   rœ   Úsample_batchr9   Ú
from_numpyrH   ÚaugmentÚ	zero_gradrŠ   Úisfiniter:   ÚitemÚbackwardÚnnÚutilsÚclip_grad_norm_r–   Ú
ema_updateÚ	EMA_DECAYr*   Útrain_frame_accÚdict) ÚmodelÚgroupsÚy_allr0   r5   rK   ÚstepsÚbatchÚtagÚ
irm_lambdar€   ÚposrX   r•   ÚrngÚemaÚt0ÚlastÚlast_ermÚlast_penr–   ÚxbÚybÚmbÚxrd   re   rc   rˆ   r‰   ri   Úaccs                                    r)   Ú	train_irmr×   �   sS  € Ü�‹K€EÜ
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.´2ÀDÐ
Ó
I€CÜ
�)‰)×
Ñ
¤§¡Ó
-€CÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€CØ	‡K�K„MÜ	�‰‹€BØ!%Ð%€DÐ%ˆ8�hÜ�e—ˆÜˆs�D˜%¤Ô$Ü—^‘^ C¨´¸ÀÀBÓG‰
ˆˆB�Ü×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ�I‰I�a‹LˆØ�‰ $ˆÔ'Ù�a“ˆÜ& u¨a°°JÀÓF‰ˆˆSØ�Z #Ñ%Ñ%ˆÜ�~‰~˜dÔ#ÜØ*¨4¨&°°c°U¸&ÀÇÁÃÀÈEÐRU×RZÑRZÓR\ÐQ]Ð^ó`ð `à�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
Ü	�‰�U˜C¤Ô+Ü�T—Y‘Y“[Ó!ˆÜ˜Ÿ™›Ó$ˆÜ˜Ÿ™›Ó$ˆØ�1Š9˜ ™ SÑ(¨AÒ-°¸±¸UÔ1BÜØ�s�e˜6 $¨¡( ¨1¨U¨G°6¸$¸s¸ð DØ �n E¨(°3¨°t¸J¸<ðIöJð- ð2 ‡H�H„JÜ
×
Ñ
˜C ¬°°R¸Ó
@€CÜØ
�S�E˜  S˜z¨¨x¸¨n¸EÀ(È3Àð PØ˜�I˜W U G¨2¬d¯i©i«k¸BÑ.>¸sÐ-CÀ2ð	GôHð ”˜$ H°(ÀcÐQVÔWÐWÐWrU   c	                 ó\  — t        | |«      \  }	}
}}	 t        |	|||
||||||«
      \  }}||
|||fS # t        j                  j                  $ r] |r‚ t        d|› d|› d�«       ~	|j                  dk(  rt        j                  j                  «        t        | |||||dz  ||d¬«	      cY S w xY w)Nz	  OOM on z
 at batch z; halving onceÚcudar   T)Úhalved)	rT   r×   r7   rÙ   ÚOutOfMemoryErrorr*   ÚtypeÚempty_cacheÚfit_with_oom)Úswa_pathrÅ   rÆ   rK   rÇ   rÈ   rÉ   rÊ   rÚ   rÄ   r0   r5   Ú_trainrÍ   Ústatss                  r)   rÞ   rÞ   ¬   sÎ   € Ü$ X¨vÓ6Ñ€Eˆ2ˆr�6ð^Ü˜u f¨e°R¸¸VÀUÈEÐSVÐXbÓc‰
ˆˆUØ�B˜˜E 5Ð(Ð(øÜ�:‰:×&Ñ&ò ^ÙØÜ�9˜S˜E ¨E¨7°.ÐAÔBØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$ÜØ�f˜e V¨U°E¸Q±JÀÀZÐX\ô^ò 	^ð^ús   “1 ±A7B+Â*B+c                 ó  — i }| j                  «       D ]r  \  }}t        j                  t        j                  |t        j
                  «      d d …d f   «      j                  d«      j                  t        j
                  «      ||<   Œt |S )Nr\   )ÚitemsÚV4Úhighpassr<   r=   Úfloat64ÚreshapeÚastype)ÚstreamÚoutÚkeyÚds       r)   Úhp30_streamrí   ¼   sg   € Ø
€CØ—,‘,–.‰ˆˆQÜ—;‘;œrŸz™z¨!¬R¯Z©ZÓ8º¸D¸ÑAÓB×JÑJÈ2ÓN×UÑUÔVX×V`ÑV`ÓaˆˆCŠð !à€JrU   c                 ó6  — t        j                  | |||t        |«      }t        j                  |«      }t        j
                  ||t        t        «      }|D �	ci c]  }	|	t        ||	   «      “Œ }
}	t        j                  |
«      }t        j
                  ||t        t        «      }t        d|› dt        › dt        › d|d   d›d|d   d	›d
|d   d›d|d   d	›�«       t        d|› dt        › dt        › d|d   d›d|d   d	›�
«       t        ||¬«      |fS c c}	w )NzLODO ú p ú sc ú  H ÚHr¤   ú Acc ÚAccú.2fú L ÚLr¦   ú SDT ÚSDTz
LODO_hp30 ©ÚirmÚhp30)r?   Ú	infer_allr9   ÚNÚto_evÚofficialÚP_STAYÚSCALErí   r*   rÃ   )rÄ   Úfeatr0   r5   ÚheldrK   ÚstreamsÚevÚoffÚdsÚhpÚev_hpÚoff_hps                r)   Ú
score_lodor  Ã   s&  € Ü�k‰k˜%  r¨2¬v°vÓ>€GÜ	
�‰�Ó	€BÜ
�*‰*�T˜2œv¤uÓ
-€CÙ18Ó	9±¨2ˆ"Œk˜' "™+Ó&Ñ
&°€BÐ	9Ü�G‰G�B‹K€EÜ�Z‰Z˜˜e¤V¬UÓ3€FÜˆu�T�F˜#œf˜X T¬%¨°°S¸±X¸c°NÀ%ÈÈEÉ
ÐSVÐGWð XØ�c‘(˜3�˜u S¨¡Z°Ð$4ð6ô 7äˆz˜$˜˜s¤6 (¨$¬u¨g°T¸&À¹+ÀcÐ9JÈ%ÐPVÐW\ÑP]Ð^aÐObÐcÔdÜ�C˜fÔ% wÐ.Ð.ùò 
:s   ÁDc                 ó<  — g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       |D �	ci c]  }	|	t        ||	   «      “Œ }}	g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       i }t        D �]ú  }	t        j                  | |	||	   i||t         |«      |	   }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t        |«      }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t#        ||¬«      ||	<   t        d|	› dt,        › dt        › d|d   d›d|d   d›d|d   d›d|d   d›�«       t        d|	› dt,        › dt        › d|d   d›d|d   d›�
«       �Œý |S c c}	w )Nr   rZ   g      ð¿z  external emissions mu r¤   z sd z scale z  external hp30 emissions mu ÚattÚt_endÚatt128Ún128Úsubject)Úr0Úr1r  r  r  r  r  g      è?rú   zEXT rï   rð   rñ   rò   ró   rô   rõ   rö   r÷   r¦   rø   rù   z	EXT_hp30 )rã   r}   r<   r=   ræ   Úwherer©   Úconcatenater   Ústdr*   r  rí   Ú
TEST_NAMESr?   rý   r9   rÃ   Úzerosr¨   ÚEÚscorer  )rÄ   Úfeat_extÚmetaÚmu_inÚsd_inÚcorpus_streamsÚ
corpus_attrK   Úpartsr  ÚtableÚlabelsrë   rì   Úmu_eÚsd_eÚ	hp_corpusÚparts_hpÚmu_hpÚsd_hpÚrowsré   r  Úmeta_kÚrÚ	stream_hpr
  Úr_hps                               r)   Úscore_externalr0  Ð   sÜ  € Ø€EØ#×)Ñ)Ö+‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�L‰LœŸ™ A¤r§z¡zÓ2´R·X±X¸fÀS¹kÈQÑ>NÐPSÐUYÓ5ZÑZÕ[ñ $ð ,ô ”—‘ Ó&×+Ñ+Ó-Ó.€DÜ”—‘ Ó&×*Ñ*Ó,Ó-€DÜÐ'¨¨S z°°d¸3°Z¸wÄuÀgÐNÔOá?MÓN¹~¸�”[ °Ñ!3Ó4Ñ4¸~€IÐNØ€HØ—_‘_Ö&‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�O‰OœBŸJ™J q¬"¯*©*Ó5¼¿¹ÀÈÁÐPQÑAQÐSVÐX\Ó8]Ñ]Õ^ñ $ð 'ô ”"—.‘. Ó*×/Ñ/Ó1Ó2€EÜ”"—.‘. Ó*×.Ñ.Ó0Ó1€EÜÐ,¨U°3¨K°t¸EÀ#¸;ÀgÌeÈWÐUÔVà€DßˆjˆÜ—‘˜U R¨°"©Ð$6¸¸uÄfÈfÓUÐVXÑYˆØˆØ—l‘l–n‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ˜a¤B§H¡H¬S°«VÓ$4¸&À¹-ÈvÐV]ÉØ"(¨Ñ"2¸À¹ÐQWÐXaÑQbôdˆBˆsŠGð %ô
 �G‰G�B˜˜d¤U™l¬F°DÓ9ˆÜ Ó'ˆ	ØˆØ—o‘oÖ'‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ ¤r§x¡x´°A³Ó'7¸VÀE¹]ÐRXÐY`ÑRaØ%+¨HÑ%5¸FÀ6¹NÐTZÐ[dÑTeôgˆE�#ŠJð (ô
 �w‰w�u˜e U¬U¡]´F¸DÓAˆÜ˜A DÔ)ˆˆR‰Ü�4˜�t˜3œv˜h d¬5¨'°°a¸±f¸S°\ÀÀqÈÁxÐPSÀnð UØ˜‘f˜S�\  q¨¡x° nð6ô 	7ä�9˜R˜D ¤F 8¨4´¨w°d¸4À¹9ÀS¸/ÈÈtÐTYÉ{Ð[^ÐN_Ð`Öað) ð* €KùòA Os   Ã?Pc                  ó¤  — t         j                  j                  dg d¢¬«       i i }} t        D �]Š  }g }t	        d«      D ]f  }t
        j                  j                  t        d|› d|› d�«      }t        |d«      5 }|j                  t        j                  |«      «       d d d «       Œh i i c| |<   ||<   |d	   D ]à  }|D �cg c]0  }||   d
   ||   d   z
  j                  t        j                  «      ‘Œ2 }	}|d	   |   }
t        j                   |	d«      | |   |<   t#        t        j$                  |
d   «      t        j$                  |
d   t        j&                  «      t        j$                  |
d   «      t)        |
d   «      t)        |
d   «      ¬«      ||   |<   Œâ t+        d|› dt-        | |   «      › d�«       �Œ� | |fS # 1 sw Y   �Œ‹xY wc c}w )NÚ
eaP_n5_t60)ÚenvÚonsetÚdom)ÚprepÚtargetsé   Úext_clf_Ú_w10b3sw2P_evidence_sz.pklÚrbr   r  r  r[   r  r  r  r  r  )r  r  r  r  r  z  external z: z trials)r  ÚCONFÚupdater  ry   r    r"   ÚjoinÚEVIDr%   r}   Úpickler8   rè   r<   rI   r~   rÃ   r=   ræ   r;   r*   r¨   )Úlogitsr  r  ÚevsÚir"   r(   rë   r  ÚcolsÚe0s              r)   Úload_externalrF  ý   sª  € Ü‡F�F‡M�M�|Ò-D€MÔEØ�rˆD€FßˆjˆØˆÜ�q–ˆAÜ—7‘7—<‘<¤¨°°Ð4IÈ!ÈÈDÐ&QÓRˆDÜ�d˜DÔ! RØ—
‘
œ6Ÿ;™; r›?Ô+÷ "Ð!ð ð  " 2Ðˆˆr‰
�D˜‘HØ�q”6ˆCÙQTÓUÑQTÈ2�R˜‘W˜T‘] R¨¡W¨T¡]Ñ2×:Ñ:¼2¿:¹:ÕFÐQTˆDÐUØ�Q‘˜‘ˆBÜ Ÿh™h t¨QÓ/ˆF�2‰J�s‰OÜ Ü—J‘J˜r %™yÓ)´·±¸B¸w¹KÌÏÉÓ1TÜ—z‘z " X¡,Ó/´c¸"¸V¹*³oÌsÐSUÐV_ÑS`ÓOaôcˆD�‰H�SŠMð	 ô 	�;˜r˜d "¤S¨°©£_Ð$5°WÐ=Ö>ð ð �4ˆ<Ð÷ "Ñ!üò Vs   Á9%G Â?5GÇ G
c                 ó€  — d}t         j                  j                  t        d|› d�«      }t        D �cg c]
  }||k7  sŒ	|‘Œ }}t        j                  | |«      \  }}t         j                  j                  dd«      j                  d«      D �cg c]  }t        |«      ‘Œ }	}t        t         j                  j                  dd«      «      }
g }|	D ]í  }t        d	|› d
|
› �«       	 t        |||||
t        d|› �|«      \  }}}}}~|j                  dk(  rt         j"                  j%                  «        |d   duxr< t'        j(                  |d   «      xr" t'        j(                  |d   «      xr |d   dkD  }|j+                  t-        d%||dœ|¤d|i¤Ž«       t        d	|› d|› d|d   d›d|d   d›d|d   d›�
«       Œï |D �cg c]  }|j                  d«      sŒ|‘Œ }}|st3        d |› �«      ‚d!„ }t5        ||¬"«      }t        d#|d$   › d|d   d›d|d   d›d|d   d›�«       t        |d$   «      |fS c c}w c c}w # t.        $ ro}t        d	|› d|› �«       |j+                  t-        |dt1        |«      ¬«      «       |j                  dk(  rt         j"                  j%                  «        Y d}~�Œäd}~ww xY wc c}w )&uM   Short train on held-AVGC fold for a few Î»; pick finite + pen not dominating.ÚAVGCúheld-ú.ptÚSMOKE_LAMBDASz0.1,1.0,10.0Ú,ÚSMOKE_STEPSÚ40u	   SMOKE Î»=z steps=u   smoke-Î»rÙ   ri   Nr‰   r§   gš™™™™™á?)ÚlamÚokrÈ   z ok=z erm=rˆ   r¤   r¡   r¥   z frame=r¦   z	 FAILED: F)rO  rP  ÚerrorrP  u   all smoke Î» failed: c           	      ó”   — | d   | d   z  t        | d   d«      z  }| d   t        t        j                  t        |d«      «      «       fS )Nr‰   rO  rˆ   g�íµ ÷Æ°>r§   )r�   rb   r‘   Úlog10)r-  Úratios     r)   Ú	score_rowzsmoke_lambda.<locals>.score_row1  sK   € à�5‘˜A˜e™HÑ$¬¨A¨e©H°dÓ(;Ñ;ˆØ�+‘¤¤T§Z¡Z´°E¸4Ó0@Ó%AÓ!BÐ BÐCÐCrU   )rë   u   SMOKE chose Î»=rO  © )r    r"   r>  ÚSWA_DIRr   r?   Útrial_groupsÚenvironÚgetÚsplitr©   r;   r*   rÞ   r   rÜ   r7   rÙ   rÝ   r‘   rº   r}   rÃ   Ú	ExceptionÚstrr:   r�   )Úfeat_allrK   r  r"   rì   Útrain_dsrÅ   rÆ   rÕ   Ú
candidatesÚsmoke_stepsr   rO  rÍ   r0   r5   Úusedrá   rP  Úexcr-  Úok_rowsrU  Úbests                           r)   Úsmoke_lambdarf    sÚ  € à€DÜ�7‰7�<‰<œ 5¨¨¨cÐ!2Ó3€DÝ"Ó0™7�a a¨4£i’˜7€HÐ0Ü—N‘N 8¨XÓ6�M€FˆEÜ$&§J¡J§N¡N°?ÀNÓ$S×$YÑ$YÐZ]Ô$^Ó_Ñ$^˜q”%˜•(Ð$^€JÐ_Ü”b—j‘j—n‘n ]°DÓ9Ó:€KØ€GÛˆÜ�9˜S˜E ¨¨Ð6Ô7ð	)Ü'3Ø�f˜e V¨[¼%À8ÈCÈ5ÐAQÐSVó(XÑ$ˆC��R˜˜uàØ�{‰{˜fÒ$Ü—
‘
×&Ñ&Ô(Ø˜‘- tÐ+ò P´·±¸eÀF¹mÓ0Lò PÜ—m‘m E¨%¡LÓ1òPØ6;¸KÑ6HÈ4Ñ6Oð à�N‰Nœ4ÐD C¨BÑD°%ÑD¸tÒDÔEÜ�y   T¨"¨¨U°5¸±<ÀÐ2DÀEÈ%ÐPUÉ,ÐWZÐI[ð \Ø# KÑ0°Ð5ð7õ 8ð ñ& "Ó1™'�Q Q§U¡U¨4¥[Šq˜'€GÐ1ÙÜÐ2°7°)Ð<Ó=Ð=òDô ˆw˜IÔ&€DÜˆ˜t E™{˜m¨7°4¸Ñ3DÀSÐ2Ið JØ˜‘K Ð$ E¨$¨u©+°cÐ):ð<ô =ä��e‘Ó˜wÐ&Ð&ùòE 1ùâ_øô  ò 	)Ü�y   Y¨s¨eÐ4Ô5Ø�N‰Nœ4 C¨E¼¸S»ÔBÔCØ�{‰{˜fÒ$Ü—
‘
×&Ñ&Ô(ÿùð		)üò 2s6   ³
H6¾H6ÂH;Ã$CI ÇJ;ÇJ;É 	J8É	A$J3Ê3J8c                  ó:  — t        j                  t         j                  j                  t        «      d¬«       t        t        d«      j                  «        t        j                  t        j                  j                  «       rdnd«      } t        d| › dt        › dt        › d	t        › d
t        › �
«       dt        j                   j                  j"                  _        dt        j                   j&                  _        t)        j*                  | «       t-        j.                  «        t)        j0                  «       d   }t        j                  t2        d¬«       t        }d }t        s#t         j4                  j7                  dd«      dk(  r¬t9        || «      \  }}t        r—t;        ||¬«      }t        j                  t         j                  j                  t<        «      d¬«       t        t<        j?                  dd«      d«      5 }tA        jB                  ||dtD        ¬«       d d d «       t        d«       y i }tF        D �]o  }t         j                  jI                  tJ        d|› d�«      }t         j                  jM                  |«      stO        |«      ‚tF        D �	cg c]
  }	|	|k7  sŒ	|	‘Œ }
}	t)        jP                  ||
«      \  }}t        d|› d|› d|› �«       tS        |||| t        t        d|› �|«      \  }}}}}t        jT                  |jW                  «       ||||
t        |||tX        dœ
t         j                  jI                  t2        d|› d�«      «       t[        |||||| «      \  }}t;        |||¬«      ||<   ~| j\                  dk(  s�ŒRt        j                  j_                  «        �Œr t        dtJ        › d|› �«       t)        jP                  |ta        tF        «      «      \  }}t         j                  jI                  tJ        d«      }tS        |||| t        t        d|«      \  }}}}}t        jT                  |jW                  «       |||ta        tF        «      t        |||tX        dœ
t         j                  jI                  t2        d«      «       t)        jb                  ||||td        | «      }tg        «       \  }}ti        jj                  |«      d   }tm        ||||||t,        jn                  d    | «      }tE        tq        jr                  tF        D �	cg c]  }	||	   d!   d"   d#   ‘Œ c}	«      «      }tE        tq        jr                  tF        D �	cg c]  }	||	   d!   d"   d$   ‘Œ c}	«      «      }t        d%|d&›d'|d(›�«       t;        tt        tv        t        t        ||tF        D �	ci c]  }	|	||	   d!   “Œ c}	tF        D �	ci c]  }	|	||	   d)   “Œ c}	t;        ||¬*«      ||¬+«      }t        j                  t         j                  j                  t<        «      d¬«       t        t<        d«      5 }tA        jB                  ||dtD        ¬«       d d d «       t        d,t<        › �«       y # 1 sw Y   �ŒKxY wc c}	w c c}	w c c}	w c c}	w c c}	w # 1 sw Y   ŒBxY w)-NTr   ÚwrÙ   r,   zdevice z steps z batch u    Î»_env z smoke=r   ÚTUNE_LAMBDAr   r   )ÚsmokeÚchosen_lambdaz.jsonz_smoke.jsonr[   )ÚindentÚdefaultz&SMOKE done; exiting without full scorerI  rJ  zfold held-out=z init u    Î»=)
r4   r0   r5   Úswar6   rÇ   rÈ   rÊ   rá   r/   )Úscoresrá   rÈ   z-all-5 IRM fine-tune for AASD and Carta, init u   /all5.pt Î»=zall5.ptÚall5r  ro  rû   rò   rô   zLODO mean H r¤   ró   rõ   rá   )rò   rô   )Úp_stayrt   rÇ   rÈ   rÊ   rj  ÚlodoÚ
lodo_statsÚ	lodo_meanÚexternalÚ
all5_statszwrote )<r    r!   r"   r#   r$   r%   Úcloser7   rK   rÙ   Úis_availabler*   r   r   r   r   ÚbackendsÚmatmulÚ
allow_tf32Úcudnnr?   Úassert_causalrþ   Úload_allÚbuild_featuresÚCKPT_DIRrY  rZ  rf  rÃ   ÚOUTÚreplaceÚjsonÚdumpr©   r   r>  rW  ÚisfileÚFileNotFoundErrorrX  rÞ   ÚsaveÚ
state_dictÚCFGr  rÜ   rÝ   rJ   rý   r9   rF  rä   Úbuild_features_fromr0  ÚGr<   r   r  r  )rK   r^  rÊ   Ú
smoke_inforê   r(   Úperr  r"   rì   r_  rÅ   rÆ   rÍ   r0   r5   rb  rá   ro  Ú_streamsÚall_pathr   Ú
ext_logitsÚext_metaÚext_featÚextÚmean_hÚmean_accs                               r)   Úmainr–  ;  s6  € Ü‡K�K”—‘—‘¤Ó$¨tÕ4ÜŒˆcƒN×ÑÔÜ�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜˆw�v�h˜g¤e W¨G´E°7¸(Ä:À,ÈgÔV[ÐU\Ð]Ô^Ø,0„E‡N�N×Ñ×ÑÔ)Ø&*„E‡N�N×ÑÔ#Ü‡O�O�FÔÜ‡J�J„LÜ×ÑÓ! $Ñ'€HÜ‡K�K” 4Õ(ä€JØ€JÝ”—
‘
—‘˜}¨cÓ2°cÒ9Ü!-¨h¸Ó!?Ñˆ
�JÝÜ˜Z°zÔBˆCÜ�K‰KœŸ™Ÿ™¬Ó,°tÕ<Ü”c—k‘k '¨=Ó9¸3Ô?À2Ü—	‘	˜#˜r¨!´UÕ;÷ @äÐ=Ô>Øà
€Cß�ˆÜ�w‰w�|‰|œG u¨T¨F°#Ð%6Ó7ˆÜ�w‰w�~‰~˜dÔ#Ü# DÓ)Ð)Ý&Ó4™w˜!¨!¨t«)’A˜wˆÐ4ÜŸ™ x°Ó:‰ˆ�Ü�> $  v¨d¨V°4¸
°|ÐDÔEÜ#/Ø�&˜% ¬´¸¸t¸f°~Àzó$SÑ ˆˆR��T˜5ä�
‰
˜SŸ^™^Ó-°R¸rÈ$Ø%´ÀØ",°uÄSñJô —7‘7—<‘<¤¨E°$°°sÐ*;Ó<ô	>ô & c¨8°R¸¸TÀ6ÓJÑˆ�Ü ¨e¸4Ô@ˆˆD‰	ØØ�;‰;˜&Ô Ü�J‰J×"Ñ"Ö$ð# ô& Ð<¼W¸IÀ\ÐR\ÐQ]Ð^Ô_Ü—N‘N 8¬T´'«]Ó;�M€FˆEÜ�w‰w�|‰|œG YÓ/€HÜ+Ø�&˜% ¬´°v¸zó KÑ€CˆˆR��uä	‡J�J˜Ÿ™Ó)°¸2ÀhÜœg›´ÀØ(°5ÄñFô �w‰w�|‰|œH iÓ0ô2ô —[‘[  h°°B¼ÀÓG€NÜ(›?Ñ€J�Ü×%Ñ% jÓ1°$Ñ7€HÜ
˜˜h¨°"°b¸.Ì!Ï#É#ÈeÉ*ÐV\Ó
]€Cä”2—7‘7Å'ÓJÁ'¸Q˜C ™F 8Ñ,¨UÑ3°CÓ8À'ÑJÓKÓL€FÜ”R—W‘WÅgÓNÁgÀ˜c !™f XÑ.¨uÑ5°eÓ<ÀgÑNÓOÓP€HÜˆ|˜F 3˜< u¨X°c¨NÐ;Ô<ä
ÜœU¬%´uØ ZÝ+2Ó3©7 aˆa��Q‘˜Ñ!Ñ!¨7Ñ3Ý07Ó8±¨1�A�s˜1‘v˜g‘Ñ&°Ñ8Ü˜ XÔ.ØØô€Cô ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ü�	‰	�#�r !¬UÕ3÷ 
äˆv”c�Uˆ^Õ÷o @Ñ?üò 5ùò: KùÚNùò 4ùÚ8÷ 
ˆús<   ÈY+Ê
Y8Ê'Y8ÔY=ÕZÖ*Z×ZØ2ZÙ+Y5ÚZÚ__main__)F)AÚ__doc__r²   rƒ  r‘   r    r@  rµ   Únumpyr<   r7   Útorch.nn.functionalr½   Ú
functionalr^   Úensemble_clf_nestedrþ   Úensemble_clf_transformer_v2r?   Úensemble_clf_transformer_v4rä   Úeval_externalr  Úcommonr   r"   r#   ÚabspathÚ__file__ÚEXPr>  rW  r€  r$   r�  r?  r  r;   rY  rZ  r   r   r©   r   r   rÁ   r®   r  r  r‰  r9   r*   rT   rl   rv   rŠ   rœ   r×   rÞ   rí   r  r0  rF  rf  r–  Ú__name__rV  rU   r)   Ú<module>r¥     s°  ðñó Û Û Û 	Û Û ã Û ß Ð ã Û 'Û (Û Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø
�'‰'�,‰,�s˜H oÓ
6€Ø�7‰7�<‰<˜˜X Ó7€Ø‡g�g‡l�l�3˜Ð':Ó;€Ø‡g�g‡l�l�3˜	 :Ð/CÓD€Øk€Ø"€
áˆB�J‰J�N‰N˜7 FÓ+Ó,€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€Ù�2—:‘:—>‘> ,°Ó6Ó7€
Ø
�
‰
�‰�w Ó$¨Ñ+€Ø€	Ø	€Ø	€Ø€Ø�D˜"˜b ! T¨2Ð.€Ø	€òò,ò(òòò&	ò(XóV^ò ò
/ò*òZò*&'òRJðZ ˆzÒÙ…Fð rU   