Ë
    ùîíjÙJ  ã                   óÄ  — d Z ddlZddlZddlZddlZddlZddlZddlZddl	Z	ddl
mc mZ ddlZddlZddlZddlZddlZddlmZ ej4                  j7                  ej4                  j9                  e«      «      Zej>                  jA                  dej4                  jC                  edd«      «      Z"ej>                  jA                  dej4                  jC                  edd«      «      Z#d	Z$d
Z% e&ej>                  jA                  dd«      «      Z' e&ej>                  jA                  dd«      «      Z(ej>                  jA                  dd«      dk(  Z)ej>                  jA                  dd«      jU                  «       jW                  «       Z, e-ej>                  jA                  dd«      «      Z. e&ej>                  jA                  dd«      «      Z/ e-ej>                  jA                  dd«      «      Z0ej>                  jA                  dd«      jU                  «       Z1e,dk(  rdndZ2e1re2de1› �z  Z2ej4                  jC                  ede2«      Z3ej4                  jC                  ed e2› d!�«      Z4ej4                  jC                  ed"d#e2› d$�«      Z5d%Z6d&Z7d'Z8d(Z9d)d*d+d,d-d.e7fZ:d+Z;d/Z< e=d0d1¬2«      Z>d3Z?d4„ Z@d5„ ZAd6„ ZBd7„ ZCd8„ ZDd9„ ZEdCd:„ZFd;„ ZGd<„ ZHd=„ ZId>„ ZJd?„ ZKd@„ ZLdA„ ZMeNdBk(  r eM«        yy)DuC  Group-DRO / CVaR worst-dataset fine-tune of stem_ms96 from IRM (or focal).

Sagawa et al.: maintain simplex weights q over train datasets (envs);
each step minimize Î£_e q_e * R^e and update
  q_e â†� q_e * exp(Î· * R^e) / Z
(online mirror ascent on group losses). Optional CVaR-style hard-top-k
of env losses when DRO_MODE=cvar.

Distinct from: PCGrad (gradient surgery), IRMv1 (dummy-scale penalty),
AVGC Î» / avgc-curriculum (explicit AVGC upweight), Mixup/focal/DANN/SSL,
decision-layer tip PP (T/iso/stack).

Init: models/stem_ms96_irm/{held-*,all5}.pt (override INIT_DIR).
Restore causal -inf mask. EMA 0.995. HMM 0.994/0.8.
Also score fuse w=0.5 with frozen stem_synth_switch (tip protocol).

usage:
  STEPS=800 flock multi_agent_opt/gpu.lock python -u stem_ms96_group_dro.py
  SMOKE=1 STEPS=40 python -u stem_ms96_group_dro.py
é    N)ÚDS_KEYSÚINIT_DIRÚmodelsÚstem_ms96_irmÚ	SYNTH_DIRÚstem_ms96_synth_switchzb/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/results/research)ÚAASDÚ	Carta2026ÚSTEPSÚ800ÚBATCHÚ512ÚSMOKEÚ0Ú1ÚDRO_MODEÚgroupÚDRO_ETAz0.1ÚCVAR_KÚ2ÚVREX_LAMBDAz1.0ÚRUN_TAGÚ ÚvrexÚstem_ms96_vrexÚstem_ms96_group_droÚ_Úexperimentsz.logÚresultsÚresearchú.jsong×£p=
×ï?g-Cëâ6J?g+‡ÙÎï?gš™™™™™é?Ú	stem_ms96Úmsé`   é@   é   Tç      à?gü©ñÒMbê?g)\�ÂõèR@©ÚHÚAccgìQ¸…ëå?c                 ó   — t        | d¬«       t        j                  t        j                  j	                  t
        «      d¬«       t        t
        d«      5 }|j                  | dz   «       d d d «       y # 1 sw Y   y xY w)NT)Úflush©Úexist_okÚaÚ
)ÚprintÚosÚmakedirsÚpathÚdirnameÚLOGÚopenÚwrite)ÚtextÚfhs     ú./root/disk_3tb/eeg-thao/stem_ms96_group_dro.pyÚlog_liner<   H   sL   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ø
�‰�˜‘Ô÷ 
�‰ús   ÁA4Á4A=c                 ó$  — t        j                  | dd¬«      }|d   \  }}}}}}}	|dk7  s|r	|t        k7  rt        d|d   › �«      ‚t	        t        j                  |d   «      j                  d   «      }
t        j                  |
|||d	¬
«      }|j                  j                  «       j                  «       }|j                  |d   «       |j                  j                  |«       t        j                  |j                  «      j!                  «       rt        d| › �«      ‚|j#                  |«      }t        j                  |d   t
        j$                  «      }t        j                  |d   t
        j$                  «      }|||t'        |d   «      fS )NÚcpuF)Úmap_locationÚweights_onlyÚcfgr"   zunexpected stem cfg Úmur   T)Úd_modelÚnlayersÚstemÚstatez-causal mask still has nan after restore from ÚsdÚtrain)ÚtorchÚloadÚWINDOWÚRuntimeErrorÚintÚnpÚasarrayÚshapeÚVÚLogitTransformerÚmaskÚdetachÚcloneÚload_state_dictÚcopy_ÚisnanÚanyÚtoÚfloat32Úlist)r4   ÚdeviceÚblobÚnameÚfamilyÚwindowrC   rD   rE   Ú_lrÚc_inÚnetÚ	good_maskrB   rG   s                  r;   Ú	load_initrf   O   sK  € Ü�:‰:�d¨¸UÔC€DØ8<¸U¹Ñ5€Dˆ&�&˜' 7¨D°#Øˆ{Ò¡$¨&´FÒ*:ÜÐ1°$°u±+°Ð?Ó@Ð@ÜŒr�z‰z˜$˜t™*Ó%×+Ñ+¨AÑ.Ó/€DÜ
×
Ñ
˜T 6°7ÀGÐRVÔ
W€CØ—‘—‘Ó!×'Ñ'Ó)€IØ×Ñ˜˜W™Ô&Ø‡H�H‡N�N�9ÔÜ‡{�{�3—8‘8Ó× Ñ Ô"ÜÐJÈ4È&ÐQÓRÐRØ
�&‰&�‹.€CÜ	�‰�D˜‘J¤§
¡
Ó	+€BÜ	�‰�D˜‘J¤§
¡
Ó	+€BØ��Bœ˜T '™]Ó+Ð+Ð+ó    c                 óÄ  — t        j                  ||«      }t        j                  | ||d¬«      }||z  j	                  «       j                  d«      }||z  |z  j	                  «       |z  }| d d …dd …f   | d d …d d…f   z
  j                  «       }|d d …dd …f   |d d …d d…f   z  }	|d||	z  j	                  «       z  |	j	                  «       j                  d«      z  z   }|S )NÚnone)Ú
pos_weightÚ	reductionç      ð?é   éÿÿÿÿgš™™™™™©?)rQ   Úswitch_weightsÚFÚ binary_cross_entropy_with_logitsÚsumÚ	clamp_minÚabs)
ÚlogitÚyÚmrj   ÚswÚbceÚdenomÚlossÚdvÚm2s
             r;   Úweighted_bcer~   a   sÝ   € Ü	
×	Ñ	˜!˜QÓ	€BÜ
×
,Ñ
,¨U°AÀ*ÐX^Ô
_€CØ�!‰V�L‰L‹N×$Ñ$ SÓ)€EØ�"‰H�q‰L×ÑÓ %Ñ'€DØ
’�1‘2�‰,˜šq # 2 #˜v™Ñ
&×	+Ñ	+Ó	-€BØ	
Š1ˆa‰bˆ5‰�A’a˜˜"˜�f‘IÑ	€BØ�$˜"˜r™'Ÿ™›Ñ(¨2¯6©6«8×+=Ñ+=¸cÓ+BÑBÑB€DØ€Krg   c                 ó  — t        dt        |dz  d«      «      }||k  r||dz   z  |z  }nJ||z
  t        ||z
  d«      z  }dd|dz
  z  dt        j                  t        j                  |z  «      z   z  z   }| j
                  D ]  }||d<   Œ	 |S )Né(   é
   rm   gñhãˆµøä>r'   rl   Úlr)ÚminÚmaxÚmathÚcosÚpiÚparam_groups)ÚoptÚstepÚtotalÚbaseÚwarmr‚   Úpr   s           r;   Úset_lrr�   l   s˜   € Üˆr”3�u ‘{ AÓ&Ó'€DØˆd‚{Ø�T˜A‘XÑ Ñ%‰à�D‰[œC ¨¡¨aÓ0Ñ0ˆØ�C˜4 $™;Ñ'¨3´·±¼$¿'¹'ÀA¹+Ó1FÑ+FÑGÑGˆØ×!Ô!ˆØˆˆdŠð "à€Irg   c           	      óP  — g }t        |«      D ]ˆ  }t        j                  || j                  d«      || j                  ¬«      }|j                  «       dk(  rŒI| |   ||   ||   }
}	}|
j                  «       dk  rŒl|j                  t        ||	|
|«      «       ŒŠ |st        d«      ‚|S )zLDataset-balanced batch: row i belongs to env i % n_env (sample_batch order).r   ©r]   rm   zno valid environments in batch)
ÚrangerI   ÚarangeÚsizer]   Únumelrr   Úappendr~   rL   )ru   rv   rw   rj   Ún_envÚlossesÚeÚidxÚleÚyeÚmes              r;   Ú
env_lossesrž   x   sœ   € à€FÜ�5Ž\ˆÜ�l‰l˜1˜eŸj™j¨›m¨U¸5¿<¹<ÔHˆØ�9‰9‹;˜!ÒØØ˜3‘Z  3¡¨¨3©�ˆBˆØ�6‰6‹8�aŠ<ØØ�‰”l 2 r¨2¨zÓ:Õ;ð ñ ÜÐ;Ó<Ð<Ø€Mrg   c	                 ó4  — t        |«      }	t        |j                  «       «      }
t        j                  d|
z
  t        |
d«      z  g|¬«      }t        j                  j                  | j                  «       t        d¬«      }t        j                  j                  t        j                  «      }t        j                  |	t        j                   ¬«      |	z  }t#        j$                  | «      j'                  «       }| j)                  «        t+        j*                  «       }d x}x}}t-        |«      D �]#  }t/        |||t        «       t        j0                  ||t2        |||«      \  }}}t        j4                  |«      j7                  |d¬«      }t        j4                  |«      j7                  |d¬«      }t        j4                  |«      j7                  |d¬«      }t        j8                  |«      }|j;                  d¬	«        | |«      }t=        |||||	«      }t        |«      }|d | j#                  «       }||j?                  «       z  }t        j@                  |«      }|j                  «       } tB        d
k(  r:tE        tF        |«      }!t        jH                  ||!«      \  }"}#|"j                  «       }$nztB        dk(  r| tJ        |jM                  d¬«      z  z   }$nTt        j4                  |jO                  t        jP                  «      «      j7                  |«      }%|%|z  j?                  «       }$t        jR                  |$«      s"tU        d|› d|› d|$jW                  «       › �«      ‚|$jY                  «        t        jZ                  j\                  j_                  | j                  «       d«       |ja                  «        t        jb                  «       5  |je                  «       j                  «       jg                  «       ji                  «       }&d d d «       tB        dk(  r�|j#                  «       }'t-        |«      D ]3  }(||(   tk        jl                  tn        t        &|(   «      z  «      z  |'|(<   Œ5 |'d | |'d | j?                  «       z  |'d | ||	k  r||d  |'|d  |'|'j?                  «       z  }'|'}t        jp                  | |tr        «       t        |$jW                  «       «      }t        | jW                  «       «      }|}|dk(  s|dz   dz  dk(  s
|dz   |k(  s�Œâdju                  d„ |D «       «      })tw        d|› d|dz   › d|› d|d›d|d›dtB        › d|)› d�«       �Œ& |j'                  «        t        jx                  ||t2        |||«      }*tw        d |› d|d›d|d›d!|*d"›d#|	› d$t+        j*                  «       |z
  d%›d&�«       |�!|tz        k\  r|*d'k  rtU        d(|d›d)|*d"›�«      ‚|t}        ||||*|	|j                  «       tB        tn        tJ        ¬*«	      fS # 1 sw Y   �ŒxY w)+Nrl   gü©ñÒMbP?r‘   g-Cëâ6?)r‚   Úweight_decay)ÚdtypeT)Únon_blocking)Úset_to_noneÚcvarr   F)Úunbiasedznon-finite dro at step z for ú: r   r   rm   éÈ   Ú,c              3   ó$   K  — | ]  }|d ›–— Œ
 y­w)ú.3fN© )Ú.0Úxs     r;   Ú	<genexpr>z"train_group_dro.<locals>.<genexpr>Å   s   è ø€ Ð2±¨1˜q ˜g›J±ùs   ‚z    z step Ú/z dro ú.4fz erm z mode z q=[Ú]z
  trained z frame-acc rª   z n_env z (z.0fzs)gš™™™™™á?zchance-level train: dro=z frame_acc=)	r{   ÚermÚdroÚ	frame_accr—   Úq_finalÚmodeÚetaÚvrex_lambda)@ÚlenÚfloatÚmeanrI   Útensorr„   ÚoptimÚAdamWÚ
parametersÚLRrN   ÚrandomÚdefault_rngrQ   Ú
TRAIN_SEEDÚonesÚfloat64ÚcopyÚdeepcopyÚevalrH   Útimer’   r�   Úsample_batchrK   Ú
from_numpyrZ   ÚaugmentÚ	zero_gradrž   rr   Ústackr   rƒ   r   Útopkr   ÚvarÚastyper[   ÚisfiniterL   ÚitemÚbackwardÚnnÚutilsÚclip_grad_norm_rŠ   Úno_gradrT   r>   Únumpyr…   Úexpr   Ú
ema_updateÚ	EMA_DECAYÚjoinr<   Útrain_frame_accÚCHANCE_LOSSÚdictÚtolist)+ÚmodelÚgroupsÚy_allrB   rG   r]   ÚstepsÚbatchÚtagr—   Úposrj   r‰   ÚrngÚqÚemaÚt0ÚlastÚlast_ermÚlast_drorŠ   ÚxbÚybÚmbr­   rv   rw   ru   r˜   Ún_okÚq_useÚ	loss_valsr²   ÚkrÏ   r   r³   Úq_tÚlvÚq_newr™   ÚqstrÚaccs+                                              r;   Útrain_group_drorü   ˆ   s:  € Ü�‹K€EÜ
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.´2ÀDÐ
Ó
I€CÜ
�)‰)×
Ñ
¤§¡Ó
-€CÜ
�‰�œRŸZ™ZÔ(¨5Ñ0€AÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€CØ	‡K�K„MÜ	�‰‹€BØ!%Ð%€DÐ%ˆ8�hÜ�e—ˆÜˆs�D˜%¤Ô$Ü—^‘^ C¨´¸ÀÀBÓG‰
ˆˆB�Ü×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ�I‰I�a‹LˆØ�‰ $ˆÔ'Ù�a“ˆÜ˜E 1 a¨°UÓ;ˆä�6‹{ˆØ�%�4�—‘“ˆØ˜Ÿ	™	›Ñ#ˆÜ—K‘K Ó'ˆ	Ø�n‰nÓˆÜ�vÒÜ”F˜DÓ!ˆAÜ—j‘j ¨AÓ.‰GˆD�!Ø—)‘)“+‰CÜ˜Òð œ i§m¡m¸U mÓ&CÑCÑC‰Cä×"Ñ" 5§<¡<´·
±
Ó#;Ó<×?Ñ?ÀÓGˆCØ˜‘?×'Ñ'Ó)ˆCÜ�~‰~˜cÔ"ÜÐ!8¸¸¸eÀCÀ5ÈÈ3Ï8É8Ë:È,ÐWÓXÐXØ�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
ä�]‰]�_Ø×!Ñ!Ó#×)Ñ)Ó+×/Ñ/Ó1×7Ñ7Ó9ˆB÷ ä�wÒØ—F‘F“HˆEÜ˜4–[�Ø  ™8¤d§h¡h¬w¼¸rÀ!¹u»Ñ/EÓ&FÑF��a’ð !à   $˜<¨%°°¨,×*:Ñ*:Ó*<Ñ<ˆE�%�4ˆLØ�eŠ|Ø   ˜x��d�e�Ø §	¡	£Ñ+�ØˆAÜ	�‰�U˜C¤Ô+Ü�S—X‘X“ZÓ ˆÜ˜Ÿ™›Ó$ˆØˆØ�1Š9˜ ™ SÑ(¨AÒ-°¸±¸UÔ1BØ—8‘8Ñ2±Ó2Ó2ˆDÜØ�s�e˜6 $¨¡( ¨1¨U¨G°5¸¸c¸
À%ÈÐQTÀ~ð VÜ �z  d V¨1ð.ö/ðg ðl ‡H�H„JÜ
×
Ñ
˜C ¬°°R¸Ó
@€CÜØ
�S�E˜˜x¨˜n¨E°(¸3°ð @Ø˜�I˜W U G¨2¬d¯i©i«k¸BÑ.>¸sÐ-CÀ2ð	GôHð Ð ¬KÒ 7¸CÀ$ºJÜÐ5°h¸s°^À;ÈsÐSVÈiÐXÓYÐYØ”Ø˜8¨¸SØ˜QŸX™X›Z¬h¼GÜô!ð !ð !÷7 ‰_ús   Ï;XØX	c                 óX  — t        | |«      \  }}	}
}	 t        ||||	|
||||«	      \  }}||	|
||fS # t        j                  j                  $ r\ |r‚ t        d|› d|› d�«       ~|j                  dk(  rt        j                  j                  «        t        | |||||dz  |d¬«      cY S w xY w)Nz	  OOM on z
 at batch z; halving onceÚcudar&   T)Úhalved)	rf   rü   rI   rþ   ÚOutOfMemoryErrorr<   ÚtypeÚempty_cacheÚfit_with_oom)Ú	init_pathrã   rä   r]   rå   ræ   rç   rÿ   râ   rB   rG   Ú_trainrë   Ústatss                 r;   r  r  Ö   sË   € Ü% i°Ó8Ñ€Eˆ2ˆr�6ðSÜ$Ø�6˜5 " b¨&°%¸ÀóE‰
ˆˆUà�B˜˜E 5Ð(Ð(øÜ�:‰:×&Ñ&ò SÙØÜ�9˜S˜E ¨E¨7°.ÐAÔBØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$ÜØ�v˜u f¨e°U¸a±ZÀÈTôSò 	SðSús   “0 °A6B)Â(B)c                 ó  — i }| j                  «       D ]r  \  }}t        j                  t        j                  |t        j
                  «      d d …d f   «      j                  d«      j                  t        j
                  «      ||<   Œt |S )Nrn   )ÚitemsÚV4ÚhighpassrN   rO   rÅ   ÚreshaperÑ   )ÚstreamÚoutÚkeyÚds       r;   Úhp30_streamr  ç   sg   € Ø
€CØ—,‘,–.‰ˆˆQÜ—;‘;œrŸz™z¨!¬R¯Z©ZÓ8º¸D¸ÑAÓB×JÑJÈ2ÓN×UÑUÔVX×V`ÑV`ÓaˆˆCŠð !à€Jrg   c                 óX  — i }| D ]¢  }t        j                  | |   t         j                  «      }t        j                  ||   t         j                  «      }t        t	        |«      t	        |«      «      }||d | z  d|z
  |d | z  z   j                  t         j                  «      ||<   Œ¤ |S )Nrl   )rN   rO   rÅ   rƒ   r¹   rÑ   )Úa_streamÚb_streamÚwr  r  r/   ÚbÚns           r;   Ú	blend_oner  î   s’   € Ø
€CÛˆÜ�J‰J�x ‘}¤b§j¡jÓ1ˆÜ�J‰J�x ‘}¤b§j¡jÓ1ˆÜ”�A“œ˜A›ÓˆØ˜˜"˜1˜‘I  q¡¨A¨b¨q¨EÑ 1Ñ1×9Ñ9¼"¿*¹*ÓEˆˆCŠð	 ð
 €Jrg   c                 ó2  — t        j                  | |||t        |«      }t        j                  |«      }t        j
                  ||t        t        «      }|D �	ci c]  }	|	t        ||	   «      “Œ }
}	t        j
                  |t        j                  |
«      t        t        «      }t        d|› dt        › dt        › d|d   d›d|d   d	›d
|d   d›d|d   d	›�«       t        d|› dt        › dt        › d|d   d›d|d   d	›�
«       t        ||¬«      |fS c c}	w )NzLODO ú p ú sc ú  H r)   r°   ú Acc r*   ú.2fú L ÚLrª   ú SDT ÚSDTz
LODO_hp30 ©Ú	group_droÚhp30)rQ   Ú	infer_allrK   ÚNÚto_evÚofficialÚP_STAYÚSCALEr  r<   rà   )râ   ÚfeatrB   rG   Úheldr]   ÚstreamsÚevÚoffÚdsÚhpÚoff_hps               r;   Ú
score_lodor3  ø   s!  € Ü�k‰k˜%  r¨2¬v°vÓ>€GÜ	
�‰�Ó	€BÜ
�*‰*�T˜2œv¤uÓ
-€CÙ18Ó	9±¨2ˆ"Œk˜' "™+Ó&Ñ
&°€BÐ	9Ü�Z‰Z˜œaŸg™g b›k¬6´5Ó9€FÜˆu�T�F˜#œf˜X T¬%¨°°S¸±X¸c°NÀ%ÈÈEÉ
ÐSVÐGWð XØ�c‘(˜3�˜u S¨¡Z°Ð$4ð6ô 7äˆz˜$˜˜s¤6 (¨$¬u¨g°T¸&À¹+ÀcÐ9JÈ%ÐPVÐW\ÑP]Ð^aÐObÐcÔdÜ˜# FÔ+¨WÐ4Ð4ùò 
:s   ÁDc                 ó’  — t         j                  j                  t        d|› d�«      }t         j                  j	                  |«      st        d|› d|› �«       y t        j                  ||«      \  }}}t        j                  ||||t        |«      }~|j                  dk(  rt        j                  j                  «        i }	| D ]  }
t        | |
   ||
   t         «      |	|
<   Œ t#        j$                  |t#        j&                  |	«      t(        t*        «      }t        dt         › d|› dt(        › d	t*        › d
|d   d›d|d   d›�«       |S )Núheld-ú.ptz
FUSE skip z
: missing rþ   ÚFUSE_wÚ r  r  r  r)   r°   r  r*   r  )r2   r4   rÝ   r   Úisfiler<   ÚFuseÚ	load_ckptrQ   r%  rK   r  rI   rþ   r  r  ÚFUSE_Wr&  r(  r'  r)  r*  )Údro_streamsÚfeat_allr,  r]   r4   Ú	synth_netÚsynth_muÚsynth_sdÚ	synth_allÚblendedr0  r/  s               r;   Úscore_fuse_lodorD    s%  € Ü�7‰7�<‰<œ	 U¨4¨&°Ð#4Ó5€DÜ�7‰7�>‰>˜$ÔÜ�:˜d˜V :¨d¨VÐ4Ô5ØÜ$(§N¡N°4¸Ó$@Ñ!€Iˆx˜Ü—‘˜I x°¸8ÄVÈVÓT€IØØ‡{�{�fÒÜ�
‰
×ÑÔ Ø€GÛˆÜ ¨B¡°¸2±ÄÓGˆ�Šð ä
�*‰*�Tœ1Ÿ7™7 7Ó+¬V´UÓ
;€CÜØ
”�˜˜$˜˜s¤6 (¨$¬u¨gð 6Ø�‰X�cˆN˜%  E¡
¨3Ð/ð	1ô2ð €Jrg   c                 ó<  — g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       |D �	ci c]  }	|	t        ||	   «      “Œ }}	g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       i }t        D �]ú  }	t        j                  | |	||	   i||t         |«      |	   }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t        |«      }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t#        ||¬«      ||	<   t        d|	› dt,        › dt        › d|d   d›d|d   d›d|d   d›d|d   d›�«       t        d|	› dt,        › dt        › d|d   d›d|d   d›�
«       �Œý |S c c}	w )Nr   rl   g      ð¿z  external emissions mu r°   z sd z scale z  external hp30 emissions mu ÚattÚt_endÚatt128Ún128Úsubject)Úr0Úr1rF  rG  rH  rI  rJ  g      è?r"  zEXT r  r  r  r)   r  r*   r  r  r  rª   r   r!  z	EXT_hp30 )r  r–   rN   rO   rÅ   Úwhererº   Úconcatenater»   Ústdr<   r*  r  Ú
TEST_NAMESrQ   r%  rK   rà   Úzerosr¹   ÚEÚscorer)  )râ   Úfeat_extÚmetaÚmu_inÚsd_inÚcorpus_streamsÚ
corpus_attr]   Úpartsr0  ÚtableÚlabelsr  r  Úmu_eÚsd_eÚ	hp_corpusÚparts_hpÚmu_hpÚsd_hpÚrowsr  r.  Úmeta_kÚrÚ	stream_hpÚev_hpÚr_hps                               r;   Úscore_externalri    sÜ  € Ø€EØ#×)Ñ)Ö+‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�L‰LœŸ™ A¤r§z¡zÓ2´R·X±X¸fÀS¹kÈQÑ>NÐPSÐUYÓ5ZÑZÕ[ñ $ð ,ô ”—‘ Ó&×+Ñ+Ó-Ó.€DÜ”—‘ Ó&×*Ñ*Ó,Ó-€DÜÐ'¨¨S z°°d¸3°Z¸wÄuÀgÐNÔOá?MÓN¹~¸�”[ °Ñ!3Ó4Ñ4¸~€IÐNØ€HØ—_‘_Ö&‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�O‰OœBŸJ™J q¬"¯*©*Ó5¼¿¹ÀÈÁÐPQÑAQÐSVÐX\Ó8]Ñ]Õ^ñ $ð 'ô ”"—.‘. Ó*×/Ñ/Ó1Ó2€EÜ”"—.‘. Ó*×.Ñ.Ó0Ó1€EÜÐ,¨U°3¨K°t¸EÀ#¸;ÀgÌeÈWÐUÔVà€DßˆjˆÜ—‘˜U R¨°"©Ð$6¸¸uÄfÈfÓUÐVXÑYˆØˆØ—l‘l–n‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ˜a¤B§H¡H¬S°«VÓ$4¸&À¹-ÈvÐV]ÉØ"(¨Ñ"2¸À¹ÐQWÐXaÑQbôdˆBˆsŠGð %ô
 �G‰G�B˜˜d¤U™l¬F°DÓ9ˆÜ Ó'ˆ	ØˆØ—o‘oÖ'‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ ¤r§x¡x´°A³Ó'7¸VÀE¹]ÐRXÐY`ÑRaØ%+¨HÑ%5¸FÀ6¹NÐTZÐ[dÑTeôgˆE�#ŠJð (ô
 �w‰w�u˜e U¬U¡]´F¸DÓAˆÜ !¨$Ô/ˆˆR‰Ü�4˜�t˜3œv˜h d¬5¨'°°a¸±f¸S°\ÀÀqÈÁxÐPSÀnð UØ˜‘f˜S�\  q¨¡x° nð6ô 	7ä�9˜R˜D ¤F 8¨4´¨w°d¸4À¹9ÀS¸/ÈÈtÐTYÉ{Ð[^ÐN_Ð`Öað) ð* €KùòA Os   Ã?Pc                  ó¤  — t         j                  j                  dg d¢¬«       i i }} t        D �]Š  }g }t	        d«      D ]f  }t
        j                  j                  t        d|› d|› d�«      }t        |d«      5 }|j                  t        j                  |«      «       d d d «       Œh i i c| |<   ||<   |d	   D ]à  }|D �cg c]0  }||   d
   ||   d   z
  j                  t        j                  «      ‘Œ2 }	}|d	   |   }
t        j                   |	d«      | |   |<   t#        t        j$                  |
d   «      t        j$                  |
d   t        j&                  «      t        j$                  |
d   «      t)        |
d   «      t)        |
d   «      ¬«      ||   |<   Œâ t+        d|› dt-        | |   «      › d�«       �Œ� | |fS # 1 sw Y   �Œ‹xY wc c}w )NÚ
eaP_n5_t60)ÚenvÚonsetÚdom)ÚprepÚtargetsé   Úext_clf_Ú_w10b3sw2P_evidence_sz.pklÚrbr   rK  rL  rm   rF  rG  rH  rI  rJ  )rF  rG  rH  rI  rJ  z  external r¦   z trials)rR  ÚCONFÚupdaterP  r’   r2   r4   rÝ   ÚEVIDr7   r–   ÚpicklerJ   rÑ   rN   r[   rÎ   rà   rO   rÅ   rM   r<   r¹   )ÚlogitsrU  r0  ÚevsÚir4   r:   r  r.  ÚcolsÚe0s              r;   Úload_externalr~  E  sª  € Ü‡F�F‡M�M�|Ò-D€MÔEØ�rˆD€FßˆjˆØˆÜ�q–ˆAÜ—7‘7—<‘<¤¨°°Ð4IÈ!ÈÈDÐ&QÓRˆDÜ�d˜DÔ! RØ—
‘
œ6Ÿ;™; r›?Ô+÷ "Ð!ð ð  " 2Ðˆˆr‰
�D˜‘HØ�q”6ˆCÙQTÓUÑQTÈ2�R˜‘W˜T‘] R¨¡W¨T¡]Ñ2×:Ñ:¼2¿:¹:ÕFÐQTˆDÐUØ�Q‘˜‘ˆBÜ Ÿh™h t¨QÓ/ˆF�2‰J�s‰OÜ Ü—J‘J˜r %™yÓ)´·±¸B¸w¹KÌÏÉÓ1TÜ—z‘z " X¡,Ó/´c¸"¸V¹*³oÌsÐSUÐV_ÑS`ÓOaôcˆD�‰H�SŠMð	 ô 	�;˜r˜d "¤S¨°©£_Ð$5°WÐ=Ö>ð ð �4ˆ<Ð÷ "Ñ!üò Vs   Á9%G Â?5GÇ G
c                  óz  — t        j                  t         j                  j                  t        «      d¬«       t        t        d«      j                  «        t        j                  t        j                  j                  «       rdnd«      } t        d| › dt        › dt        › d	t        › d
t        › dt         › dt"        › dt$        › dt&        › �«       dt        j(                  j                  j*                  _        dt        j(                  j.                  _        t1        j2                  | «       t5        j6                  «        t1        j8                  «       d   }t        j                  t:        d¬«       t&        �rZd}t         j                  j=                  t"        d|› d�«      }t>        D �cg c]
  }||k7  sŒ	|‘Œ }}t1        j@                  ||«      \  }}tC        t         jD                  jG                  dd«      «      }t        d|› d|› �«       tI        |||| |t        d|› �«      \  }	}
}}}tK        ||¬«      }t        j                  t         j                  j                  tL        «      d¬«       t        tL        jO                  dd«      d«      5 }tQ        jR                  ||dtT        ¬«       d d d «       t        d|d   d›d |d!   d"›�«       ~	y i }i }t>        D �]”  }t         j                  j=                  t"        d|› d�«      }t         j                  jW                  |«      stY        |«      ‚t>        D �cg c]
  }||k7  sŒ	|‘Œ }}t1        j@                  ||«      \  }}t        d#|› d|› �«       tI        |||| t        t        d|› �«      \  }	}
}}}t        jZ                  |	j]                  «       |
|||t        |t        |t^        t        t        t         d$œt         j                  j=                  t:        d|› d�«      «       ta        |	||
||| «      \  }}tc        |||| «      }tK        ||||¬%«      ||<   |�|||<   ~	| jd                  dk(  s�Œwt        j                  jg                  «        �Œ— t        d&t"        › d'�«       t1        j@                  |ti        t>        «      «      \  }}t         j                  j=                  t"        d(«      }tI        |||| t        t        d)«      \  }	}
}}}t        jZ                  |	j]                  «       |
||ti        t>        «      t        |t        |t^        t        t        t         d$œt         j                  j=                  t:        d(«      «       t1        jj                  |	||
|tl        | «      }to        «       \  }}tq        jr                  |«      d   }tu        |	|||
||t4        jv                  d*   | «      }tU        ty        jz                  t>        D �cg c]  }||   d+   d,   d-   ‘Œ c}«      «      }tU        ty        jz                  t>        D �cg c]  }||   d+   d,   d.   ‘Œ c}«      «      }t        d/|d"›d0|d1›�«       |rËtU        ty        jz                  |D �cg c]
  }||   d-   ‘Œ c}«      «      }tU        ty        jz                  |D �cg c]
  }||   d.   ‘Œ c}«      «      }|jG                  d«      }t        d2|d"›d0|d1›�«       |rGt        d3|d-   d"›d0|d.   d1›d4t|        d-   d"›d5t|        d.   d1›d6|d-   t|        d-   z
  d7›�
«       nd x}}d }tK        dMi d8t~        “d9t€        “d:t        “d;t        “d<t        “d=t        “d>t        “d?t         “d@t|        “dAt>        D �ci c]  }|||   d+   “Œ c}“dBt>        D �ci c]  }|||   dC   “Œ c}“dDt>        D �ci c]  }|||   dE   “Œ c}“dFtK        ||¬G«      “dH|�tK        ||¬G«      nd “dI|“dJ|“dK|“Ž}t        j                  t         j                  j                  tL        «      d¬«       t        tL        d«      5 }tQ        jR                  ||dtT        ¬«       d d d «       t        dLtL        › �«       y c c}w # 1 sw Y   �ŒËxY wc c}w c c}w c c}w c c}w c c}w c c}w c c}w c c}w # 1 sw Y   ŒVxY w)NNTr-   r  rþ   r>   zdevice z steps z batch z mode=z eta=z vrex_lambda=z init z synth z smoke=r#   ÚAVGCr5  r6  ÚSMOKE_STEPSÚ40zSMOKE held-z steps=zsmoke-held-)Úsmokeræ   r!   z_smoke.jsonrm   )ÚindentÚdefaultzSMOKE done frame=r´   rª   z dro=r³   r°   zfold held-out=)rF   rB   rG   ÚinitrH   rå   ræ   Úmethodr  rA   Údro_modeÚdro_etar¸   )Úscoresr  ræ   Úfusez/all-5 Group-DRO fine-tune for AASD/Carta, init z/all5.ptzall5.ptÚall5rF  rŠ  r#  r)   r*   zLODO mean H r  r  zFUSE mean H zFUSE AVGC H z vs tip r¯   u    Î”H z+.4fÚp_stayÚscalerå   ræ   r‡  rˆ  r‰  r¸   Útip_avgcÚlodoÚ	lodo_fuser‹  Ú
lodo_statsr  Ú	lodo_meanr(   Úlodo_fuse_meanÚ	avgc_fuseÚexternalÚ
all5_statszwrote r«   )Ar2   r3   r4   r5   r6   r7   ÚcloserI   r]   rþ   Úis_availabler<   r   r   r   r   r   r   r   r   ÚbackendsÚmatmulÚ
allow_tf32ÚcudnnrQ   Úassert_causalr&  Úload_allÚbuild_featuresÚCKPT_DIRrÝ   r   Útrial_groupsrM   ÚenvironÚgetr  rà   ÚOUTÚreplaceÚjsonÚdumprº   r9  ÚFileNotFoundErrorÚsaveÚ
state_dictÚCFGr3  rD  r  r  r\   r%  rK   r~  r	  Úbuild_features_fromri  ÚGrN   r»   ÚTIP_AVGCr)  r*  ) r]   r>  r,  r4   r  Útrain_dsrã   rä   Úsmoke_stepsrë   rB   rG   Úusedr  r  r:   ÚperÚ	fuse_rowsrŠ  r-  r‹  Úall_pathrX  Ú
ext_logitsÚext_metaÚext_featÚextÚmean_hÚmean_accÚfuse_hÚfuse_accr•  s                                    r;   Úmainr¾  Z  sÄ  € Ü‡K�K”—‘—‘¤Ó$¨tÕ4ÜŒˆcƒN×ÑÔÜ�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜØ
�&�˜¤  w¬u¨g°V¼H¸:ÀUÌ7È)ð TÜ"�mð $Üˆz˜¤ ¨7´5°'ð	;ô<ð -1„E‡N�N×Ñ×ÑÔ)Ø&*„E‡N�N×ÑÔ#Ü‡O�O�FÔÜ‡J�J„LÜ×ÑÓ! $Ñ'€HÜ‡K�K” 4Õ(æØˆÜ�w‰w�|‰|œH¨¨d¨V°3Ð&7Ó8ˆÝ&Ó4™w˜!¨!¨t«)’A˜wˆÐ4ÜŸ™ x°Ó:‰ˆ�Üœ"Ÿ*™*Ÿ.™.¨¸Ó=Ó>ˆÜ�;˜t˜f G¨K¨=Ð9Ô:Ü#/Ø�&˜% ¨´e¸{È4È&Ð=Qó$SÑ ˆˆR��T˜5ä˜ dÔ+ˆÜ
�‰”B—G‘G—O‘O¤CÓ(°4Õ8Ü”#—+‘+˜g }Ó5°sÔ;¸rÜ�I‰I�c˜2 a´Õ7÷ <äÐ$ U¨;Ñ%7¸Ð$<¸EÀ%ÈÁ,ÈsÐASÐTÔUØØà
€CØ€Iß�ˆÜ�w‰w�|‰|œH¨¨d¨V°3Ð&7Ó8ˆÜ�w‰w�~‰~˜dÔ#Ü# DÓ)Ð)Ý&Ó4™w˜!¨!¨t«)’A˜wˆÐ4ÜŸ™ x°Ó:‰ˆ�Ü�> $  v¨d¨VÐ4Ô5Ü#/Ø�&˜% ¬´¸¸t¸f°~ó$GÑ ˆˆR��T˜5ä�
‰
˜SŸ^™^Ó-°R¸rÈ4Ø%´ÀÜ&°¼sÜ (´WÜ#.ñ	0ô
 —7‘7—<‘<¤¨E°$°°sÐ*;Ó<ô	>ô % S¨(°B¸¸DÀ&ÓI‰ˆ�Ü˜w¨°$¸Ó?ˆÜ ¨e¸4ÀdÔKˆˆD‰	ØÐØ"ˆI�d‰OØØ�;‰;˜&Ô Ü�J‰J×"Ñ"Ö$ð- ô0 Ð>¼x¸jÈÐQÔRÜ—N‘N 8¬T´'«]Ó;�M€FˆEÜ�w‰w�|‰|œH iÓ0€HÜ+Ø�&˜% ¬´°vó ?Ñ€CˆˆR��uä	‡J�J˜Ÿ™Ó)°¸2ÀxÜœg›´ÀÜ"¨U¼3Ü$´Ü*ñ	,ô
 �w‰w�|‰|œH iÓ0ô2ô —[‘[  h°°B¼ÀÓG€NÜ(›?Ñ€J�Ü×%Ñ% jÓ1°$Ñ7€HÜ
˜˜h¨°"°b¸.Ì!Ï#É#ÈeÉ*ÐV\Ó
]€Cä”2—7‘7ÍÓPÉÀ1˜C ™F 8Ñ,¨[Ñ9¸#Ó>ÈÑPÓQÓR€FÜ”R—W‘WÍGÓTÉGÀq˜c !™f XÑ.¨{Ñ;¸EÓBÈGÑTÓUÓV€HÜˆ|˜F 3˜< u¨X°c¨NÐ;Ô<ÙÜ”r—w‘w¹9ÓE¹9°a 	¨!¡¨SÓ 1¸9ÑEÓFÓGˆÜœŸ™¹yÓ!I¹y¸! )¨A¡,¨uÓ"5¸yÑ!IÓJÓKˆØ—M‘M &Ó)ˆ	Ü�<  s˜|¨5°¸#°Ð?Ô@ÙÜØ˜y¨™~¨cÐ2°%¸	À%Ñ8HÈÐ7Mð NÜ" 3™-¨Ð,¨A¬h°u©o¸cÐ-Bð CØ  ‘~¬°©Ñ5°dÐ;ð=õ>ð
 !Ð ˆ�Øˆ	ä
ò ÝðÝ"ðÝ*/ðÝ7<ðåðå"*ðå4;ðõ  ðõ ð	õ
 ,3Ó3©7 aˆa��Q‘˜Ñ!Ñ!¨7Ò3ðõ /6Ó6©g¨�1�c˜!‘f˜V‘nÑ$¨gÒ6ðõ 18Ó8±¨1�A�s˜1‘v˜g‘Ñ&°Ò8ðô ˜ XÕ.ðð 8>Ð7I”t˜f¨(Õ3Ètøðñ ðñ ðñ ð€Cô ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ü�	‰	�#�r !¬UÕ3÷ 
äˆv”c�Uˆ^Õùòu 5÷ <Ñ;üò 5ùòH QùÚTùò  FùÚ!Iùò" 4ùÚ6ùÚ8÷ 
ˆúsZ   Æ.
a7Æ9a7Êa<Ì>
b	Í	b	×/bØ+bÙ8bÚ*bÞ b"Þb'Þ8b,à>b1á<bâ1b:Ú__main__)F)OÚ__doc__rÆ   r§  r…   r2   rx  rÉ   rÙ   rN   rI   Útorch.nn.functionalrÕ   Ú
functionalrp   Úensemble_clf_nestedr&  Úensemble_clf_transformer_v2rQ   Úensemble_clf_transformer_v4r	  Úeval_externalrR  Ústem_ms96_irm_swa_fuser:  Úcommonr   r4   r5   ÚabspathÚ__file__ÚEXPr£  r¤  rÝ   r   r   rw  rP  rM   r   r   r   ÚstripÚlowerr   rº   r   r   r   r   Ú	_RUN_NAMEr¡  r6   r¥  rÜ   rÀ   r)  r*  r¬  rK   r<  rà   r¯  rß   r<   rf   r~   r�   rž   rü   r  r  r  r3  rD  ri  r~  r¾  Ú__name__r«   rg   r;   Ú<module>rÐ     s¨  ðñó( Û Û Û 	Û Û ã Û ß Ð ã Û 'Û (Û Û %Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø�:‰:�>‰>Ø�—‘—‘˜S (¨OÓ<ó>€à�J‰J�N‰NØ�—‘—‘˜c 8Ð-EÓFóH€	àk€Ø"€
áˆB�J‰J�N‰N˜7 EÓ*Ó+€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€Ø
�
‰
�‰�w Ó$¨Ñ+€Ø�:‰:�>‰>˜* gÓ.×4Ñ4Ó6×<Ñ<Ó>€Ù
�—
‘
—‘˜y¨%Ó0Ó
1€Ù	ˆR�Z‰Z�^‰^˜H cÓ*Ó	+€Ù�B—J‘J—N‘N =°%Ó8Ó9€Ø
�*‰*�.‰.˜ BÓ
'×
-Ñ
-Ó
/€Ø (¨FÒ 2ÑÐ8M€	Ù
Ø�1�W�I�Ñ€IØ�7‰7�<‰<˜˜X yÓ1€Ø‡g�g‡l�l�3˜¨)¨°DÐ'9Ó:€Ø‡g�g‡l�l�3˜	 :°)°¸EÐ/BÓC€Ø€	Ø	€Ø	€Ø€Ø�D˜"˜b ! T¨2Ð.€Ø	€Ø	€Ù�&˜eÔ$€Ø€òò,ò$ò	òò K!ó\Sò"òò	5òò(*òZò*lð^ ˆzÒÙ…Fð rg   