Ë
    öÁàjõB  ã                   óÂ  — d Z ddlZddlZddlZddlZddlZddlZddlZddl	Z	ddl
mZ ddlmc mZ ddlZddlZddlZddlZddlmZ ej2                  j5                  ej2                  j7                  e«      «      Zej2                  j=                  edd«      Zej2                  j=                  edd«      Z ej2                  j=                  edd«      Z!ej2                  j=                  ed	d
d«      Z"dZ#dZ$ e%ejL                  jO                  dd«      «      Z( e%ejL                  jO                  dd«      «      Z) e%ejL                  jO                  dd«      «      Z* e+ejL                  jO                  dd«      «      Z,dZ-dZ.dZ/dddddde-fZ0dZ1d„ Z2ej2                  j=                  edd «      Z3d!„ Z4d"„ Z5d#„ Z6d$„ Z7d%„ Z8d&„ Z9d.d'„Z:d(„ Z;d)„ Z<d*„ Z=d+„ Z>d,„ Z?e@d-k(  r e?«        yy)/u(  Path B: longer SWA (2000 steps, avg last 400) â€” distinct from SWA-1000/last-200.

Init from models/stem_ms96_swa/held-*.pt when present, else published stem_ms96.
Same stem_ms96 architecture/recipe. Score LODO + AASD + Carta + hp30.

usage:
  STEPS=2000 SWA_STEPS=400 python stem_ms96_swa2k.py
é    N)ÚDS_KEYSÚmodelsÚlogit_tf_v2Ústem_ms96_swa2kÚexperimentszstem_ms96_swa2k.logÚresultsÚresearchzstem_ms96_swa2k.jsonzb/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/results/research)ÚAASDÚ	Carta2026ÚSTEPSÚ2000ÚBATCHÚ512Ú	SWA_STEPSÚ400Ú	SWA_DECAYz0.0g-Cëâ6J?g+‡ÙÎï?gš™™™™™é?Ú	stem_ms96Úmsé`   é@   é   Tc                 ó   — t        | d¬«       t        j                  t        j                  j	                  t
        «      d¬«       t        t
        d«      5 }|j                  | dz   «       d d d «       y # 1 sw Y   y xY w)NT)Úflush©Úexist_okÚaÚ
)ÚprintÚosÚmakedirsÚpathÚdirnameÚLOGÚopenÚwrite)ÚtextÚfhs     ústem_ms96_swa2k.pyÚlog_liner)   .   sL   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ø
�‰�˜‘Ô÷ 
�‰ús   ÁA4Á4A=Ústem_ms96_swac                 ó´  — | dk(  rIt         j                  j                  t        d«      t         j                  j                  t        d«      g}nPt         j                  j                  t        d| › d�«      t         j                  j                  t        d| › d�«      g}|D ]%  }t         j                  j                  |«      sŒ#|c S  t        d| › d|› �«      ‚)	z:Prefer prior SWA-1000 held/all5; else published stem_ms96.Úall5úall5.ptzstem_ms96__held-AVGC.ptúheld-ú.ptzstem_ms96__held-zno init for ú: )r   r!   ÚjoinÚSWA1_DIRÚSTEM_DIRÚexistsÚFileNotFoundError)ÚheldÚcandr!   s      r(   Úresolve_initr8   8   s°   € àˆv‚~ä�G‰G�L‰Lœ 9Ó-Ü�G‰G�L‰LœÐ#<Ó=ð
‰ô �G‰G�L‰Lœ U¨4¨&°Ð#4Ó5Ü�G‰G�L‰LœÐ%5°d°V¸3Ð#?Ó@ð
ˆó ˆÜ�7‰7�>‰>˜$ÕØŠKð ô ˜l¨4¨&°°4°&Ð9Ó
:Ð:ó    c                 ó&  — t        j                  t        j                  | j                  t	        d«      «      d¬«      }| j                  j                  |«       t        j                  | j                  «      j                  «       rt        d«      ‚y)zGSWA equal-avg of float buffers turns causal -inf mask entries into nan.z-infé   )Údiagonalz'causal mask still has nan after restoreN)	ÚtorchÚtriuÚ	full_likeÚmaskÚfloatÚcopy_ÚisnanÚanyÚRuntimeError)ÚnetÚgoods     r(   Úrestore_causal_maskrH   J   s_   € ä�:‰:”e—o‘o c§h¡h´°f³Ó>ÈÔK€DØ‡H�H‡N�N�4ÔÜ‡{�{�3—8‘8Ó× Ñ Ô"ÜÐDÓEÐEð #r9   c           	      ó  — t        j                  | dd¬«      }|j                  dt        «      }|\  }}}}}}	}
|dk7  s|	r	|t        k7  rt        d|› d| › �«      ‚t        t        j                  |d   «      j                  d	   «      }t        j                  ||||d
¬«      }|j                  j                  «       j                  «       }|j                  |d   «       |j                  j!                  |«       t#        |«       |j%                  |«      }t        j                  |d   t        j&                  «      }t        j                  |d   t        j&                  «      }|||t)        |j                  dg «      «      fS )NÚcpuF)Úmap_locationÚweights_onlyÚcfgr   zunexpected stem cfg ú from Úmur   T)Úd_modelÚnlayersÚstemÚstateÚsdÚtrain)r=   ÚloadÚgetÚCFGÚWINDOWrE   ÚintÚnpÚasarrayÚshapeÚVÚLogitTransformerr@   ÚdetachÚcloneÚload_state_dictrB   rH   ÚtoÚfloat32Úlist)r!   ÚdeviceÚblobrM   ÚnameÚfamilyÚwindowrP   rQ   rR   Ú_lrÚc_inrF   Ú	good_maskrO   rT   s                   r(   Ú	load_stemrn   R   s<  € Ü�:‰:�d¨¸UÔC€DØ
�(‰(�5œ#Ó
€CØ8;Ñ5€Dˆ&�&˜' 7¨D°#Øˆ{Ò¡$¨&´FÒ*:ÜÐ1°#°°f¸T¸FÐCÓDÐDÜŒr�z‰z˜$˜t™*Ó%×+Ñ+¨AÑ.Ó/€DÜ
×
Ñ
˜T 6°7ÀGÐRVÔ
W€Cà—‘—‘Ó!×'Ñ'Ó)€IØ×Ñ˜˜W™Ô&Ø‡H�H‡N�N�9ÔÜ˜ÔØ
�&‰&�‹.€CÜ	�‰�D˜‘J¤§
¡
Ó	+€BÜ	�‰�D˜‘J¤§
¡
Ó	+€BØ��Bœ˜TŸX™X g¨rÓ2Ó3Ð3Ð3r9   c                 óª  — t        j                  «       5  |dkD  rât        | j                  «       |j                  «       «      D ]*  \  }}|j	                  |«      j                  |d|z
  ¬«       Œ, t        | j                  «       |j                  «       «      D ]T  \  \  }}}|dk(  s|j                  «       s|j                  |«       Œ0|j	                  |«      j                  |d|z
  ¬«       ŒV |dz   cddd«       S |dz   }	t        | j                  «       |j                  «       «      D ]  \  }}|j                  ||z
  d|	z  ¬«       Œ  t        | j                  «       |j                  «       «      D ]H  \  \  }}}|dk(  s|j                  «       s|j                  |«       Œ0|j                  ||z
  d|	z  ¬«       ŒJ |	cddd«       S # 1 sw Y   yxY w)z™Equal average when decay==0; otherwise Polyak with the given decay.

    Skip the causal `mask` buffer: averaging -inf yields nan (see IRM restore).
    r   ç      ð?)Úalphar@   r;   N)
r=   Úno_gradÚzipÚ
parametersÚmul_Úadd_Únamed_buffersÚbuffersÚis_floating_pointrB   )
ÚsrcÚdstÚ
n_averagedÚdecayÚpsÚpdrh   ÚbsÚbdÚns
             r(   Ú
swa_updaterƒ   e   s  € ô
 
�‰�Ø�1Š9Ü˜cŸn™nÓ.°·±Ó0@ÖA‘��BØ—‘˜“×#Ñ# B¨c°E©kÐ#Õ:ð Bä"% c×&7Ñ&7Ó&9¸3¿;¹;»=Ö"I‘‘
��r˜BØ˜6’>¨×)=Ñ)=Ô)?Ø—H‘H˜R•Là—G‘G˜E“N×'Ñ'¨°#¸±+Ð'Õ>ð	 #Jð
  ‘>÷ 
‰ð ˜‰NˆÜ˜#Ÿ.™.Ó*¨C¯N©NÓ,<Ö=‰FˆB�Ø�G‰G�B˜‘G 3¨¡7ˆGÕ+ð >ä! #×"3Ñ"3Ó"5°s·{±{³}ÖE‰N‰JˆT�2˜Ø�vŠ~ R×%9Ñ%9Ô%;Ø—‘˜•à—‘˜˜R™ s¨Q¡w�Õ/ð	 Fð
 ÷' 
�Šús   •CG	Ã=CG	Ç	Gc                 ó  — t        dt        |dz  d«      «      }||k  r||dz   z  |z  }nJ||z
  t        ||z
  d«      z  }dd|dz
  z  dt        j                  t        j                  |z  «      z   z  z   }| j
                  D ]  }||d<   Œ	 |S )Né(   é
   r;   gñhãˆµøä>g      à?rp   Úlr)ÚminÚmaxÚmathÚcosÚpiÚparam_groups)ÚoptÚstepÚtotalÚbaseÚwarmr‡   ÚpÚgroups           r(   Úset_lrr•   €   s˜   € Üˆr”3�u ‘{ AÓ&Ó'€DØˆd‚{Ø�T˜A‘XÑ Ñ%‰à�D‰[œC ¨¡¨aÓ0Ñ0ˆØ�C˜4 $™;Ñ'¨3´·±¼$¿'¹'ÀA¹+Ó1FÑ+FÑGÑGˆØ×!Ô!ˆØˆˆdŠð "à€Ir9   c	                 ó®  — t        |j                  «       «      }	t        j                  d|	z
  t	        |	d«      z  g|¬«      }
t        j
                  j                  | j                  «       t        d¬«      }t        j                  j                  t        j                  «      }t	        d|t        z
  «      }t        j                   | «      j#                  «       }d}| j%                  «        t'        j&                  «       }d }t)        |«      D �]×  }t+        |||t        «       t        j,                  ||t.        |||«      \  }}}t        j0                  |«      j3                  |d¬«      }t        j0                  |«      j3                  |d¬«      }t        j0                  |«      j3                  |d¬«      }t        j4                  |«      }|j7                  d¬	«        | |«      }t        j8                  ||«      }t;        j<                  |||
d
¬«      }||z  j?                  «       jA                  d«      }||z  |z  j?                  «       |z  }|d d …dd …f   |d d …d d…f   z
  jC                  «       }|d d …dd …f   |d d …d d…f   z  }|d||z  j?                  «       z  |j?                  «       jA                  d«      z  z   }t        jD                  |«      stG        d|› d|› �«      ‚|jI                  «        t        jJ                  jL                  jO                  | j                  «       d«       |jQ                  «        t        |jS                  «       «      }||k\  rL|dk(  r5|jU                  t        j                   | jW                  «       «      «       d}ntY        | ||tZ        «      }|dk(  s|dz   dz  dk(  s
|dz   |k(  s�Œºt]        d|› d|dz   › d|› d|d›d|› �
«       �ŒÚ t_        |«       |j#                  «        t        j`                  ||t.        |||«      } t]        d|› d|d›d| d›d|› dt'        j&                  «       |z
  d›d�«       ||fS )Nrp   gü©ñÒMbP?)rf   g-Cëâ6?)r‡   Úweight_decayr   T)Únon_blocking)Úset_to_noneÚnone)Ú
pos_weightÚ	reductionr;   éÿÿÿÿgš™™™™™©?znon-finite loss at step z for éÈ   z    z step Ú/z loss ú.4fz swa_n z
  trained z frame-acc ú.3fú (z.0fzs))1rA   Úmeanr=   Útensorr‰   ÚoptimÚAdamWrt   ÚLRr[   ÚrandomÚdefault_rngr^   Ú
TRAIN_SEEDr   ÚcopyÚdeepcopyÚevalrU   ÚtimeÚranger•   Úsample_batchrY   Ú
from_numpyrc   ÚaugmentÚ	zero_gradÚswitch_weightsÚFÚ binary_cross_entropy_with_logitsÚsumÚ	clamp_minÚabsÚisfiniterE   ÚbackwardÚnnÚutilsÚclip_grad_norm_r�   Úitemrb   Ú
state_dictrƒ   r   r)   rH   Útrain_frame_acc)!ÚmodelÚgroupsÚy_allrO   rT   rf   ÚstepsÚbatchÚtagÚposr›   rŽ   ÚrngÚ	swa_startÚswaÚn_avgÚt0Úlastr�   ÚxbÚybÚmbÚxÚyÚmÚlogitÚswÚbceÚdenomÚlossÚdvÚm2Úaccs!                                    r(   Ú	train_swarÝ   Œ   sÀ  € Ü
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JÜ
�+‰+×
Ñ
˜E×,Ñ,Ó.´2ÀDÐ
Ó
I€CÜ
�)‰)×
Ñ
¤§¡Ó
-€CÜ�A�uœyÑ(Ó)€IÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€CØ€EØ	‡K�K„MÜ	�‰‹€BØ€DÜ�e—ˆÜˆs�D˜%¤Ô$Ü—^‘^ C¨´¸ÀÀBÓG‰
ˆˆB�Ü×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ�I‰I�a‹LˆØ�‰ $ˆÔ'Ù�a“ˆÜ×Ñ˜a Ó#ˆÜ×0Ñ0°¸ÀjÐ\bÔcˆØ�a‘—‘“×(Ñ(¨Ó-ˆØ�b‘˜1‘×!Ñ!Ó# eÑ+ˆØ’A�q‘r�E‰l˜U¢1 c r c 6™]Ñ*×/Ñ/Ó1ˆØŠq�!‘"ˆu‰X˜š!˜S˜b˜S˜&™	Ñ!ˆØ�d˜b 2™gŸ]™]›_Ñ,¨r¯v©v«x×/AÑ/AÀ#Ó/FÑFÑFˆÜ�~‰~˜dÔ#ÜÐ!9¸$¸¸uÀSÀEÐJÓKÐKØ�‰ŒÜ�‰�‰×&Ñ& u×'7Ñ'7Ó'9¸3Ô?Ø�‰Œ
Ü�T—Y‘Y“[Ó!ˆØ�9ÒØ˜ŠzØ×#Ñ#¤D§M¡M°%×2BÑ2BÓ2DÓ$EÔFØ‘ä" 5¨#¨u´iÓ@�Ø�1Š9˜ ™ SÑ(¨AÒ-°¸±¸UÔ1BÜ�t˜C˜5  t¨a¡x j°°%°¸¸tÀC¸jÈÐPUÈwÐWÖXð; ô< ˜ÔØ‡H�H„JÜ
×
Ñ
˜C ¬°°R¸Ó
@€CÜˆz˜#˜˜f T¨# J¨k¸#¸c¸À'È%ÈÐPRÔSW×S\ÑS\ÓS^ÐacÑScÐdgÐRhÐhjÐkÔlØ�ˆ:Ðr9   c                 óX  — t        | |«      \  }}	}
}	 t        ||||	|
||||«	      \  }}||	|
||fS # t        j                  j                  $ r\ |r‚ t        d|› d|› d�«       ~|j                  dk(  rt        j                  j                  «        t        | |||||dz  |d¬«      cY S w xY w)Nz	  OOM on z
 at batch z; halving onceÚcudar   T)Úhalved)	rn   rÝ   r=   rß   ÚOutOfMemoryErrorr)   ÚtypeÚempty_cacheÚfit_with_oom)Ú	stem_pathrÃ   rÄ   rf   rÅ   rÆ   rÇ   rà   rÂ   rO   rT   Ú_trainrË   rÌ   s                 r(   rä   rä   ¼   sÃ   € Ü% i°Ó8Ñ€Eˆ2ˆr�6ð
cÜ˜u f¨e°R¸¸VÀUÈEÐSVÓW‰
ˆˆUØ�B˜˜E 5Ð(Ð(øÜ�:‰:×&Ñ&ò cÙØÜ�9˜S˜E ¨E¨7°.ÐAÔBØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$Ü˜I v¨u°f¸eÀUÈaÁZÐQTÐ]aÔbÒbðcús   “0 °A6B)Â(B)c                 ó  — i }| j                  «       D ]r  \  }}t        j                  t        j                  |t        j
                  «      dd…df   «      j                  d«      j                  t        j
                  «      ||<   Œt |S )zWCausal tau-30 high-pass of a single evidence stream (same as linear_hp30 on 1 channel).Nr�   )ÚitemsÚV4Úhighpassr[   r\   Úfloat64ÚreshapeÚastype)ÚstreamÚoutÚkeyÚds       r(   Úhp30_streamrò   Ë   sg   € à
€CØ—,‘,–.‰ˆˆQÜ—;‘;œrŸz™z¨!¬R¯Z©ZÓ8º¸D¸ÑAÓB×JÑJÈ2ÓN×UÑUÔVX×V`ÑV`ÓaˆˆCŠð !à€Jr9   c                 ó6  — t        j                  | |||t        |«      }t        j                  |«      }t        j
                  ||t        t        «      }|D �	ci c]  }	|	t        ||	   «      “Œ }
}	t        j                  |
«      }t        j
                  ||t        t        «      }t        d|› dt        › dt        › d|d   d›d|d   d	›d
|d   d›d|d   d	›�«       t        d|› dt        › dt        › d|d   d›d|d   d	›�
«       t        ||¬«      |fS c c}	w )NzLODO ú p ú sc ú  H ÚHr    ú Acc ÚAccú.2fú L ÚLr¡   ú SDT ÚSDTz
LODO_hp30 ©rË   Úhp30)r^   Ú	infer_allrY   ÚNÚto_evÚofficialÚP_STAYÚSCALErò   r)   Údict)rÂ   ÚfeatrO   rT   r6   rf   ÚstreamsÚevÚoffÚdsÚhpÚev_hpÚoff_hps                r(   Ú
score_lodor  Ó   s&  € Ü�k‰k˜%  r¨2¬v°vÓ>€GÜ	
�‰�Ó	€BÜ
�*‰*�T˜2œv¤uÓ
-€CÙ18Ó	9±¨2ˆ"Œk˜' "™+Ó&Ñ
&°€BÐ	9Ü�G‰G�B‹K€EÜ�Z‰Z˜˜e¤V¬UÓ3€FÜˆu�T�F˜#œf˜X T¬%¨°°S¸±X¸c°NÀ%ÈÈEÉ
ÐSVÐGWð XØ�c‘(˜3�˜u S¨¡Z°Ð$4ð6ô 7äˆz˜$˜˜s¤6 (¨$¬u¨g°T¸&À¹+ÀcÐ9JÈ%ÐPVÐW\ÑP]Ð^aÐObÐcÔdÜ�C˜fÔ% wÐ.Ð.ùò 
:s   ÁDc                 ó<  — g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       |D �	ci c]  }	|	t        ||	   «      “Œ }}	g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       i }t        D �]ú  }	t        j                  | |	||	   i||t         |«      |	   }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t        |«      }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t#        ||¬«      ||	<   t        d|	› dt,        › dt        › d|d   d›d|d   d›d|d   d›d|d   d›�«       t        d|	› dt,        › dt        › d|d   d›d|d   d›�
«       �Œý |S c c}	w )Nr   rp   g      ð¿z  external emissions mu r    z sd ú scale z  external hp30 emissions mu ÚattÚt_endÚatt128Ún128Úsubject)Úr0Úr1r  r  r  r  r  g      è?rÿ   zEXT rô   rõ   rö   r÷   rø   rù   rú   rû   rü   r¡   rý   rþ   z	EXT_hp30 )rè   Úappendr[   r\   rë   ÚwhererA   Úconcatenater£   Ústdr)   r  rò   Ú
TEST_NAMESr^   r  rY   r  ÚzerosÚlenÚEÚscorer  )rÂ   Úfeat_extÚmetaÚmu_inÚsd_inÚcorpus_streamsÚ
corpus_attrf   Úpartsr  ÚtableÚlabelsrð   rñ   Úmu_eÚsd_eÚ	hp_corpusÚparts_hpÚmu_hpÚsd_hpÚrowsrî   r
  rÔ   ÚrÚ	stream_hpr  Úr_hps                               r(   Úscore_externalr6  à   sÔ  € Ø€EØ#×)Ñ)Ö+‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�L‰LœŸ™ A¤r§z¡zÓ2´R·X±X¸fÀS¹kÈQÑ>NÐPSÐUYÓ5ZÑZÕ[ñ $ð ,ô ”—‘ Ó&×+Ñ+Ó-Ó.€DÜ”—‘ Ó&×*Ñ*Ó,Ó-€DÜÐ'¨¨S z°°d¸3°Z¸wÄuÀgÐNÔOñ @NÓN¹~¸�”[ °Ñ!3Ó4Ñ4¸~€IÐNØ€HØ—_‘_Ö&‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�O‰OœBŸJ™J q¬"¯*©*Ó5¼¿¹ÀÈÁÐPQÑAQÐSVÐX\Ó8]Ñ]Õ^ñ $ð 'ô ”"—.‘. Ó*×/Ñ/Ó1Ó2€EÜ”"—.‘. Ó*×.Ñ.Ó0Ó1€EÜÐ,¨U°3¨K°t¸EÀ#¸;ÀgÌeÈWÐUÔVà€DßˆjˆÜ—‘˜U R¨°"©Ð$6¸¸uÄfÈfÓUÐVXÑYˆØˆØ—l‘l–n‰FˆC�Ø�R‘˜‘ˆAÜ—
‘
˜1œbŸj™jÓ)ˆAÜ˜a¤B§H¡H¬S°«VÓ$4¸!¸E¹(È!ÈGÉ*Ø"# H¡+°A°f±IÀqÈÁ|ôUˆBˆsŠGð %ô
 �G‰G�B˜˜d¤U™l¬F°DÓ9ˆä Ó'ˆ	ØˆØ—o‘oÖ'‰FˆC�Ø�R‘˜‘ˆAÜ—
‘
˜1œbŸj™jÓ)ˆAÜ ¤r§x¡x´°A³Ó'7¸Q¸u¹XÈQÈwÉZØ%& x¡[°q¸±yÈ!ÈIÉ,ôXˆE�#ŠJð (ô
 �w‰w�u˜e U¬U¡]´F¸DÓAˆÜ˜A DÔ)ˆˆR‰Ü�4˜�t˜3œv˜h d¬5¨'°°a¸±f¸S°\ÀÀqÈÁxÐPSÀnð UØ˜‘f˜S�\  q¨¡x° nð6ô 	7ä�9˜R˜D ¤F 8¨4´¨w°d¸4À¹9ÀS¸/ÈÈtÐTYÉ{Ð[^ÐN_Ð`Öað+ ð, €KùòC Os   Ã?Pc                  ó¤  — t         j                  j                  dg d¢¬«       i i }} t        D �]Š  }g }t	        d«      D ]f  }t
        j                  j                  t        d|› d|› d�«      }t        |d«      5 }|j                  t        j                  |«      «       d d d «       Œh i i c| |<   ||<   |d	   D ]à  }|D �cg c]0  }||   d
   ||   d   z
  j                  t        j                  «      ‘Œ2 }	}|d	   |   }
t        j                   |	d«      | |   |<   t#        t        j$                  |
d   «      t        j$                  |
d   t        j&                  «      t        j$                  |
d   «      t)        |
d   «      t)        |
d   «      ¬«      ||   |<   Œâ t+        d|› dt-        | |   «      › d�«       �Œ� | |fS # 1 sw Y   �Œ‹xY wc c}w )NÚ
eaP_n5_t60)ÚenvÚonsetÚdom)ÚprepÚtargetsé   Úext_clf_Ú_w10b3sw2P_evidence_sz.pklÚrbr   r  r  r;   r  r  r  r  r  )r  r  r  r  r  z  external r0   z trials)r!  ÚCONFÚupdater  r¯   r   r!   r1   ÚEVIDr$   r  ÚpicklerV   rí   r[   rd   Ústackr  r\   rë   rZ   r)   r   )Úlogitsr$  r  ÚevsÚir!   r'   rð   r
  ÚcolsÚe0s              r(   Úload_externalrL    sª  € Ü‡F�F‡M�M�|Ò-D€MÔEØ�rˆD€FßˆjˆØˆÜ�q–ˆAÜ—7‘7—<‘<¤¨°°Ð4IÈ!ÈÈDÐ&QÓRˆDÜ�d˜DÔ! RØ—
‘
œ6Ÿ;™; r›?Ô+÷ "Ð!ð ð  " 2Ðˆˆr‰
�D˜‘HØ�q”6ˆCÙQTÓUÑQTÈ2�R˜‘W˜T‘] R¨¡W¨T¡]Ñ2×:Ñ:¼2¿:¹:ÕFÐQTˆDÐUØ�Q‘˜‘ˆBÜ Ÿh™h t¨QÓ/ˆF�2‰J�s‰OÜ Ü—J‘J˜r %™yÓ)´·±¸B¸w¹KÌÏÉÓ1TÜ—z‘z " X¡,Ó/´c¸"¸V¹*³oÌsÐSUÐV_ÑS`ÓOaôcˆD�‰H�SŠMð	 ô 	�;˜r˜d "¤S¨°©£_Ð$5°WÐ=Ö>ð ð �4ˆ<Ð÷ "Ñ!üò Vs   Á9%G Â?5GÇ G
c                  ó"  — t        j                  t         j                  j                  t        «      d¬«       t        t        d«      j                  «        t        j                  t        j                  j                  «       rdnd«      } t        d| › dt        › dt        › d	t        › d
t        › �
«       dt        j                   j                  j"                  _        dt        j                   j&                  _        t)        j*                  | «       t-        j.                  «        t)        j0                  «       d   }t        j                  t2        d¬«       i }d }t4        D �]-  }t7        |«      }t4        D �cg c]
  }||k7  sŒ	|‘Œ }}t)        j8                  ||«      \  }}	t        d|› d|› �«       t;        |||	| t        t        d|› �«      \  }
}}}}t        j<                  |
j?                  «       ||||t        ||t        t        t@        dœt         j                  jC                  t2        d|› d�«      «       tE        |
||||| «      \  }}tG        |||¬«      ||<   ~
| jH                  dk(  s�Œt        j                  jK                  «        �Œ0 t7        d«      }t        d|› �«       t)        j8                  |tM        t4        «      «      \  }}	t;        |||	| t        t        d«      \  }
}}}}t        j<                  |
j?                  «       |||tM        t4        «      t        ||t        t        t@        dœt         j                  jC                  t2        d«      «       t)        jN                  |
|||tP        | «      }tS        «       \  }}tU        jV                  |«      d   }tY        |
|||||t,        jZ                  d   | «      }t]        t_        j`                  t4        D �cg c]  }||   d   d   d   ‘Œ c}«      «      }t]        t_        j`                  t4        D �cg c]  }||   d   d   d   ‘Œ c}«      «      }t        d|d›d|d›�«       tG        tb        td        t        t        t        t        t4        D �ci c]  }|||   d   “Œ c}tG        ||¬«      |¬«	      }t        j                  t         j                  j                  tf        «      d¬«       t        tf        d«      5 }ti        jj                  ||d t\        ¬!«       d d d «       t        d"tf        › �«       t         j                  jC                  tl        d#d$«      }d%d&d't        › d(t        › d)�d&d*t        › d+t        › d,t        › d-tb        › d.td        › d/�d&d0tf        › d1�d&d2d&d3d4g}t4        D ]I  }||   d   d   }||   d   d5   }|jo                  d6|› d7|d   d›d7|d   d›d7|d   d›d8|d   d›d9�«       ŒK |d:|d›d;|d›d<�d&d=d&d>d?d@|dA   d   d   d›d7|dA   d   d   d›d7|dA   d5   d   d›d8|dA   d5   d   d›dB�	dC|dD   d   d   d›d7|dD   d   d   d›d7|dD   d5   d   d›d8|dD   d5   d   d›dE�	d&dFd&dGdHdI|dJ   d   d   d   dKk\  r|dJ   d   d   d   dLk\  rdMndN› dO|dJ   d   d   d   d›d8|dJ   d   d   d   d›dP�dQ|dR   d   d   d   dKk\  rdMndN› dO|dR   d   d   d   d›dP�dS|dA   d   d   dTkD  rdMndN› dO|dA   d   d   d›d8|dA   d   d   d›dP�dU|d›d8|d›d9�dV|dJ   d   d   d   d›d8|dJ   d   d   d   d›d9�d&gz  }t        |d«      jq                  dWjC                  |«      dWz   «       t        d"|› �«       y c c}w c c}w c c}w c c}w # 1 sw Y   �Œ~xY w)XNTr   Úwrß   rJ   zdevice z steps z batch z swa_steps z swa_decay r   zfold held-out=rN   r.   )rS   rO   rT   rR   rU   rÅ   rÆ   Úswa_nÚ	swa_stepsÚ	swa_decayrM   r/   )ÚscoresrO  rÆ   r,   z0all-5 SWA-2k fine-tune for AASD and Carta, init r-   r  rR  rË   r÷   rù   zLODO mean H r    rø   rú   )r÷   rù   )	Úp_stayÚscalerÅ   rÆ   rP  rQ  ÚlodoÚ	lodo_meanÚexternalr;   )ÚindentÚdefaultzwrote Úmulti_agent_optzresults_swa2k.mdz# results_swa2kÚ z**Path B: SWA-2000 / last-z}** fine-tune of stem_ms96 (init prior SWA-1000 when present). Distinct from completed SWA last-200 of 1000. Equal avg (decay=z).zSTEPS=z SWA_STEPS=z BATCH=z. HMM p_stay r  z. Also causal hp30.zKCode: `stem_ms96_swa2k.py`. Checkpoints: `models/stem_ms96_swa2k/`. JSON: `z`.z## LODO (preset)z%| Held-out | H | Acc % | hp30 H/Acc |z|---|---:|---:|---|r   z| z | rŸ   z |z| **mean** | **z** | **z** | |z## External (preset)z7| Set | H | Acc % | hp30 H/Acc | linear_hp30 | SWA-1k |z|---|---:|---:|---|---|---|z	| AASD | r
   z  | 0.6422/53.12 | 0.6202/51.08 |z| Carta2026 | r   z  | 0.6520/60.54 | 0.5507/48.68 |z
## Targetsz| Target | Result |z	|---|---|z| AVGC H>=0.85 Acc>=78 | ÚAVGCg333333ë?éN   ÚmetÚmissr¢   z) |z| UHD H>=0.85 | ÚUHDz| AASD Acc>60 | é<   z| vs SWA-1k 0.8700/82.61 | z"| vs IRM AVGC 0.8095/75.12 | AVGC r   )9r   r    r!   r"   r#   r$   Úcloser=   rf   rß   Úis_availabler)   r   r   r   r   ÚbackendsÚmatmulÚ
allow_tf32Úcudnnr^   Úassert_causalr  Úload_allÚbuild_featuresÚCKPT_DIRr   r8   Útrial_groupsrä   ÚsaverÀ   rX   r1   r  r  râ   rã   re   r  rY   rL  ré   Úbuild_features_fromr6  ÚGrA   r[   r£   r  r  ÚOUTÚjsonÚdumpÚEXPr  r%   )rf   Úfeat_allÚperÚcorpus_for_extr6   r!   rñ   Útrain_dsrÃ   rÄ   rË   rO   rT   ÚusedrÌ   rR  r	  Úall_pathr'  Ú
ext_logitsÚext_metaÚext_featÚextÚmean_hÚmean_accrï   r'   ÚmdÚlinesr3  Úhs                                  r(   Úmainrƒ  $  s  € ä‡K�K”—‘—‘¤Ó$¨tÕ4ÜŒˆcƒN×ÑÔÜ�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜˆw�v�h˜g¤e W¨G´E°7¸+ÄiÀ[ÐP[Ô\eÐ[fÐgÔhØ,0„E‡N�N×Ñ×ÑÔ)Ø&*„E‡N�N×ÑÔ#Ü‡O�O�FÔÜ‡J�J„LÜ×ÑÓ! $Ñ'€HÜ‡K�K” 4Õ(à
€CØ€Nß�ˆÜ˜DÓ!ˆÝ&Ó4™w˜!¨!¨t«)’A˜wˆÐ4ÜŸ™ x°Ó:‰ˆ�Ü�> $  v¨d¨VÐ4Ô5Ü#/Ø�&˜% ¬´¸¸t¸f°~ó$GÑ ˆˆR��T˜5ä�
‰
˜SŸ^™^Ó-°R¸rÈ4Ø%´ÀÈuÜ!*¼Ì3ñPô —7‘7—<‘<¤¨E°$°°sÐ*;Ó<ô	>ô % S¨(°B¸¸DÀ&ÓI‰ˆ�Ü ¨e¸4Ô@ˆˆD‰	ØØ�;‰;˜&Ô Ü�J‰J×"Ñ"Ö$ð ô$ ˜FÓ#€HÜÐ?À¸zÐJÔKÜ—N‘N 8¬T´'«]Ó;�M€FˆEÜ+Ø�&˜% ¬´°vó ?Ñ€CˆˆR��uä	‡J�J˜Ÿ™Ó)°¸2ÀxÜœg›´ÀÐPUÜ&´YÄsñLô �w‰w�|‰|œH iÓ0ô2ô —[‘[  h°°B¼ÀÓG€NÜ(›?Ñ€J�Ü×%Ñ% jÓ1°$Ñ7€HÜ
˜˜h¨°"°b¸.Ì!Ï#É#ÈeÉ*ÐV\Ó
]€Cä”2—7‘7Å'ÓJÁ'¸Q˜C ™F 8Ñ,¨UÑ3°CÓ8À'ÑJÓKÓL€FÜ”R—W‘WÅgÓNÁgÀ˜c !™f XÑ.¨uÑ5°eÓ<ÀgÑNÓOÓP€HÜˆ|˜F 3˜< u¨X°c¨NÐ;Ô<ä
ÜœU¬%´uÜ¤yÝ+2Ó3©7 aˆa��Q‘˜Ñ!Ñ!¨7Ñ3Ü˜ XÔ.Øô€Cô ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ü�	‰	�#�r !¬UÕ3÷ 
äˆv”c�Uˆ^ÔÜ	�‰�‰”cÐ,Ð.@Ó	A€BàØ
Ø
$¤Y Kð 0JÜJSÈÐTVð	Xà
Ø
”��{¤9 +¨W´U°G¸=ÌÈÐPWÔX]ÐW^Ð^qÐrØ
Ø
UÔVYÐUZÐZ\Ð]Ø
ØØ
Ø/Øð€E÷ ˆØ�‰F�8Ñ˜UÑ#ˆ¨¨Q©°Ñ)9¸&Ñ)A QØ�‰�r˜!˜˜C  #¡ s˜|¨3¨q°©x¸¨n¸CÀÀ#ÁÀs¸|È1ÈQÈuÉXÐVYÈNÐZ\Ð]Õ^ð ð 
Ø
˜& ˜ W¨X°c¨N¸&ÐAØ
ØØ
ØAØ%Ø
�C˜‘K Ñ& sÑ+¨CÐ0°°C¸±KÀÑ4FÀuÑ4MÈcÐ3RÐRUØˆv‰;�vÑ˜sÑ# CÐ
(¨¨#¨f©+°fÑ*=¸eÑ*DÀSÐ)IÐIið	kà
˜˜[Ñ)¨%Ñ0°Ñ5°cÐ:¸#¸cÀ+Ñ>NÈuÑ>UÐV[Ñ>\Ð]`Ð=aÐadØˆ{Ñ˜FÑ# CÑ(¨Ð
-¨Q¨s°;Ñ/?ÀÑ/GÈÑ/NÈsÐ.SÐSsð	uà
ØØ
ØØØ
#Ø˜‘K Ñ)¨%Ñ0°Ñ5°tÒ;ÀÀFÁÈHÑ@UÐV[Ñ@\Ð]bÑ@cÐegÒ@g‰5ÐmsÐ
tð uØ�‰K˜Ñ! %Ñ(¨Ñ-¨cÐ2°!°C¸±KÀÑ4IÈ%Ñ4PÐQVÑ4WÐX[Ð3\Ð\_ð	að Ø˜‘J˜xÑ(¨Ñ/°Ñ4°dÒ:‰5ÀÐ
Gð HØ�‰J�xÑ  Ñ'¨Ñ,¨SÐ1°ð	6ð Ø˜‘K Ñ& uÑ-¨bÒ0‰5°fÐ
=ð >Ø�‰K˜Ñ˜sÑ# CÐ(¨¨#¨f©+°eÑ*<¸UÑ*CÀCÐ)HÈð	Mð & f¨S \°°8¸C°.ÀÐCØ
,¨S°©[¸Ñ-BÀ5Ñ-IÈ#Ñ-NÈsÐ,SÐSTÐUXÐY_ÑU`ÐaiÑUjÐkpÑUqÐrwÑUxÐy|ÐT}Ð}ð  	AØ
ð7ñ €Eô: 	ˆˆSƒM×Ñ˜Ÿ	™	 %Ó(¨4Ñ/Ô0Üˆv�b�Tˆ]Õùò} 5ùò< KùÚNùò 4÷
 
‰ús*   Å:
]0Æ]0Ï#]5Ð]:Ñ=]?Ó*^Þ^Ú__main__)F)AÚ__doc__r«   rq  rŠ   r   rE  r®   Únumpyr[   r=   Útorch.nnr¼   Útorch.nn.functionalÚ
functionalrµ   Úensemble_clf_nestedr  Úensemble_clf_transformer_v2r^   Úensemble_clf_transformer_v4ré   Úeval_externalr!  Úcommonr   r!   r"   ÚabspathÚ__file__rs  r1   r3   rk  r#   rp  rD  r  rZ   ÚenvironrW   r   r   r   rA   r   r§   r  r  rX   rY   r)   r2   r8   rH   rn   rƒ   r•   rÝ   rä   rò   r  r6  rL  rƒ  Ú__name__© r9   r(   Ú<module>r”     sÁ  ðñó Û Û Û 	Û Û ã Û Ý ß Ð ã Û 'Û (Û Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø�7‰7�<‰<˜˜X }Ó5€Ø�7‰7�<‰<˜˜XÐ'8Ó9€Ø‡g�g‡l�l�3˜Ð'<Ó=€Ø‡g�g‡l�l�3˜	 :Ð/EÓF€Øk€Ø"€
áˆB�J‰J�N‰N˜7 FÓ+Ó,€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€Ù�—
‘
—‘˜{¨EÓ2Ó3€	Ù�"—*‘*—.‘. ¨eÓ4Ó5€	Ø	€Ø	€Ø€Ø�D˜"˜b ! T¨2Ð.€Ø	€òð �7‰7�<‰<˜˜X Ó7€ò;ò$Fò4ò&ò6	ò-ó`còò
/ò,ò^ò*oðd ˆzÒÙ…Fð r9   