Ë
    däjA_  ã                   óÆ  — d Z ddlZddlZddlZddlZddlZddlZddlZddl	Z	ddl
mZ ddlmc mZ ddlmZ ddlZddlZddlZddlZddlZddlmZ ej:                  j=                  ej:                  j?                  e «      «      Z!ejD                  jG                  dej:                  jI                  e!dd«      «      Z%ejD                  jG                  dej:                  jI                  e!dd	«      «      Z&ej:                  jI                  e!dd
«      Z'ej:                  jI                  e!dd«      Z(ej:                  jI                  e!ddd«      Z)dZ*dZ+ e,ejD                  jG                  dd«      «      Z- e,ejD                  jG                  dd«      «      Z. e/ejD                  jG                  dd«      «      Z0ejD                  jG                  dd«      dk(  Z1dZ2dZ3dZ4dZ5dd d!d"d#d$e3fZ6d!Z7d%Z8 e9d&d'¬(«      Z: e9d)d*¬(«      Z; G d+„ d,e«      Z<d-„ Z= G d.„ d/ej|                  «      Z?d0„ Z@d1„ ZAd2„ ZBd3„ ZCd4„ ZDd5„ ZEd6„ ZFd7„ ZGdBd8„ZHd9„ ZId:„ ZJd;„ ZKd<„ ZLd=„ ZMd>„ ZNd?„ ZOd@„ ZPeQdAk(  r eP«        yy)Cu5  Domain-adversarial (DANN/GRL) fine-tune of stem_ms96 from focal-IRM.

Ganin & Lempitsky: gradient-reversal on pooled stem features + domain CE
over train dataset ids. LODO: held-out dataset is never a domain label.
Init models/stem_ms96_focal_avgc/{held-*,all5}.pt (fallback IRM via INIT_DIR).
Restore causal -inf mask. EMA 0.995 eval. HMM preset 0.994 / 0.8.
Also fuse w=0.5 with frozen stem_synth_switch (tip protocol).

Î»(p) = Î»_max * (2/(1+exp(-10 p)) âˆ’ 1), p=step/steps (classic DANN ramp).
Smoke: short AVGC-fold train; abandon if frame-acc ~chance or AVGC Accâ‰ªtip.

Distinct from IRM penalty, PCGrad, CORAL-on-logits, Mixup/focal re-grids.

usage:
  DANN_LMAX=0.5 STEPS=800 python stem_ms96_dann_grl.py
  SMOKE=1 STEPS=40 python stem_ms96_dann_grl.py
  TUNE_LMAX=1 python ...   # smoke Î»_max then full LODO
é    N)ÚFunction)ÚDS_KEYSÚINIT_DIRÚmodelsÚstem_ms96_focal_avgcÚ	SYNTH_DIRÚstem_ms96_synth_switchÚstem_ms96_dann_grlÚexperimentszstem_ms96_dann_grl.logÚresultsÚresearchzstem_ms96_dann_grl.jsonzb/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/results/research)ÚAASDÚ	Carta2026ÚSTEPSÚ800ÚBATCHÚ512Ú	DANN_LMAXz0.5ÚSMOKEÚ0Ú1g×£p=
×ï?g-Cëâ6J?g+‡ÙÎï?gš™™™™™é?Ú	stem_ms96Úmsé`   é@   é   Tç      à?g46<½Rê?gÃõ(\�âR@©ÚHÚAccgµ¦yÇ):ì?g×£p=
×T@c                   ó,   — e Zd Zed„ «       Zed„ «       Zy)ÚGradReversec                 óD   — t        |«      | _        |j                  |«      S ©N)ÚfloatÚlambdÚview_as)ÚctxÚxr&   s      ú-/root/disk_3tb/eeg-thao/stem_ms96_dann_grl.pyÚforwardzGradReverse.forwardB   s   € ä˜%“LˆŒ	Ø�y‰y˜‹|Ðó    c                 ó&   — | j                    |z  d fS r$   )r&   )r(   Úgrad_outputs     r*   ÚbackwardzGradReverse.backwardG   s   € à—	‘	ˆz˜KÑ'¨Ð-Ð-r,   N)Ú__name__Ú
__module__Ú__qualname__Ústaticmethodr+   r/   © r,   r*   r"   r"   A   s(   „ Øñó ðð ñ.ó ñ.r,   r"   c                 ó.   — t         j                  | |«      S r$   )r"   Úapply)r)   r&   s     r*   Úgrlr7   L   s   € Ü×Ñ˜Q Ó&Ð&r,   c                   ó&   ‡ — e Zd Zdˆ fd„	Zd„ Zˆ xZS )Ú
DomainHeadc           	      ó  •— t         ‰| �  «        |xs |}t        j                  t        j                  ||«      t        j
                  d¬«      t        j                  d«      t        j                  ||«      «      | _        y )NT)Úinplacegš™™™™™¹?)ÚsuperÚ__init__ÚnnÚ
SequentialÚLinearÚReLUÚDropoutÚnet)ÚselfÚd_modelÚ	n_domainsÚhiddenÚhÚ	__class__s        €r*   r=   zDomainHead.__init__Q   s[   ø€ Ü‰ÑÔØÒ�gˆÜ—=‘=Ü�I‰I�g˜qÓ!Ü�G‰G˜DÔ!Ü�J‰J�s‹OÜ�I‰I�a˜Ó#ó	
ˆ�r,   c                 ó$   — | j                  |«      S r$   )rC   )rD   Úfeats     r*   r+   zDomainHead.forward[   s   € Ø�x‰x˜‹~Ðr,   r$   )r0   r1   r2   r=   r+   Ú__classcell__)rI   s   @r*   r9   r9   P   s   ø„ õ
ör,   r9   c                 ó   — t        | d¬«       t        j                  t        j                  j	                  t
        «      d¬«       t        t
        d«      5 }|j                  | dz   «       d d d «       y # 1 sw Y   y xY w)NT)Úflush©Úexist_okÚaÚ
)ÚprintÚosÚmakedirsÚpathÚdirnameÚLOGÚopenÚwrite)ÚtextÚfhs     r*   Úlog_liner]   _   sL   € Ü	ˆ$�dÕÜ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ø
�‰�˜‘Ô÷ 
�‰ús   ÁA4Á4A=c                 ó8  — t        j                  | dd¬«      }|d   \  }}}}}}}	|dk7  s|r	|t        k7  rt        d|d   › �«      ‚t	        t        j                  |d   «      j                  d   «      }
t        j                  |
|||d	¬
«      }|j                  j                  «       j                  «       }|j                  |d   «       |j                  j                  |«       t        j                  |j                  «      j!                  «       rt        d| › �«      ‚|j#                  |«      }t        j                  |d   t
        j$                  «      }t        j                  |d   t
        j$                  «      }|||t'        |d   «      t	        |«      fS )NÚcpuF)Úmap_locationÚweights_onlyÚcfgr   zunexpected stem cfg Úmur   T)rE   ÚnlayersÚstemÚstatez-causal mask still has nan after restore from ÚsdÚtrain)ÚtorchÚloadÚWINDOWÚRuntimeErrorÚintÚnpÚasarrayÚshapeÚVÚLogitTransformerÚmaskÚdetachÚcloneÚload_state_dictÚcopy_ÚisnanÚanyÚtoÚfloat32Úlist)rV   ÚdeviceÚblobÚnameÚfamilyÚwindowrE   rd   re   Ú_lrÚc_inrC   Ú	good_maskrc   rg   s                  r*   Ú	load_initr…   f   sQ  € Ü�:‰:�d¨¸UÔC€DØ8<¸U¹Ñ5€Dˆ&�&˜' 7¨D°#Øˆ{Ò¡$¨&´FÒ*:ÜÐ1°$°u±+°Ð?Ó@Ð@ÜŒr�z‰z˜$˜t™*Ó%×+Ñ+¨AÑ.Ó/€DÜ
×
Ñ
˜T 6°7ÀGÐRVÔ
W€CØ—‘—‘Ó!×'Ñ'Ó)€IØ×Ñ˜˜W™Ô&Ø‡H�H‡N�N�9ÔÜ‡{�{�3—8‘8Ó× Ñ Ô"ÜÐJÈ4È&ÐQÓRÐRØ
�&‰&�‹.€CÜ	�‰�D˜‘J¤§
¡
Ó	+€BÜ	�‰�D˜‘J¤§
¡
Ó	+€BØ��Bœ˜T '™]Ó+¬S°«\Ð9Ð9r,   c           	      ó,  — |}| j                   �T|| j                  t        j                  |j                  dd«      | j                  df«      «      j                  dd«      z   }| j                  |«      }| j                  D ]
  } ||«      }Œ || j                  dd…d|j                  d«      …f   z   }| j                  || j                  ¬«      }| j                  |«      j                  d«      | j                  |«      j                  d«      z   }||fS )uM   Return (logit[B,T], h[B,T,d]) â€” h is post-encoder features before clf head.Né   r   r   )rs   éÿÿÿÿ)ÚdwÚFÚpadÚ	transposeÚdw_padÚprojÚblocksÚposÚsizeÚencrs   ÚheadÚsqueezeÚskip)Úmodelr)   ÚrawrH   ÚblockÚlogits         r*   Úencode_featuresrš   x   sè   € à
€CØ‡x�xÐØ�—‘œŸ™˜qŸ{™{¨1¨aÓ0°5·<±<ÀÐ2CÓDÓE×OÑOÐPQÐSTÓUÑUˆØ�
‰
�1‹€AØ—”ˆÙ�!‹H‰ð à	ˆE�I‰I’a˜˜1Ÿ6™6 !›9˜�nÑ%Ñ%€AØ�	‰	�!˜%Ÿ*™*ˆ	Ó%€AØ�J‰J�q‹M×!Ñ! "Ó%¨¯
©
°3«×(?Ñ(?ÀÓ(CÑC€EØ�!ˆ8€Or,   c                 óŽ   — |j                  d«      }| |z  j                  d«      |j                  d«      j                  d«      z  S )u&   Masked mean pool over time â†’ [B, d].rˆ   r‡   ç      ð?)Ú	unsqueezeÚsumÚ	clamp_min)rH   ÚmÚws      r*   Ú	pool_featr¢   †   s9   € à	�‰�B‹€AØ�‰E�;‰;�q‹>˜AŸE™E !›H×.Ñ.¨sÓ3Ñ3Ð3r,   c                 ó€   — | t        |dz
  d«      z  }t        |«      ddt        j                  d|z  «      z   z  dz
  z  S )Nr‡   g       @rœ   g      $À)Úmaxr%   ÚmathÚexp)ÚstepÚtotalÚlmaxÚps       r*   Údann_lambdar«   Œ   sB   € ØŒs�5˜1‘9˜aÓ Ñ €AÜ�‹;˜# ¤t§x¡x°¸±	Ó':Ñ!:Ñ;¸cÑAÑBÐBr,   c                 ó¾  — t        j                  ||«      }t        j                  | ||d¬«      }||z  }||z  j	                  «       |j	                  «       j                  d«      z  }| d d …dd …f   | d d …d d…f   z
  j                  «       }|d d …dd …f   |d d …d d…f   z  }	|d||	z  j	                  «       z  |	j	                  «       j                  d«      z  z   }|S )NÚnone)Ú
pos_weightÚ	reductionrœ   r‡   rˆ   gš™™™™™©?)rq   Úswitch_weightsrŠ   Ú binary_cross_entropy_with_logitsrž   rŸ   Úabs)
r™   Úyr    r®   ÚswÚbcer¡   ÚlossÚdvÚm2s
             r*   Úweighted_bcer¹   ‘   sØ   € Ü	
×	Ñ	˜!˜QÓ	€BÜ
×
,Ñ
,Øˆq˜Z°6ô;€Cà
ˆQ‰€AØ�!‰G�=‰=‹?˜QŸU™U›W×.Ñ.¨sÓ3Ñ3€DØ
’�1‘2�‰,˜šq # 2 #˜v™Ñ
&×	+Ñ	+Ó	-€BØ	
Š1ˆa‰bˆ5‰�A’a˜˜"˜�f‘IÑ	€BØ�$˜"˜r™'Ÿ™›Ñ(¨2¯6©6«8×+=Ñ+=¸cÓ+BÑBÑB€DØ€Kr,   c                 ó  — t        dt        |dz  d«      «      }||k  r||dz   z  |z  }nJ||z
  t        ||z
  d«      z  }dd|dz
  z  dt        j                  t        j                  |z  «      z   z  z   }| j
                  D ]  }||d<   Œ	 |S )Né(   é
   r‡   gñhãˆµøä>r   rœ   Úlr)Úminr¤   r¥   ÚcosÚpiÚparam_groups)Úoptr§   r¨   ÚbaseÚwarmr½   rª   Úgroups           r*   Úset_lrrÆ   �   s˜   € Üˆr”3�u ‘{ AÓ&Ó'€DØˆd‚{Ø�T˜A‘XÑ Ñ%‰à�D‰[œC ¨¡¨aÓ0Ñ0ˆØ�C˜4 $™;Ñ'¨3´·±¼$¿'¹'ÀA¹+Ó1FÑ+FÑGÑGˆØ×!Ô!ˆØˆˆdŠð "à€Ir,   c                 óÆ	  — t        |«      }t        |j                  «       «      }t        j                  d|z
  t        |d«      z  g|¬«      }t        | j                  «       «      t        |j                  «       «      z   }t        j                  j                  |t        d¬«      }t        j                  j                  t        j                  «      }t!        j"                  | «      j%                  «       }| j'                  «        |j'                  «        t)        j(                  «       }d x}x}x}x}}t+        |«      D �]
  }t-        |||t        «       t/        |||
«      }t        j0                  ||t2        |||«      \  }}}t        j4                  |«      j7                  |d¬«      }t        j4                  |«      j7                  |d¬«      }t        j4                  |«      j7                  |d¬«      }t        j8                  |«      }t        j:                  |j=                  d«      |¬«      |z  } |j?                  d¬	«       tA        | |«      \  }!}"tC        |!|||«      }#tE        |"|«      }$ |tG        |$|«      «      }%tI        jJ                  |%| «      }&|#||&z  z   }'t        jL                  |'«      s6tO        d
|› d|	› d|#jQ                  «       › d|&jQ                  «       › d|› �
«      ‚|'jS                  «        t        jT                  jV                  jY                  |d«       |j[                  «        t        j\                  | |t^        «       t        j`                  «       5  t        |%jc                  d«      | k(  j                  «       j                  «       jQ                  «       «      }(d d d «       t        |'jQ                  «       «      }t        |#jQ                  «       «      }t        |&jQ                  «       «      }|}(}|dk(  s|dz   dz  dk(  s
|dz   |k(  s�ŒÝte        d|	› d|dz   › d|› d|d›d|d›d|d›d|d›d|d›d|› �«       �Œ |j%                  «        t        jf                  ||t2        |||«      })te        d|	› d|d›d|d›d|d›d|d›d|d›d|)d›d|› d |
› d!t)        j(                  «       |z
  d"›d#�«       |ti        ||||||)||
¬$«      fS # 1 sw Y   �Œ-xY w)%Nrœ   gü©ñÒMbP?)r}   g-Cëâ6?)r½   Úweight_decayT)Únon_blockingr   )Úset_to_noneznon-finite loss at step z for z: clf=z dom=z lam=rˆ   r‡   éÈ   z    z step Ú/z loss ú.4fz clf z dom u    Î» z dacc ú.3fz n_env z
  trained u    Î»_end z frame-acc z lmax z (z.0fzs))r¶   ÚclfÚdomÚlam_endÚ
domain_accÚ	frame_accÚn_envr©   )5Úlenr%   Úmeanri   Útensorr¤   r|   Ú
parametersÚoptimÚAdamWÚLRrn   ÚrandomÚdefault_rngrq   Ú
TRAIN_SEEDÚcopyÚdeepcopyÚevalrh   ÚtimeÚrangerÆ   r«   Úsample_batchrk   Ú
from_numpyrz   ÚaugmentÚaranger‘   Ú	zero_gradrš   r¹   r¢   r7   rŠ   Úcross_entropyÚisfiniterl   Úitemr/   r>   ÚutilsÚclip_grad_norm_r§   Ú
ema_updateÚ	EMA_DECAYÚno_gradÚargmaxr]   Útrain_frame_accÚdict)*r–   Údomain_headÚgroupsÚy_allrc   rg   r}   ÚstepsÚbatchÚtagr©   rÔ   r�   r®   ÚparamsrÂ   ÚrngÚemaÚt0ÚlastÚlast_clfÚlast_domÚlast_lamÚ	last_daccr§   ÚlamÚxbÚybÚmbr)   r³   r    Údomain_yr™   rH   Úclf_lossrK   Úd_logitsÚdom_lossr¶   ÚdaccÚaccs*                                             r*   Ú
train_dannr  ©   sq  € Ü�‹K€EÜ
�—
‘
“Ó
€CÜ—‘  c¡	¬S°°d«^Ñ;Ð<ÀVÔL€JÜ�%×"Ñ"Ó$Ó%¬¨[×-CÑ-CÓ-EÓ(FÑF€FÜ
�+‰+×
Ñ
˜F¤r¸Ð
Ó
=€CÜ
�)‰)×
Ñ
¤§¡Ó
-€CÜ
�-‰-˜Ó
×
#Ñ
#Ó
%€CØ	‡K�K„MØ×ÑÔÜ	�‰‹€BØ8<Ð<€DÐ<ˆ8Ð<�hÐ< ¨IÜ�e—ˆÜˆs�D˜%¤Ô$Ü˜$  tÓ,ˆÜ—^‘^ C¨´¸ÀÀBÓG‰
ˆˆB�Ü×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ×Ñ˜RÓ ×#Ñ# F¸Ð#Ó>ˆÜ�I‰I�a‹Lˆä—<‘< §¡ q£	°&Ô9¸EÑAˆØ�‰ $ˆÔ'Ü" 5¨!Ó,‰ˆˆqÜ  q¨!¨ZÓ8ˆÜ˜˜A‹ˆÙœs 4¨›~Ó.ˆÜ—?‘? 8¨XÓ6ˆØ˜# ™.Ñ(ˆÜ�~‰~˜dÔ#ÜØ*¨4¨&°°c°Uð ;Ø—}‘}“Ð' u¨X¯]©]«_Ð,=¸UÀ3À%ðIóJð Jð 	�‰ŒÜ�‰�‰×&Ñ& v¨sÔ3Ø�‰Œ
Ü	�‰�U˜C¤Ô+Ü�]‰]�_Ü˜(Ÿ/™/¨"Ó-°Ñ9×@Ñ@ÓB×GÑGÓI×NÑNÓPÓQˆD÷ ä�T—Y‘Y“[Ó!ˆÜ˜Ÿ™›Ó)ˆÜ˜Ÿ™›Ó)ˆØˆØˆ	Ø�1Š9˜ ™ SÑ(¨AÒ-°¸±¸UÔ1BÜØ�s�e˜6 $¨¡( ¨1¨U¨G°6¸$¸s¸ð DØ �n E¨(°3¨°t¸HÀS¸>ð JØ! #� g¨e¨Wð6ö7ðC ðJ ‡H�H„JÜ
×
Ñ
˜C ¬°°R¸Ó
@€CÜØ
�S�E˜  S˜z¨¨x¸¨n¸EÀ(È3Àð PØ˜3�˜v i° _°KÀÀC¸yð IØ��v˜d˜V 2¤d§i¡i£k°BÑ&6°sÐ%;¸2ð	?ô@ð ”Ø�x X°xØ¨°5¸tôEð Eð E÷% ‰_ús   Í#ASÓS 	c	                 ó®  — t        | |«      \  }	}
}}}t        |«      }t        ||«      j                  |«      }	 t	        |	||||
||||||«      \  }}||
|||fS # t
        j                  j                  $ r^ |r‚ t        d|› d|› d�«       ~	~|j                  dk(  rt
        j                  j                  «        t        | |||||dz  ||d¬«	      cY S w xY w)Nz	  OOM on z
 at batch z; halving onceÚcudar   T)Úhalved)r…   rÕ   r9   rz   r  ri   r  ÚOutOfMemoryErrorr]   ÚtypeÚempty_cacheÚfit_with_oom)Ú	init_pathrõ   rö   r}   r÷   rø   rù   r©   r  r–   rc   rg   Ú_trainrE   rÔ   rô   rü   Ústatss                     r*   r  r  å   s÷   € Ü%.¨y¸&Ó%AÑ"€Eˆ2ˆr�6˜7Ü�‹K€EÜ˜W eÓ,×/Ñ/°Ó7€KðYÜØ�; ¨¨r°2°v¸uÀeÈSÐRVóX‰
ˆˆUà�B˜˜E 5Ð(Ð(øÜ�:‰:×&Ñ&ò YÙØÜ�9˜S˜E ¨E¨7°.ÐAÔBØ�;Ø�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$ÜØ�v˜u f¨e°U¸a±ZÀÀdÐSWôYò 	YðYús   ºA ÁA8CÃCc                 ó  — i }| j                  «       D ]r  \  }}t        j                  t        j                  |t        j
                  «      d d …d f   «      j                  d«      j                  t        j
                  «      ||<   Œt |S )Nrˆ   )ÚitemsÚV4Úhighpassrn   ro   Úfloat64ÚreshapeÚastype)ÚstreamÚoutÚkeyÚds       r*   Úhp30_streamr#  ø   sg   € Ø
€CØ—,‘,–.‰ˆˆQÜ—;‘;œrŸz™z¨!¬R¯Z©ZÓ8º¸D¸ÑAÓB×JÑJÈ2ÓN×UÑUÔVX×V`ÑV`ÓaˆˆCŠð !à€Jr,   c                 óX  — i }| D ]¢  }t        j                  | |   t         j                  «      }t        j                  ||   t         j                  «      }t        t	        |«      t	        |«      «      }||d | z  d|z
  |d | z  z   j                  t         j                  «      ||<   Œ¤ |S )Nrœ   )rn   ro   r  r¾   rÕ   r  )Úa_streamÚb_streamr¡   r   r!  rQ   ÚbÚns           r*   Ú	blend_oner)  ÿ   s’   € Ø
€CÛˆÜ�J‰J�x ‘}¤b§j¡jÓ1ˆÜ�J‰J�x ‘}¤b§j¡jÓ1ˆÜ”�A“œ˜A›ÓˆØ˜˜"˜1˜‘I  q¡¨A¨b¨q¨EÑ 1Ñ1×9Ñ9¼"¿*¹*ÓEˆˆCŠð	 ð
 €Jr,   c                 ó2  — t        j                  | |||t        |«      }t        j                  |«      }t        j
                  ||t        t        «      }|D �	ci c]  }	|	t        ||	   «      “Œ }
}	t        j
                  |t        j                  |
«      t        t        «      }t        d|› dt        › dt        › d|d   d›d|d   d	›d
|d   d›d|d   d	›�«       t        d|› dt        › dt        › d|d   d›d|d   d	›�
«       t        ||¬«      |fS c c}	w )NzLODO ú p ú sc ú  H r   rÍ   ú Acc r    ú.2fú L ÚLrÎ   ú SDT ÚSDTz
LODO_hp30 ©ÚdannÚhp30)rq   Ú	infer_allrk   ÚNÚto_evÚofficialÚP_STAYÚSCALEr#  r]   ró   )r–   rK   rc   rg   Úheldr}   ÚstreamsÚevÚoffÚdsÚhpÚoff_hps               r*   Ú
score_lodorD  	  s!  € Ü�k‰k˜%  r¨2¬v°vÓ>€GÜ	
�‰�Ó	€BÜ
�*‰*�T˜2œv¤uÓ
-€CÙ18Ó	9±¨2ˆ"Œk˜' "™+Ó&Ñ
&°€BÐ	9Ü�Z‰Z˜œaŸg™g b›k¬6´5Ó9€FÜˆu�T�F˜#œf˜X T¬%¨°°S¸±X¸c°NÀ%ÈÈEÉ
ÐSVÐGWð XØ�c‘(˜3�˜u S¨¡Z°Ð$4ð6ô 7äˆz˜$˜˜s¤6 (¨$¬u¨g°T¸&À¹+ÀcÐ9JÈ%ÐPVÐW\ÑP]Ð^aÐObÐcÔdÜ�S˜vÔ&¨Ð/Ð/ùò 
:s   ÁDc                 ó<  — g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       |D �	ci c]  }	|	t        ||	   «      “Œ }}	g }|j                  «       D ]s  \  }	}
||	   }|
j                  «       D ]V  \  }}|j                  t        j                  |t        j                  «      t        j
                  ||   dk(  dd«      z  «       ŒX Œu t        t        j                  |«      j                  «       «      }t        t        j                  |«      j                  «       «      }t        d|d›d|d›dt        › �«       i }t        D �]ú  }	t        j                  | |	||	   i||t         |«      |	   }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t        |«      }i }|j                  «       D ]q  \  }}||	   |   }t        j                  |t        j                  «      }t#        |t        j$                  t'        |«      «      |d	   |d
   |d   |d   |d   ¬«      ||<   Œs t)        j*                  |||t        z  t,        d«      }t#        ||¬«      ||	<   t        d|	› dt,        › dt        › d|d   d›d|d   d›d|d   d›d|d   d›�«       t        d|	› dt,        › dt        › d|d   d›d|d   d›�
«       �Œý |S c c}	w )Nr   rœ   ç      ð¿z  external emissions mu rÍ   z sd z scale z  external hp30 emissions mu ÚattÚt_endÚatt128Ún128Úsubject©Úr0Úr1rG  rH  rI  rJ  rK  ç      è?r4  zEXT r+  r,  r-  r   r.  r    r/  r0  r1  rÎ   r2  r3  z	EXT_hp30 )r  Úappendrn   ro   r  Úwherer%   ÚconcatenaterÖ   Ústdr]   r<  r#  Ú
TEST_NAMESrq   r7  rk   ró   ÚzerosrÕ   ÚEÚscorer;  )r–   Úfeat_extÚmetaÚmu_inÚsd_inÚcorpus_streamsÚ
corpus_attr}   ÚpartsrA  ÚtableÚlabelsr!  r"  Úmu_eÚsd_eÚ	hp_corpusÚparts_hpÚmu_hpÚsd_hpÚrowsr  r?  Úmeta_kÚrÚ	stream_hpÚev_hpÚr_hps                               r*   Úscore_externalrm    sÜ  € Ø€EØ#×)Ñ)Ö+‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�L‰LœŸ™ A¤r§z¡zÓ2´R·X±X¸fÀS¹kÈQÑ>NÐPSÐUYÓ5ZÑZÕ[ñ $ð ,ô ”—‘ Ó&×+Ñ+Ó-Ó.€DÜ”—‘ Ó&×*Ñ*Ó,Ó-€DÜÐ'¨¨S z°°d¸3°Z¸wÄuÀgÐNÔOá?MÓN¹~¸�”[ °Ñ!3Ó4Ñ4¸~€IÐNØ€HØ—_‘_Ö&‰	ˆˆEØ˜B‘ˆØ—k‘k–m‰FˆC�Ø�O‰OœBŸJ™J q¬"¯*©*Ó5¼¿¹ÀÈÁÐPQÑAQÐSVÐX\Ó8]Ñ]Õ^ñ $ð 'ô ”"—.‘. Ó*×/Ñ/Ó1Ó2€EÜ”"—.‘. Ó*×.Ñ.Ó0Ó1€EÜÐ,¨U°3¨K°t¸EÀ#¸;ÀgÌeÈWÐUÔVà€DßˆjˆÜ—‘˜U R¨°"©Ð$6¸¸uÄfÈfÓUÐVXÑYˆØˆØ—l‘l–n‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ˜a¤B§H¡H¬S°«VÓ$4¸&À¹-ÈvÐV]ÉØ"(¨Ñ"2¸À¹ÐQWÐXaÑQbôdˆBˆsŠGð %ô
 �G‰G�B˜˜d¤U™l¬F°DÓ9ˆÜ Ó'ˆ	ØˆØ—o‘oÖ'‰FˆC�Ø˜"‘X˜c‘]ˆFÜ—
‘
˜1œbŸj™jÓ)ˆAÜ ¤r§x¡x´°A³Ó'7¸VÀE¹]ÐRXÐY`ÑRaØ%+¨HÑ%5¸FÀ6¹NÐTZÐ[dÑTeôgˆE�#ŠJð (ô
 �w‰w�u˜e U¬U¡]´F¸DÓAˆÜ˜Q TÔ*ˆˆR‰Ü�4˜�t˜3œv˜h d¬5¨'°°a¸±f¸S°\ÀÀqÈÁxÐPSÀnð UØ˜‘f˜S�\  q¨¡x° nð6ô 	7ä�9˜R˜D ¤F 8¨4´¨w°d¸4À¹9ÀS¸/ÈÈtÐTYÉ{Ð[^ÐN_Ð`Öað) ð* €KùòA Os   Ã?Pc                  ó¤  — t         j                  j                  dg d¢¬«       i i }} t        D �]Š  }g }t	        d«      D ]f  }t
        j                  j                  t        d|› d|› d�«      }t        |d«      5 }|j                  t        j                  |«      «       d d d «       Œh i i c| |<   ||<   |d	   D ]à  }|D �cg c]0  }||   d
   ||   d   z
  j                  t        j                  «      ‘Œ2 }	}|d	   |   }
t        j                   |	d«      | |   |<   t#        t        j$                  |
d   «      t        j$                  |
d   t        j&                  «      t        j$                  |
d   «      t)        |
d   «      t)        |
d   «      ¬«      ||   |<   Œâ t+        d|› dt-        | |   «      › d�«       �Œ� | |fS # 1 sw Y   �Œ‹xY wc c}w )NÚ
eaP_n5_t60)ÚenvÚonsetrÐ   )ÚprepÚtargetsé   Úext_clf_Ú_w10b3sw2P_evidence_sz.pklÚrbr   rM  rN  r‡   rG  rH  rI  rJ  rK  )rG  rH  rI  rJ  rK  z  external z: z trials)rV  ÚCONFÚupdaterT  rã   rT   rV   ÚjoinÚEVIDrY   rP  Úpicklerj   r  rn   r{   Ústackró   ro   r  rm   r]   rÕ   )ÚlogitsrY  rA  ÚevsÚirV   r\   r!  r?  ÚcolsÚe0s              r*   Úload_externalrƒ  B  sª  € Ü‡F�F‡M�M�|Ò-D€MÔEØ�rˆD€FßˆjˆØˆÜ�q–ˆAÜ—7‘7—<‘<¤¨°°Ð4IÈ!ÈÈDÐ&QÓRˆDÜ�d˜DÔ! RØ—
‘
œ6Ÿ;™; r›?Ô+÷ "Ð!ð ð  " 2Ðˆˆr‰
�D˜‘HØ�q”6ˆCÙQTÓUÑQTÈ2�R˜‘W˜T‘] R¨¡W¨T¡]Ñ2×:Ñ:¼2¿:¹:ÕFÐQTˆDÐUØ�Q‘˜‘ˆBÜ Ÿh™h t¨QÓ/ˆF�2‰J�s‰OÜ Ü—J‘J˜r %™yÓ)´·±¸B¸w¹KÌÏÉÓ1TÜ—z‘z " X¡,Ó/´c¸"¸V¹*³oÌsÐSUÐV_ÑS`ÓOaôcˆD�‰H�SŠMð	 ô 	�;˜r˜d "¤S¨°©£_Ð$5°WÐ=Ö>ð ð �4ˆ<Ð÷ "Ñ!üò Vs   Á9%G Â?5GÇ G
c                 ó   — t         j                  j                  t        d|› d�«      }t         j                  j	                  |«      st        d|› d|› �«       y t        j                  ||«      \  }}}t        j                  ||||t        |«      }~|j                  dk(  rt        j                  j                  «        | D �	ci c]  }	|	t        | |	   ||	   t         «      “Œ }
}	t#        j$                  |t#        j&                  |
«      t(        t*        «      }t        dt         › d|› dt(        › d	t*        › d
|d   d›d|d   d›�«       |S c c}	w )Núheld-ú.ptz
FUSE skip z
: missing r  ÚFUSE_wÚ r+  r,  r-  r   rÍ   r.  r    r/  )rT   rV   rz  r   Úisfiler]   ÚFuseÚ	load_ckptrq   r7  rk   r  ri   r  r  r)  ÚFUSE_Wr8  r:  r9  r;  r<  )Údann_streamsÚfeat_allr=  r}   rV   Ú	synth_netÚsynth_muÚsynth_sdÚ	synth_allrA  Úblendedr@  s               r*   Úscore_fuse_lodor”  W  s/  € Ü�7‰7�<‰<œ	 U¨4¨&°Ð#4Ó5€DÜ�7‰7�>‰>˜$ÔÜ�:˜d˜V :¨d¨VÐ4Ô5ØÜ$(§N¡N°4¸Ó$@Ñ!€Iˆx˜Ü—‘˜I x°¸8ÄVÈVÓT€IØØ‡{�{�fÒÜ�
‰
×ÑÔ ÙP\Ó]ÑP\È"ˆr”9˜\¨"Ñ-¨y¸©}¼fÓEÑEÐP\€GÐ]Ü
�*‰*�Tœ1Ÿ7™7 7Ó+¬V´UÓ
;€CÜØ
”�˜˜$˜˜s¤6 (¨$¬u¨gð 6Ø�‰X�cˆN˜%  E¡
¨3Ð/ð	1ô2ð €Jùò ^s   ÃEc                 óô  — d}t         j                  j                  t        d|› d�«      }t         j                  j	                  |«      set         j                  j                  t
        ddd|› d�«      }t         j                  j	                  |«      r|}t        d|› �«       nt        |«      ‚t        D �cg c]
  }||k7  sŒ	|‘Œ }}t        j                  | |«      \  }}t         j                  j                  dd«      j                  d	«      D �	cg c]  }	t        |	«      ‘Œ }
}	t        t         j                  j                  d
d«      «      }g }|
D �]-  }d|› �}t        d|› d|› �«       	 t!        |||||t"        ||«      \  }}}}}t%        || ||||«      \  }}t        |d   d   «      }t        |d   d   «      }~|j&                  dk(  rt(        j*                  j-                  «        |d   dk  xs |dk  }|d   duxr) t/        j0                  |d   «      xr |d   dkD  xr |dk\  }t3        d/|||||dœ|¤Ž}|j5                  |«       t        d|› d|› d|› d|d   d›d|d   d›d|d›d |d!›d"|d#   d›�«       �Œ0 |D �cg c]  }|j                  d(«      sŒ|‘Œ }}|sd|fS t;        |d)„ ¬*«      }t        d+|d,   › d|d-   d›d |d.   d!›d|d   d›�«       t        |d,   «      |fS c c}w c c}	w # t6        $ rp}t        d|› d$|› �«       |j5                  t3        |d%d&t9        |«      ¬'«      «       |j&                  dk(  rt(        j*                  j-                  «        Y d}~�Œd}~ww xY wc c}w )0u<   Short train on held-AVGC; pick Î»_max; abort if near-chance.ÚAVGCr…  r†  r   Ústem_ms96_irmzSMOKE init fallback ÚSMOKE_LMAXSz0.1,0.5,1.0Ú,ÚSMOKE_STEPSÚ60z
smoke-lmaxu   SMOKE Î»_max=z steps=r5  r    r   r  rÓ   gš™™™™™á?g     €K@r¶   N)ÚokÚnear_chancerø   Úavgc_HÚavgc_Accz ok=z near_chance=z loss=rÍ   z frame=rÎ   z AVGC rÌ   r/  z dacc=rÒ   z	 FAILED: FT)r©   rœ  r�  Úerrorrœ  c                 ó8   — | d   | d   t        | d   dz
  «       fS )Nrž  rÓ   r©   r   )r²   )ri  s    r*   Ú<lambda>zsmoke_lmax.<locals>.<lambda>š  s$   €  q¨¡{°A°k±NÄSÈÈ6ÉÐUXÉÓEYÐDYÑ&Zr,   )r!  u   SMOKE chose Î»_max=r©   rž  rŸ  r4   )rT   rV   rz  r   r‰  ÚEXPr]   ÚFileNotFoundErrorr   rq   Útrial_groupsÚenvironÚgetÚsplitr%   rm   r  r   rD  r  ri   r  r  r¥   rê   ró   rP  Ú	ExceptionÚstrr¤   )rŽ  r}   r=  rV   Úaltr"  Útrain_dsrõ   rö   r)   ÚlmaxsÚsmoke_stepsr   r©   rù   rü   rc   rg   Úusedr  ÚscoresÚ_Úavgc_accÚavgc_hr�  rœ  ÚrowÚexcri  Úok_rowsÚbests                                  r*   Ú
smoke_lmaxr¸  i  sµ  € à€DÜ�7‰7�<‰<œ E¨$¨¨sÐ"3Ó4€DÜ�7‰7�>‰>˜$Ôä�g‰g�l‰lœ3 ¨/¸UÀ4À&ÈÐ;LÓMˆÜ�7‰7�>‰>˜#ÔØˆDÜÐ+¨C¨5Ð1Õ2ä# DÓ)Ð)Ý"Ó0™7�a a¨4£i’˜7€HÐ0Ü—N‘N 8¨XÓ6�M€FˆEÜ!Ÿz™zŸ~™~¨m¸]ÓK×QÑQÐRUÔVÓWÑV˜!ŒU�1�XÐV€EÐWÜ”b—j‘j—n‘n ]°DÓ9Ó:€KØ€GÜˆØ˜4˜&Ð!ˆÜ�=   g¨k¨]Ð;Ô<ð	)Ü'3Ø�f˜e V¨[¼%ÀÀdó(LÑ$ˆC��R˜˜uô # 3¨°"°b¸$ÀÓG‰IˆF�AÜ˜V F™^¨EÑ2Ó3ˆHÜ˜6 &™>¨#Ñ.Ó/ˆFØØ�{‰{˜fÒ$Ü—
‘
×&Ñ&Ô(Ø  Ñ-°Ñ4ÒJ¸(ÀT¹/ˆKØ˜‘- tÐ+ò E´·±¸eÀF¹mÓ0Lò EØ˜KÑ(¨4Ñ/òEØ4<ÀÑ4Dð äð ;Ø ;°dØ¨ñ;à49ñ;ˆCð �N‰N˜3ÔÜØ ˜v T¨"¨¨]¸;¸-ð HØ˜f™ cÐ*¨'°%¸Ñ2DÀSÐ1Ið JØ˜s�| 1 X¨c N°&¸¸|Ñ9LÈSÐ8QðSöTð) ñ: "Ó1™'�Q Q§U¡U¨4¥[Šq˜'€GÐ1ÙØ�Wˆ}ÐÜˆwÑZÔ[€DÜØ
˜d 6™l˜^¨6°$°x±.ÀÐ1EÀQÀtÈJÑGWÐX[ÐF\ð ]Ø�kÑ" 3Ð'ð	)ô*ô ��f‘Ó Ð'Ð'ùòS 1ùâWøô6 ò 	)Ü�} T F¨)°C°5Ð9Ô:Ø�N‰Nœ4 T¨eÀÌSÐQTËXÔVÔWØ�{‰{˜fÒ$Ü—
‘
×&Ñ&Ô(ÿùð		)üò
 2s8   Â7
K/ÃK/ÄK4Å.DK9ÊM5ÊM5Ë9	M2ÌA%M-Í-M2c                  ó*  — t        j                  t         j                  j                  t        «      d¬«       t        t        d«      j                  «        t        j                  t        j                  j                  «       rdnd«      } t        d| › dt        › dt        › d	t        › d
t        › dt         › dt"        › �«       dt        j$                  j                  j&                  _        dt        j$                  j*                  _        t-        j.                  | «       t1        j2                  «        t-        j4                  «       d   }t        j                  t6        d¬«       t        }t         j                  j9                  t         j                  j;                  |d«      «      srt         j                  j;                  t<        dd«      }t         j                  j9                  t         j                  j;                  |d«      «      r|}t        d|› �«       t        }d }t"        s$t         j>                  jA                  dd«      dk(  �r`|tC        «       d<   tE        || «      \  }}|€¢t        d«       tG        |d|¬«      }t        j                  t         j                  j                  tH        «      d¬«       t        tH        jK                  dd«      d«      5 }tM        jN                  ||dtP        ¬«       d d d «       tS        d«      ‚|}t"        r˜tG        |||¬«      }t        j                  t         j                  j                  tH        «      d¬«       t        tH        jK                  dd«      d«      5 }tM        jN                  ||dtP        ¬«       d d d «       t        d«       y i }	tT        D �]ƒ  }
t         j                  j;                  |d |
› d!�«      }t         j                  j9                  |«      stW        |«      ‚tT        D �cg c]
  }||
k7  sŒ	|‘Œ }}t-        jX                  ||«      \  }}t        d"|
› d
|› d#|› d$|› �«       t[        |||| t        t        d |
› �|«      \  }}}}}t        j\                  |j_                  «       ||||t        |||t`        d%œ
t         j                  j;                  t6        d |
› d!�«      «       tc        |||||
| «      \  }}te        |||
| «      }|�||d&<   tG        |||¬'«      |	|
<   ~| jf                  dk(  s�Œft        j                  ji                  «        �Œ† t        d(|› d)|› �«       t-        jX                  |tk        tT        «      «      \  }}t         j                  j;                  |d*«      }t[        |||| t        t        d+|«      \  }}}}}t        j\                  |j_                  «       |||tk        tT        «      t        |||t`        d%œ
t         j                  j;                  t6        d*«      «       t-        jl                  ||||tn        | «      }tq        «       \  }}ts        jt                  |«      d   }tw        ||||||t0        jx                  d,   | «      }d }t         j                  j;                  t         d*«      }t         j                  j9                  |«      �r¾t{        j|                  || «      \  } }!}"t-        jl                  | ||!|"tn        | «      }#t-        jl                  | ||!|"tn        | «      }$~ | jf                  dk(  rt        j                  ji                  «        |D �%ci c]  }%|%t        ||%   |#|%   t€        «      “Œ }&}%g }'|&jƒ                  «       D ]„  \  }%}(t0        jx                  d,   |%   })|(jƒ                  «       D ]V  \  }*}|'j…                  t‡        jˆ                  |t†        jŠ                  «      t‡        jŒ                  |)|*   d-k(  d.d/«      z  «       ŒX Œ† tQ        t‡        jŽ                  |'«      j‘                  «       «      }+tQ        t‡        jŽ                  |'«      j“                  «       «      },t-        jl                  ||||tn        | «      }-i }t”        D ]ù  }%t        |-|%   |$|%   t€        «      }.i }/|.jƒ                  «       D ]q  \  }*}||%   |*   }0t‡        jˆ                  |t†        jŠ                  «      }tG        |t‡        j–                  t™        |«      «      |0d,   |0d0   |0d1   |0d2   |0d3   ¬4«      |/|*<   Œs t›        jœ                  |/|+|,tž        z  t         d5«      }1|1||%<   t        d6t€        › d7|%› d8t         › d9tž        › d:|1d;   d<›d=|1d>   d?›�«       Œû ~n~t        d@|› �«       tQ        t‡        j�                  tT        D �cg c]  }|	|   dA   dB   d;   ‘Œ c}«      «      }2tQ        t‡        j�                  tT        D �cg c]  }|	|   dA   dB   d>   ‘Œ c}«      «      }3t        dC|2d<›d=|3d?›�«       |	dD   dA   dB   }4t        dE|4d;   d<›dF|4d>   d?›dGt¢        d;   d<›dFt¢        d>   d?›dH|4d;   t¢        d;   z
  dI›dJ|4d>   t¢        d>   z
  dK›�«       d x}5}6d&|	dD   dA   v �r	|	dD   dA   d&   }7t        dLt€        › dM|7d;   d<›dF|7d>   d?›dGt¢        d;   d<›dFt¢        d>   d?›dH|7d;   t¢        d;   z
  dI›dJ|7d>   t¢        d>   z
  dK›�«       tQ        t‡        j�                  tT        D �cg c]  }d&|	|   dA   v r|	|   dA   d&   d;   ‘Œ c}«      «      }5tQ        t‡        j�                  tT        D �cg c]  }d&|	|   dA   v r|	|   dA   d&   d>   ‘Œ c}«      «      }6t        d6t€        › dN|5d<›d=|6d?›�«       tG        ddi dOt         “dPtž        “dQt        “dRt        “dS|“dT|“dUt         “dVt€        “dW|“dXt¢        “dYt¤        “dZtT        D �ci c]  }||	|   dA   “Œ c}“d[tT        D �ci c]  }||	|   d\   “Œ c}“d]tG        |2|3¬^«      “d_|5�tG        |5|6¬^«      nd “d`|“da|“db|“Ž}t        j                  t         j                  j                  tH        «      d¬«       t        tH        d«      5 }tM        jN                  ||dtP        ¬«       d d d «       t        dctH        › �«       y # 1 sw Y   tS        d«      ‚xY w# 1 sw Y   �	Œ<xY wc c}w c c}%w c c}w c c}w c c}w c c}w c c}w c c}w # 1 sw Y   ŒgxY w)eNTrO   r¡   r  r_   zdevice z steps z batch u    Î»_max z init z synth z smoke=r   zheld-AVGC.ptr   r—  u   init_dir fallback â†’ Ú	TUNE_LMAXr   r   r   u4   SMOKE ABORT_CHANCE: all Î»_max near-chance or failedÚchance)ÚsmokeÚabortÚinit_dirz.jsonz_smoke.jsonr‡   )ÚindentÚdefaultr   )r¼  Úchosen_lmaxr¾  z&SMOKE done; exiting without full scorer…  r†  zfold held-out=u    Î»_max=z	 domains=)
rf   rc   rg   Úinitrh   r÷   rø   Ú	dann_lmaxr  rb   Úfuse_w05)r°  r  rø   z.all-5 DANN fine-tune for AASD and Carta, init u   /all5.pt Î»_max=zall5.ptÚall5rG  r   rœ   rF  rH  rI  rJ  rK  rL  rO  r‡  z EXT r+  r,  r-  r   rÍ   r.  r    r/  zFUSE ext skipped; missing r°  r5  zLODO mean H r–  z
AVGC dann rÌ   z vs tip u    Î”H z+.4fu    Î”Acc z+.2fzAVGC fuse_wrˆ  z LODO mean H Úp_stayÚscaler÷   rø   rÃ  r¾  Ú	synth_dirÚfuse_wr¼  Útip_avgcÚtip_lodoÚlodoÚ
lodo_statsr  Ú	lodo_meanr   Úfuse_lodo_meanÚexternalÚfuse_externalÚ
all5_statszwrote r4   )SrT   rU   rV   rW   rX   rY   Úcloseri   r}   r  Úis_availabler]   r   r   r   r   r   r   ÚbackendsÚmatmulÚ
allow_tf32Úcudnnrq   Úassert_causalr8  Úload_allÚbuild_featuresÚCKPT_DIRr‰  rz  r£  r¦  r§  Úglobalsr¸  ró   ÚOUTÚreplaceÚjsonÚdumpr%   Ú
SystemExitr   r¤  r¥  r  ÚsaveÚ
state_dictÚCFGrD  r”  r  r  r|   r7  rk   rƒ  r  Úbuild_features_fromrm  ÚGrŠ  r‹  r)  rŒ  r  rP  rn   ro   r  rQ  rR  rÖ   rS  rT  rU  rÕ   rV  rW  r<  r;  ÚTIP_AVGCÚTIP_LODO)8r}   rŽ  r¾  r«  r©   Ú
smoke_infoÚchosenr   r\   Úperr=  rV   r"  r¬  rõ   rö   rü   rc   rg   r¯  r  r°  r>  Úfuse_offÚall_pathr\  Ú
ext_logitsÚext_metaÚext_featÚextÚfuse_extÚ
synth_all5r�  r�  r‘  Úsynth_corpusÚ	synth_extrA  Úblend_corpusr^  r_  r`  r!  ra  rb  Údann_extÚblend_streamr?  rh  ri  Úmean_hÚmean_accÚavgcÚfuse_mean_hÚfuse_mean_accÚfavs8                                                           r*   Úmainr   ¡  së  € Ü‡K�K”—‘—‘¤Ó$¨tÕ4ÜŒˆcƒN×ÑÔÜ�\‰\¤E§J¡J×$;Ñ$;Ô$=™&À5ÓI€FÜØ
�&�˜¤  w¬u¨g°X¼i¸[ð IÜˆz˜¤ ¨7´5°'ð	;ô<ð -1„E‡N�N×Ñ×ÑÔ)Ø&*„E‡N�N×ÑÔ#Ü‡O�O�FÔÜ‡J�J„LÜ×ÑÓ! $Ñ'€HÜ‡K�K” 4Õ(ä€HÜ�7‰7�>‰>œ"Ÿ'™'Ÿ,™, x°Ó@ÔAÜ�g‰g�l‰lœ3 ¨/Ó:ˆÜ�7‰7�>‰>œ"Ÿ'™'Ÿ,™, s¨NÓ;Ô<ØˆHÜÐ-¨h¨ZÐ8Ô9ä€DØ€JÝ”—
‘
—‘˜{¨CÓ0°CÓ7à (Œ‹	�*ÑÜ'¨°&Ó9Ñˆ�
Øˆ>ÜÐKÔLÜ˜Z¨xÀ(ÔKˆCÜ�K‰KœŸ™Ÿ™¬Ó,°tÕ<Ü”c—k‘k '¨=Ó9¸3Ô?À2Ü—	‘	˜#˜r¨!´UÕ;÷ @ä˜Q“-ÐØˆÝÜ˜Z°TÀHÔMˆCÜ�K‰KœŸ™Ÿ™¬Ó,°tÕ<Ü”c—k‘k '¨=Ó9¸3Ô?À2Ü—	‘	˜#˜r¨!´UÕ;÷ @äÐ=Ô>Øà
€Cß�ˆÜ�w‰w�|‰|˜H¨¨d¨V°3Ð&7Ó8ˆÜ�w‰w�~‰~˜dÔ#Ü# DÓ)Ð)Ý&Ó4™w˜!¨!¨t«)’A˜wˆÐ4ÜŸ™ x°Ó:‰ˆ�Ü�> $  v¨d¨V°8¸D¸6ÀÈ8È*ÐUÔVÜ#/Ø�&˜% ¬´¸¸t¸f°~Àtó$MÑ ˆˆR��T˜5ä�
‰
Ø—n‘nÓ&¨b¸ÀDØ¬¸Ø¨´sñ<ô �G‰G�L‰Lœ U¨4¨&°Ð#4Ó5ô		7ô
 % S¨(°B¸¸DÀ&ÓI‰ˆ�Ü" 7¨H°d¸FÓCˆØÐØ!)ˆF�:ÑÜ ¨e¸4Ô@ˆˆD‰	ØØ�;‰;˜&Ô Ü�J‰J×"Ñ"Ö$ð+ ô. ð Ø�JÐ.¨t¨fð6ô 7ä—N‘N 8¬T´'«]Ó;�M€FˆEÜ�w‰w�|‰|˜H iÓ0€HÜ+Ø�&˜% ¬´°v¸tó EÑ€CˆˆR��uä	‡J�JØ—.‘.Ó"¨"°BÀÜ”w“-¬%¸$Ø U´3ñ	8ô 	�‰�‰”X˜yÓ)ô	+ô
 —[‘[  h°°B¼ÀÓG€NÜ(›?Ñ€J�Ü×%Ñ% jÓ1°$Ñ7€HÜ
˜˜h¨°"°b¸.Ì!Ï#É#ÈeÉ*ÐV\Ó
]€Cà€HÜ—‘—‘œi¨Ó3€JÜ	‡w�w‡~�~�jÕ!Ü(,¯©°zÀ6Ó(JÑ%ˆ	�8˜XÜ—{‘{ 9¨h¸À(ÌFÐTZÓ[ˆÜ—K‘K 	¨8°X¸xÌÐQWÓXˆ	ØØ�;‰;˜&Ò Ü�J‰J×"Ñ"Ô$ñ %ó&á$�ð ”	˜.¨Ñ,¨l¸2Ñ.>ÄÓGÑGØ$ð 	ð &ð ˆØ%×+Ñ+Ö-‰IˆB�Ü—S‘S˜‘Z ‘^ˆFØŸ+™+ž-‘��QØ—‘œRŸZ™Z¨¬2¯:©:Ó6¼¿¹À&ÈÁ+ÐQRÑBRÐTWÐY]Ó9^Ñ^Õ_ñ (ð .ô ”R—^‘^ EÓ*×/Ñ/Ó1Ó2ˆÜ”R—^‘^ EÓ*×.Ñ.Ó0Ó1ˆÜ—;‘;˜s H¨b°"´f¸fÓEˆØˆßˆBÜ$ X¨b¡\°9¸R±=Ä&ÓIˆLØˆBØ&×,Ñ,Ö.‘��QØ! "™ cÑ*�Ü—J‘J˜q¤"§*¡*Ó-�ÜØœRŸX™X¤c¨!£fÓ-°6¸%±=ÈÈwÉØ! (Ñ+°&¸±.È&ÐQZÑJ[ô]��3’ð /ô —‘˜˜D $¬¡,´¸Ó=ˆAØˆH�R‰LÜØœ˜  b T¨¬V¨H°D¼¸ð @Ø�s‘V˜C�L  a¨¡h¨s ^ð5õ6ð ñ àÜÐ-¨j¨\Ð:Ô;ä”2—7‘7Å7ÓKÁ7¸a˜C ™F 8Ñ,¨VÑ4°SÓ9À7ÑKÓLÓM€FÜ”R—W‘WÅwÓOÁwÀ!˜c !™f XÑ.¨vÑ6°uÓ=ÀwÑOÓPÓQ€HÜˆ|˜F 3˜< u¨X°c¨NÐ;Ô<Øˆv‰;�xÑ  Ñ(€DÜØ
�T˜#‘Y˜s�O 1 T¨%¡[°Ð$5°XÜ�C‰=˜Ð
˜Qœx¨™¨sÐ3ð 4Ø�C‰yœ8 C™=Ñ(¨Ð.¨g°d¸5±kÄHÈUÁOÑ6SÐTXÐ5Yð	[ô\ð #'Ð&€K�-Ø�S˜‘[ Ñ*Ò*Ø�&‰k˜(Ñ# JÑ/ˆÜØœ&˜  3 s¡8¨C .°°#°e±*¸SÐ1AÀÜ˜‰}˜SÐ! ¤8¨E¡?°3Ð"7ð 8Ø�s‘8œh s™mÑ+¨DÐ1°¸¸U¹ÄhÈuÁoÑ9UÐVZÐ8[ð]ô	^ô œBŸG™GÕPWó %HÑPWÈ1Ø(2°c¸!±f¸XÑ6FÑ(Fð &)¨¡V¨HÑ%5°jÑ%AÀ#Ó%FÐPWñ %Hó Ió JˆäœbŸg™gÕT[ó 'JÑT[ÈqØ*4¸¸A¹¸xÑ8HÑ*Hð (+¨1¡v¨hÑ'7¸
Ñ'CÀEÓ'JÐT[ñ 'Jó Kó Lˆä�6œ&˜ ¨{¸3Ð.?¸uÀ]ÐSVÐDWÐXÔYä
ò ÝðÝ"ðÝ*/ðÝ7<ðáðá!)ðå5>ðåGMðñ ðõ $,ðõ 7?ðõ ,3Ó3©7 aˆa��Q‘˜Ñ!Ñ!¨7Ò3ð	õ
 18Ó8±¨1�A�s˜1‘v˜g‘Ñ&°Ò8ðô ˜ XÕ.ðð 'Ð2ô ˜{°Õ>Ø8<øðñ ðñ ðñ ð€Cô ‡K�K”—‘—‘¤Ó$¨tÕ4Ü	Œc�3Œ˜2Ü�	‰	�#�r !¬UÕ3÷ 
äˆv”c�Uˆ^Õ÷C @ä˜Q“-Ðú÷
 @Ñ?üò 5ùòX&ùò> LùÚOùò%Hùò'Jùò 4ùÚ8÷ 
ˆúsZ   Ër>Í<sÐ
s!Ðs!Ýs&æ/s+ç+s0ìs5ís:ï#s?ï?tòt	ò>sósô	tÚ__main__)F)RÚ__doc__rß   rà  r¥   rT   r|  râ   Únumpyrn   ri   Útorch.nnr>   Útorch.nn.functionalÚ
functionalrŠ   Útorch.autogradr   Úensemble_clf_nestedr8  Úensemble_clf_transformer_v2rq   Úensemble_clf_transformer_v4r  Úeval_externalrV  Ústem_ms96_irm_swa_fuserŠ  Úcommonr   rV   rW   ÚabspathÚ__file__r£  r¦  r§  rz  r   r   rÜ  rX   rÞ  r{  rT  rm   r   r   r%   r   r   rï   rÛ   r;  r<  rå  rk   rŒ  ró   rè  ré  r"   r7   ÚModuler9   r]   r…   rš   r¢   r«   r¹   rÆ   r  r  r#  r)  rD  rm  rƒ  r”  r¸  r   r0   r4   r,   r*   Ú<module>r     sF  ðñó$ Û Û Û 	Û Û ã Û Ý ß Ð Ý #ã Û 'Û (Û Û %Ý à‡g�g‡o�o�b—g‘g—o‘o hÓ/Ó0€Ø�:‰:�>‰>Ø�—‘—‘˜S (Ð,BÓCóE€à�J‰J�N‰NØ�—‘—‘˜c 8Ð-EÓFóH€	à�7‰7�<‰<˜˜XÐ';Ó<€Ø‡g�g‡l�l�3˜Ð'?Ó@€Ø‡g�g‡l�l�3˜	 :Ð/HÓI€Øk€Ø"€
áˆB�J‰J�N‰N˜7 EÓ*Ó+€ÙˆB�J‰J�N‰N˜7 EÓ*Ó+€Ù�"—*‘*—.‘. ¨eÓ4Ó5€	Ø
�
‰
�‰�w Ó$¨Ñ+€Ø€	Ø	€Ø	€Ø€Ø�D˜"˜b ! T¨2Ð.€Ø	€Ø	€Ù�&˜eÔ$€Ù�&˜eÔ$€ô.�(ô .ò'ô�—‘ô òò:ò$ò4òCò
	ò	ò9EóxYò&òò	0ò*òZò*ò$5(òp`ðF ˆzÒÙ…Fð r,   