Ë
    Wãj›  ã                  ó 	  — d Z ddlmZ ddlZddlZddlZddlZddlmZ ddl	Z
ddlZddlmZ ddlmc mZ ddlZddlZddlZddlZddlZddlmZmZ ddlmZmZm Z m!Z!m"Z"m#Z#m$Z$m%Z% ddlm&Z&m'Z' ddl(m)Z) dd	l*m+Z+m,Z, ejZ                  j]                  d
d«      j_                  «       Z0e0jc                  d«      rejd                  jg                  «       sdZ0 ejh                  e0«      Z5e5e_5        dZ6dZ7ejZ                  j]                  dd«      j_                  «       Z8 e9ejZ                  j]                  dd«      «      Z: e9ejZ                  j]                  dd«      «      Z; e9ejZ                  j]                  dd«      «      Z< e9ejZ                  j]                  de5jz                  dk(  rdnd«      «      Z> e9ejZ                  j]                  dd«      «      Z? e@ejZ                  j]                  dd«      «      ZA e9ejZ                  j]                  dd«      «      ZB e9ejZ                  j]                  dd«      «      ZC e9ejZ                  j]                  d d!«      «      ZD e@ejZ                  j]                  d"d#«      «      ZEd$\  ZFZGd%ZHd&ZId'ZJejZ                  j]                  d(d«      d)k(  ZKejZ                  j]                  d*d«      d)k(  ZLejš                  j�                  e d+d,«      ZO e9ejZ                  j]                  d-d.«      «      ZP e9ejZ                  j]                  d/d0«      «      ZQejš                  j�                  e d1d2«      ZRejš                  j�                  e d3e6› d4�«      ZSejš                  j�                  e d3d5«      ZTejš                  j�                  e d6d7e7› d8�«      ZUejš                  j�                  e d6d9«      ZVejš                  j�                  e d:d;«      ZW G d<„ d=eX«      ZY G d>„ d?ej´                  «      Z[ G d@„ dAej´                  «      Z\ G dB„ dCej´                  «      Z]dYdZdD„Z^dYd[dE„Z_d\dF„Z`dG„ ZadH„ ZbdI„ ZcdJ„ Zdd]dK„ZedL„ Zfd^dM„Zgd^dN„Zhd_dO„Zid`dP„ZjdQ„ ZkdR„ ZldS„ Zm	 	 dadT„ZndbdU„ZodV„ ZpdW„ ZqerdXk(  r eq«        yy)cuü  Freeze published SW2 vlaai_ws backbone; train a NEW causal GRU (or Conv1d) head.

Loads held-*/all5 SW2 DirectNet checkpoints. Freezes `bb` (vlaai_ws trunk).
Replaces linear head+tw with a causal GRU (or small causal Conv1d) on
penultimate features â†’ frame logits â†’ temporal pool.

DISTINCT from: full FT hardswitch, vlaai identity residuals (SE/temp-MHSA/
speech-FiLM), aux-env/InfoNCE multitask, tip post-process, FIR/Morlet/FBCNet.

Prefer CPU while focal holds the GPU:
  DEVICE=cpu  (default)  â€” frozen bb forward + head train on CPU
  DEVICE=cuda â€” under multi_agent_opt/gpu.lock when free

Optional: dump frozen window features once then head-only train
  DUMP_FEATS=1 DEVICE=cpu|cuda  â†’ cache/feats_sw2_feat_gru/
  TRAIN_FROM_CACHE=1 DEVICE=cpu â†’ head train from dumped feats

Score LODO5 + AASD/Carta @ HMM 0.994/0.8 (+hp30). Never uses AASD/Carta labels.

usage:
  GLIMPSE_THR=norm DEVICE=cpu python -u sw2_feat_gru_lodo.py
  # or after flock:
  DEVICE=cuda HEAD=gru python -u sw2_feat_gru_lodo.py
é    )ÚannotationsN)ÚSimpleNamespace)ÚDS_KEYSÚSEED)ÚCFGÚDATA_EXPÚEXPÚFSÚ	fold_fileÚ
load_trialÚresolve_modelÚrows_of)ÚDÚ_targets)Údraw_switch_times)Úload_externalÚlog_toÚDEVICEÚcpuÚcudaz2direct_clf__eaP_n5_t60_w10b3_ptSW2_featgru_aug-sw2z_w10b3_ptSW2_featgru_aug-sw2ÚHEADÚgrur   Ú0Ú
MAX_EPOCHSÚ4Ú
MIN_EPOCHSÚBATCHÚ32Ú64ÚSTEPS_PER_EPOCHÚ250ÚLRz8e-4ÚGRU_HIDÚCONV_KÚ9ÚABORT_STEPSÚ50Ú
ABORT_LOSSz0.685)g+‡ÙÎï?gš™™™™™é?g¤p=
×ÃJ@Ú
eaP_n5_t60é:   Ú
DUMP_FEATSÚ1ÚTRAIN_FROM_CACHEÚcacheÚfeats_sw2_feat_gruÚN_CACHE_TRAINÚ8000ÚN_CACHE_VALÚ1024Úexperimentszsw2_feat_gru_lodo.logÚresultsz.jsonÚresearchÚmodelsÚall5_direct_clfú.ptÚsw2_feat_gruÚmulti_agent_optzresults_sw2_feat_gru.mdc                  ó   — e Zd ZdZy)ÚChanceStuckErroru4   Train loss stuck near chance â€” abort per protocol.N)Ú__name__Ú
__module__Ú__qualname__Ú__doc__© ó    ú,/root/disk_3tb/eeg-thao/sw2_feat_gru_lodo.pyr=   r=   W   s   „ Ú>rC   r=   c                  ó.   ‡ — e Zd ZdZddˆ fd„Zdd„Zˆ xZS )ÚCausalGRUHeadu2   Causal GRU over (B, T, d) â†’ frame logits (B, T).c                ó.  •— t         ‰| �  «        t        j                  |||d¬«      | _        t        j
                  |d«      | _        | j                  j                  «       D ]J  \  }}d|v r"t        j                  j                  |d¬«       Œ,t        j                  j                  |«       ŒL t        j                  j                  | j                  j                  «       t        j                  j                  | j                  j                  «       y )NT)Ú
num_layersÚbatch_firsté   Úweightçš™™™™™¹?©Úgain)ÚsuperÚ__init__ÚnnÚGRUr   ÚLinearÚprojÚnamed_parametersÚinitÚxavier_uniform_Úzeros_rK   Úbias)ÚselfÚd_inÚd_hidÚn_layersÚnameÚpÚ	__class__s         €rD   rP   zCausalGRUHead.__init__^   s´   ø€ Ü‰ÑÔÜ—6‘6˜$ °(ÈÔMˆŒÜ—I‘I˜e QÓ'ˆŒ	Ø—x‘x×0Ñ0Ö2‰GˆD�!Ø˜4ÑÜ—‘×'Ñ'¨°Ð'Õ4ä—‘—‘˜qÕ!ð	 3ô
 	�‰�‰�t—y‘y×'Ñ'Ô(Ü
�‰�‰�t—y‘y—~‘~Õ&rC   c                óR   — | j                  |«      \  }}| j                  |«      d   S )N).r   )r   rT   )rZ   ÚfÚhÚ_s       rD   ÚforwardzCausalGRUHead.forwardj   s&   € Ø�x‰x˜‹{‰ˆˆ1Ø�y‰y˜‹|˜FÑ#Ð#rC   )é@   rJ   )r[   Úintr\   rg   r]   rg   ©rb   útorch.TensorÚreturnri   ©r>   r?   r@   rA   rP   re   Ú__classcell__©r`   s   @rD   rF   rF   [   s   ø„ Ù<ö
'÷$rC   rF   c                  ó.   ‡ — e Zd ZdZddˆ fd„Zdd„Zˆ xZS )ÚCausalConv1dHeaduC   Small causal Conv1d over time on (B, T, d) â†’ frame logits (B, T).c                ót  •— t         ‰| �  «        |dz
  | _        t        j                  |||«      | _        t        j                  «       | _        t        j                  |dd«      | _        t        j                  j                  | j
                  j                  d¬«       t        j                  j                  | j
                  j                  «       t        j                  j                  | j                  j                  «       t        j                  j                  | j                  j                  «       y )NrJ   rL   rM   )rO   rP   ÚpadrQ   ÚConv1dÚconvÚGELUÚactrT   rV   rW   rK   rX   rY   )rZ   r[   r\   Úkr`   s       €rD   rP   zCausalConv1dHead.__init__r   s¹   ø€ Ü‰ÑÔØ�q‘5ˆŒÜ—I‘I˜d E¨1Ó-ˆŒ	Ü—7‘7“9ˆŒÜ—I‘I˜e Q¨Ó*ˆŒ	Ü
�‰×Ñ §	¡	× 0Ñ 0°sÐÔ;Ü
�‰�‰�t—y‘y—~‘~Ô&Ü
�‰�‰�t—y‘y×'Ñ'Ô(Ü
�‰�‰�t—y‘y—~‘~Õ&rC   c                óÚ   — |j                  dd«      }t        j                  || j                  df«      }| j                  | j	                  |«      «      }| j                  |«      d d …df   S )NrJ   é   r   )Ú	transposeÚFrq   ru   rs   rT   )rZ   rb   Úxs      rD   re   zCausalConv1dHead.forward}   sW   € Ø�K‰K˜˜1ÓˆÜ�E‰E�!�d—h‘h �]Ó#ˆØ�H‰H�T—Y‘Y˜q“\Ó"ˆØ�y‰y˜‹|šA˜q˜DÑ!Ð!rC   )rf   é	   )r[   rg   r\   rg   rv   rg   rh   rk   rm   s   @rD   ro   ro   o   s   ø„ ÙMö	'÷"rC   ro   c                  óT   ‡ — e Zd ZdZd
dˆ fd„Zd„ Zd„ Zdd„Zd„ Zdd„Z	d„ Z
d	„ Zˆ xZS )ÚFeatGRUDirectNetzEFrozen published SW2 backbone + new causal head on penultimate feats.c                óÎ  •— t         ‰| �  «        |j                  | _        | j                  j                  «       D ]	  }d|_        Œ t        |j                  j                  «      }|| _        |dk(  rt        |t        t        ¬«      | _        nt        |t        ¬«      | _        t        j                  t!        j"                  t$        j&                  «      «      | _        || _        y )NFÚconv1d)r\   rv   )r\   )rO   rP   ÚbbÚ
parametersÚrequires_gradrg   ÚheadÚin_featuresÚdro   r#   r$   Úhead_netrF   rQ   Ú	ParameterÚtorchÚzerosÚDCÚWÚtwÚ	head_kind)rZ   Úbaser„   r_   r†   r`   s        €rD   rP   zFeatGRUDirectNet.__init__‡   sœ   ø€ Ü‰ÑÔØ—'‘'ˆŒØ—‘×#Ñ#Ö%ˆAØ#ˆA�Oð &ä�—	‘	×%Ñ%Ó&ˆØˆŒØ�8ÒÜ,¨Q´gÄÔHˆD�Mä)¨!´7Ô;ˆDŒMä—,‘,œuŸ{™{¬2¯4©4Ó0Ó1ˆŒØˆ�rC   c                ó^   — | j                  |«      }t        |t        t        f«      r|d   S |S )Nr   )r�   Ú
isinstanceÚtupleÚlist)rZ   r{   Úys      rD   Ú_bbzFeatGRUDirectNet._bb–   s+   € Ø�G‰G�A‹JˆÜ! !¤e¬T ]Ô3ˆq�‰tÐ:¸Ð:rC   c                óâ   — t        j                  «       5  | j                  t        j                  |||gd«      «      }d d d «       |j	                  «       S # 1 sw Y   j	                  «       S xY w)Néÿÿÿÿ)r‰   Úno_gradr•   ÚcatÚdetach)rZ   ÚEÚAÚBrb   s        rD   ÚencodezFeatGRUDirectNet.encodeš   sM   € Ü�]‰]�_Ø—‘œŸ™ A q¨! 9¨bÓ1Ó2ˆA÷ à�x‰x‹zÐ÷ à�x‰x‹zÐús   •)AÁA.c                ó¾   — | j                  |||«      }| j                  |«      }|t        j                  | j                  d«      z  j                  d«      }|r||fS |S ©Nr   rJ   )rž   r‡   r‰   Úsoftmaxr�   Úsum)rZ   r›   rœ   r�   Úfeatrb   rc   Úouts           rD   ÚgzFeatGRUDirectNet.gŸ   sW   € Ø�K‰K˜˜1˜aÓ ˆØ�M‰M˜!ÓˆØ”5—=‘= §¡¨!Ó,Ñ,×1Ñ1°!Ó4ˆÙ��QˆxÐ( SÐ(rC   c                óˆ   — | j                  |«      }|t        j                  | j                  d«      z  j	                  d«      S r    )r‡   r‰   r¡   r�   r¢   )rZ   rb   rc   s      rD   Úg_from_featzFeatGRUDirectNet.g_from_feat¥   s5   € Ø�M‰M˜!ÓˆØ”E—M‘M $§'¡'¨1Ó-Ñ-×2Ñ2°1Ó5Ð5rC   c           	     óÈ  — | |j                   dd¬«      z
   |j                  dd¬«      dz   z  }|rc| j                  ||d d …d d …df   |d d …d d …df   d«      \  }}| j                  ||d d …d d …df   |d d …d d …df   d«      \  }}||z
  d||z   z  fS | j                  ||d d …d d …df   |d d …d d …df   «      | j                  ||d d …d d …df   |d d …d d …df   «      z
  S )NrJ   T©Úkeepdimç�íµ ÷Æ°>r   ç      à?)ÚmeanÚstdr¥   )rZ   r›   ÚSr£   ÚaÚfaÚbÚfbs           rD   re   zFeatGRUDirectNet.forward©   sð   € Ø��—‘˜ 4Ô(Ñ(¨U¨Q¯U©U°1¸dÔ-CÀdÑ-JÑKˆÙØ—F‘F˜1˜a¢¢1 a ™j¨!ªAªq°!¨G©*°dÓ;‰EˆAˆrØ—F‘F˜1˜a¢¢1 a ™j¨!ªAªq°!¨G©*°dÓ;‰EˆAˆrØ�q‘5˜#  b¡™/Ð)Ð)Ø�v‰v�a˜š1ša ˜7™ Q¢qª!¨Q w¡ZÓ0°4·6±6¸!¸QºqÂ!ÀQ¸w¹ZÈÊ1ÊaÐQRÈ7ÉÓ3TÑTÐTrC   c                óH   — | j                  |«      | j                  |«      z
  S )z8fab/fba: (B,W,d) backbone feats for (E,A,B) and (E,B,A).)r§   )rZ   ÚfabÚfbas      rD   Úforward_from_featsz#FeatGRUDirectNet.forward_from_feats±   s#   € à×Ñ Ó$ t×'7Ñ'7¸Ó'<Ñ<Ð<rC   c              #  óX   K  — | j                  «       D ]  }|j                  sŒ|–— Œ y ­w©N)r‚   rƒ   )rZ   r_   s     rD   Útrainable_parametersz%FeatGRUDirectNet.trainable_parametersµ   s#   è ø€ Ø—‘Ö"ˆAØ�‹Ø“ñ #ùs   ‚ *£*)r   )r�   zDC.DirectNetr„   Ústr©F)r>   r?   r@   rA   rP   r•   rž   r¥   r§   re   r·   rº   rl   rm   s   @rD   r~   r~   „   s/   ø„ ÙOöò;òó
)ò6óUò=örC   r~   c                ód  — |dk(  rd| › d�}n	d|› d| › d�}t         j                  j                  t        d|«      }t         j                  j	                  |«      s)t        t         j                  j                  d|«      «      }t         j                  j	                  |«      st        d|› �«      ‚|S )Nr   z5fold_direct_clf__eaP_n5_t60_w10b3_ptSPK_aug-sw2_wts__r9   Ú)fold_direct_clf__eaP_n5_t60_w10b3_ptSPK_sz_aug-sw2_wts__r7   z!published SW2 fold ckpt missing: ©ÚosÚpathÚjoinr   Úexistsr   ÚFileNotFoundError)ÚheldÚseedr^   rÁ   s       rD   Úpub_fold_ckptrÇ   »   s“   € Øˆq‚yØFÀtÀfÈCÐP‰à:¸4¸&ÀÈtÈfÐTWÐXˆÜ�7‰7�<‰<œ (¨DÓ1€DÜ�7‰7�>‰>˜$ÔÜœRŸW™WŸ\™\¨(°DÓ9Ó:ˆÜ�7‰7�>‰>˜$ÔÜÐ"CÀDÀ6Ð JÓKÐKØ€KrC   c                óF  — d| › d�}t         j                  j                  t        d|«      }t         j                  j	                  |«      s)t        t         j                  j                  d|«      «      }t         j                  j	                  |«      st        d|› �«      ‚|S )NÚall5_direct_clf_w10b3sw2P_sr9   r7   z!published SW2 all5 ckpt missing: r¿   )rÆ   r^   rÁ   s      rD   Úpub_all5_ckptrÊ   È   sw   € Ø(¨¨¨cÐ2€DÜ�7‰7�<‰<œ (¨DÓ1€DÜ�7‰7�>‰>˜$ÔÜœRŸW™WŸ\™\¨(°DÓ9Ó:ˆÜ�7‰7�>‰>˜$ÔÜÐ"CÀDÀ6Ð JÓKÐKØ€KrC   c           
     óŠ  — t        j                  t        dd«      j                  t        «      }t        j                  | t        d¬«      }|j                  |d¬«      \  }} |d| › dt        |«      › dt        |«      › d	�«       t        |t        ¬
«      j                  t        «      }|j                  j                  «        |S )Né   Úvlaai_wsF©Úmap_locationÚweights_only©Ústrictz  loaded SW2 trunk ú
 (missing ú unexpected Ú)©r„   )r‹   Ú	DirectNetÚN_EEGÚtoÚDEVr‰   ÚloadÚload_state_dictÚlenr~   r   r�   Úeval)Ú	ckpt_pathÚlogr�   ÚsdÚmissingÚ
unexpectedÚnets          rD   Úload_frozen_featnetrå   Ò   s�   € Ü�<‰<œ˜q *Ó-×0Ñ0´Ó5€DÜ	�‰�I¬C¸eÔ	D€BØ×.Ñ.¨r¸%Ð.Ó@Ñ€GˆZÙÐ
˜i˜[¨
´3°w³<°.ÀÌSÐQ[Ë_ÐL]Ð]^Ð_Ô`Ü
˜4¤dÔ
+×
.Ñ
.¬sÓ
3€CØ‡F�F‡K�K„MØ€JrC   c                 ó‚  — t        dt        z  «      t        _        t        j                  t        j                  z
  t        j
                  z
  t        j                  t        z
  ct        _        t        _        g d¢t        d<   i t        d   ¥t        d   d   ¥ddi¥t        d	<   t        t        d
<   dt        d<   t        t        d<   t        t        d<   t        t        d<   dt        d<   t        t        j                  j!                  dd«      «      t        d<   t"        t        d<   t%        j&                  dgdg«       y )Né
   )ÚenvÚonsetÚdomÚtargetsÚdnn_augmentÚaug_variantsÚclusterÚclf_p_switch2r¬   ÚaugmentÚ
train_seedrÌ   Úmodel_blocksÚ
max_epochsÚsteps_per_epochÚ
batch_sizeé   ÚpatienceÚVAL_WINDOWSÚ512Úval_windowsÚlrzmodel_blocks=3zclf_p_switch2=0.5)rg   r
   r‹   rŒ   ÚFUTÚHOPÚPOS0ÚLABr   r   ÚSEED0r   ÚSTEPSr   rÀ   ÚenvironÚgetr"   ÚdecodersÚapply_overridesrB   rC   rD   Ú	configurer  Ü   sè   € Üˆr”B‰w‹<„B„DÜ—d‘dœRŸV™V‘m¤b§f¡fÑ,¬b¯d©d´R©i€O„B„GŒRŒVÚ*„A€i�LØa”c˜-Ñ(Ða¬C°Ñ,?À	Ñ,JÐaÈOÐ]`Ña„A€i�LÜ„A€l�OØ„A€nÑÜ „A€l�OÜ „AÐÑÜ„A€l�OØ„A€j�MÜœ2Ÿ:™:Ÿ>™>¨-¸Ó?Ó@„A€mÑÜ„A€d�GÜ×ÑÐ.Ð/Ð2EÐ1FÕGrC   c                 ó<   — t        dddt        t        t        ¬«      S )NrÍ   r¬   F)ÚbackboneÚp_switchÚzero_eegÚ
min_epochsÚprepÚtag)r   r   ÚPREPÚTAGrB   rC   rD   Ú	namespacer  ì   s   € ÜØ c°EÄjÜ”sôð rC   c                óè	  — t        j                  d«       t        «        t        j                  t
        dd«      j                  t        «      }t        dt        «      }|j                  t        j                  |t        d¬«      d¬«       t        |t        ¬«      j                  t        «      j                  «       }t        j                  «       5  t        j                   d	t        j"                  t
        t        ¬
«      }t        j                   d	t        j"                  dt        ¬
«      }t        j                   d	t        j"                  dt        ¬
«      }t        j$                  ||gd¬«      } |||«      } |||j'                  d«      «      }	t)        ||	z   j+                  «       j-                  «       «      }
|j/                  |||«      }|j/                  |||«      }t)        ||z
  j+                  «       j-                  «       «      }t)        |j+                  «       j-                  «       «      }t1        d„ |j3                  «       D «       «      }t1        d„ |j4                  j7                  «       D «       «      }ddd«        | dt        › d
d›dd›dd›d› d› dt        › �«       ~~t        j8                  dk(  rt         j:                  j=                  «        |
dkD  rt?        d|
› �«      ‚t        j                  t
        dd«      j                  t        «      }|j                  t        j                  |t        d¬«      d¬«       t        |t        ¬«      j                  t        «      j                  «       }t        j                  «       5  |j@                  j7                  «       D ]7  }|jC                  «       dk\  sŒtD        jF                  jI                  |d¬«       Œ9 |j/                   j                  t        «      j                  t        «      j                  t        «      «      }|j/                   |j                  t        «      |j                  t        «      |j                  t        «      «      }t)        ||z
  j+                  «       j-                  «       «      }ddd«        | dd›�«       ~~|dk  rt?        d |d›d!�«      ‚||
fS # 1 sw Y   �ŒaxY w# 1 sw Y   Œ=xY w)"zPAntisymmetry + swap-delta on a FeatGRU net with random trunk init (shape smoke).r   rÌ   rÍ   ÚAVGCFrÎ   rÑ   rÖ   é   )Údevicerx   )Údimc              3  ó<   K  — | ]  }|j                  «       –— Œ y ­wr¹   ©Únumel©Ú.0r_   s     rD   Ú	<genexpr>zswap_check.<locals>.<genexpr>	  s   è ø€ ÐDÑ)C A�a—g‘g—iÑ)Cùó   ‚c              3  ó<   K  — | ]  }|j                  «       –— Œ y ­wr¹   r  r  s     rD   r  zswap_check.<locals>.<genexpr>
  s   è ø€ Ð>Ñ*= Q�q—w‘w—yÑ*=ùr  Nzswap-test head=z
 anti_err z.3ez swap_delta ú.4fz step0_|logit| ú trainable z frozen_bb ú device r   gñhãˆµøä>zantisymmetry broken: ç      ð?rM   z  post-xavier swap_delta ç-Cëâ6?u"   swap-deltaâ‰ˆ0 even after xavier (rÕ   )%r‰   Úmanual_seedr  r‹   r×   rØ   rÙ   rÚ   rÇ   r   rÜ   rÛ   r~   r   rÞ   r˜   ÚrandnrŒ   ÚstackÚflipÚfloatÚabsr­   r¥   r¢   rº   r�   r‚   Útyper   Úempty_cacheÚRuntimeErrorr‡   r  rQ   rV   rW   )rà   r�   Úckpträ   r›   rœ   r�   ÚS_abÚy_abÚy_baÚanti_errÚgabÚgbaÚdeltaÚ
zero_logitÚn_trainÚn_frozenr_   Údelta2s                      rD   Ú
swap_checkr8  ó   s®  € ä	×Ñ�aÔÜ„KÜ�<‰<œ˜q *Ó-×0Ñ0´Ó5€Dä˜¤Ó'€DØ×ÑœŸ™ D´sÈÔOÐX]ÐÔ^Ü
˜4¤dÔ
+×
.Ñ
.¬sÓ
3×
8Ñ
8Ó
:€CÜ	�‰�Ü�K‰K˜œ2Ÿ4™4¤¬sÔ3ˆÜ�K‰K˜œ2Ÿ4™4 ¬3Ô/ˆÜ�K‰K˜œ2Ÿ4™4 ¬3Ô/ˆÜ�{‰{˜A˜q˜6 qÔ)ˆÙ�1�d‹|ˆÙ�1�d—i‘i “lÓ#ˆÜ˜$ ™+×*Ñ*Ó,×1Ñ1Ó3Ó4ˆØ�e‰e�A�q˜!‹nˆØ�e‰e�A�q˜!‹nˆÜ�s˜S‘y—o‘oÓ'×,Ñ,Ó.Ó/ˆä˜4Ÿ8™8›:Ÿ?™?Ó,Ó-ˆ
ÜÑD¨×)AÑ)AÔ)CÓDÓDˆÜÑ>¨#¯&©&×*;Ñ*;Ô*=Ó>Ó>ˆ÷ 
ñ ˆ/œ$˜˜z¨(°3¨°|ÀEÈ#À;ð OØ# CÐ(¨°G°9¸KÈÀzÐQYÔZ]ÐY^ð	`ô aàˆTÜ
‡x�x�6ÒÜ�
‰
×ÑÔ Ø�$‚ÜÐ2°8°*Ð=Ó>Ð>ô �<‰<œ˜q *Ó-×0Ñ0´Ó5€DØ×ÑœŸ™ D´sÈÔOÐX]ÐÔ^Ü
˜4¤dÔ
+×
.Ñ
.¬sÓ
3×
8Ñ
8Ó
:€CÜ	�‰�Ø—‘×(Ñ(Ö*ˆAØ�u‰u‹w˜!‹|Ü—‘×'Ñ'¨°Ð'Õ4ð +ð �e‰e�D�A—D‘Dœ“I˜qŸt™t¤C›y¨!¯$©$¬s«)Ó4ˆØ�e‰e�D�A—D‘Dœ“I˜qŸt™t¤C›y¨!¯$©$¬s«)Ó4ˆÜ˜˜c™	—‘Ó(×-Ñ-Ó/Ó0ˆ÷ 
ñ Ð
# F¨3 <Ð0Ô1ØˆTØ�‚}ÜÐ?ÀÀs¸|È1ÐMÓNÐNØ�8ÐÐ÷O 
‰ú÷8 
ˆús    ÃF+SÎ1S(ÏC'S(ÓS%Ó(S1c                ó   — ||j                  dd¬«      z
  |j                  dd¬«      dz   z  }| j                  ||dd…dd…df   |dd…dd…df   «      }| j                  ||dd…dd…df   |dd…dd…df   «      }||fS )z7Return fab, fba feature tensors for antisymmetric pair.rJ   Tr©   r«   Nr   )r­   r®   rž   )rä   ÚXÚS_ÚS_nrµ   r¶   s         rD   Ú_extract_pair_featsr=  &  s…   € à�—‘˜ 4�Ó(Ñ(¨R¯V©V°A¸t¨VÓ-DÀtÑ-KÑ
L€CØ
�*‰*�Q˜šAšq !˜G™ cª!ªQ°¨'¡lÓ
3€CØ
�*‰*�Q˜šAšq !˜G™ cª!ªQ°¨'¡lÓ
3€CØ�ˆ8€OrC   c           	     ól   — t         j                  j                  t        | › dt        › dt
        › d�«      S )NÚ_srd   z.npz)rÀ   rÁ   rÂ   Ú
FEAT_CACHEr   r   )r  s    rD   Úcache_path_forrA  .  s*   € Ü�7‰7�<‰<œ
 s e¨2¬e¨W°A´d°V¸4Ð$@ÓAÐArC   c                ó®  ‡ ‡‡‡— t        j                  t        d¬«       t        j                  dt
        d   «      }t        j                  j                  t        j                  «      Št        j                  t        j                  t        j                  t        f\  ‰_
        ‰_        ‰_        ‰_        t#        t%        |«      «      dz  }t&        j(                  j+                  |dz   |z   «      Š‰ j-                  «        ˆˆˆ ˆfd„}g g g }}
}	t.        }t1        t3        t4        dz  d	«      d
«      }|dkD  r€t1        ||«      } |||d«      \  }}}|	j7                  |«       |
j7                  |«       |j7                  |«       ||z  }t.        |z
  }|dz  dk(  s|dk(  r |d|› dt.        › �«       |dkD  rŒ€ ||t8        d«      \  }}}t;        |«      }t'        j<                  |t'        j>                  |	«      t'        j>                  |
«      t'        j>                  |«      |||‰ j@                  t        j                  tB        ¬«
        |d|› �«       |S )NT©Úexist_okrñ   rÆ   l        é   c                ó@  •— t        j                  | |‰|r‰	nd ‰j                  ‰j                  «      \  }}}|j	                  t
        «      |j	                  t
        «      }}t        j                  «       5  t        ‰
||«      \  }}d d d «       j                  «       j                  «       j                  t        j                  «      j                  «       j                  «       j                  t        j                  «      |j                  «       fS # 1 sw Y   ŒŽxY wr¹   )r‹   Úwindowsr	  r
  rÙ   rÚ   r‰   r˜   r=  r   ÚnumpyÚastypeÚnpÚfloat16)ÚtrialsÚnÚuse_augr:  r;  r”   rµ   r¶   r°   Úaugrä   Úrss           €€€€rD   Ú_packzdump_fold_feats.<locals>._pack<  sÀ   ø€ Ü—:‘:˜f a¨±G©SÀÀqÇzÁzÐST×S]ÑS]Ó^‰ˆˆ2ˆqØ—‘”S“	˜2Ÿ5™5¤›:ˆ2ˆÜ�]‰]�_Ü*¨3°°2Ó6‰HˆC�÷ à�w‰w‹y�‰Ó ×'Ñ'¬¯
©
Ó3°S·W±W³Y·_±_Ó5F×5MÑ5MÌbÏjÉjÓ5YÐ[\×[bÑ[bÓ[dÐdÐd÷ ˆ_ús   Á6DÄDr  rf   é   r   i   z    dump train Ú/F)	Ú	train_fabÚ	train_fbaÚtrain_yÚval_fabÚval_fbaÚval_yr†   rŒ   r„   z  wrote feat cache )"rÀ   Úmakedirsr@  r   r  r   r  ÚDNNDecÚ__new__r‹   rŒ   rü   rý   rØ   ÚfutÚhopÚCr(  ÚhashrJ  ÚrandomÚdefault_rngrÞ   r0   ÚminÚmaxr   Úappendr2   rA  Úsavez_compressedÚconcatenater†   r   )rä   ÚtrainÚvalr  rà   r°   rÆ   Útag_saltrQ  Útr_fabÚtr_fbaÚtr_yÚleftÚchunkrM  rµ   r¶   r”   ÚdoneÚva_fabÚva_fbaÚva_yrÁ   rO  rP  s   `    `                 @@rD   Údump_fold_featsrt  2  sá  û€ Ü‡K�K”
 TÕ*Ü�5‰5�œs 6™{Ó+€DÜ
�/‰/×
!Ñ
!¤(§/¡/Ó
2€CÜ%'§T¡T¬2¯6©6´2·6±6¼5Ð%@Ñ"€C„Eˆ3Œ7�C”G˜SœUä”4˜“9‹~ Ñ)€HÜ	�‰×	Ñ	˜t b™y¨8Ñ3Ó	4€BØ‡H�H„J÷eð ˜r 2�DˆF€FÜ€DÜ””E˜A‘I˜rÓ" CÓ(€EØ
�Š(Ü��tÓˆÙ˜E 1 dÓ+‰ˆˆS�!Ø�‰�cÔ˜FŸM™M¨#Ô.°·±¸A´Ø�‰	ˆÜ˜tÑ#ˆØ�$‰;˜!Ò˜t qšyÙ�/ $  q¬¨Ð8Ô9ð �‹(ñ ! ¤k°5Ó9Ñ€FˆF�DÜ˜#Ó€DÜ×ÑØÜ—.‘. Ó(´B·N±NÀ6Ó4JÔTV×TbÑTbÐcgÓThØ ¨dØ
�%‰%”2—4‘4œdõ	ñ Ð
˜d˜VÐ$Ô%Ø€KrC   c                ó  — t        j                  |«      }t        j                  |d   j	                  t         j
                  «      «      }t        j                  |d   j	                  t         j
                  «      «      }t        j                  |d   j	                  t         j
                  «      «      }t        j                  |d   j	                  t         j
                  «      «      j                  t        «      }t        j                  |d   j	                  t         j
                  «      «      j                  t        «      }	t        j                  |d   j	                  t         j
                  «      «      }
t        |«      }t        j                  j                  t        | j                  «       «      t        d¬«      }t        j                  j                  j                  |d	d
t         d   ¬«      }t         j"                  j%                  t!        j&                  dd«      dz   «      }t         j(                  dd }}}g }d}| j*                  j-                  «        t/        t0        «      D �]�  }t3        j2                  «       g }}| j5                  «        | j*                  j-                  «        t/        t6        «      D �]¸  }|j9                  d|t:        ¬«      }||   j                  t        «      }||   j                  t        «      }||   j                  t        «      }| j=                  ||«      }t?        j@                  ||«      }|jC                  d¬«       |jE                  «        t        jF                  jH                  jK                  t        | j                  «       «      d«       |jM                  «        tO        |jQ                  «       «      }|jS                  |«       |dz  }|s�Œ2|tT        k  s�Œ=|jS                  |«       |tT        k(  s�ŒYtO        t        jV                  |«      «      } |dtT        › d|d›dtX        › d�«       |tX        k\  s�Œ�t[        d|d›dtX        › dtT        › d�«      ‚ | j-                  «        t        j\                  «       5  | j=                  ||	«      j_                  «       }d d d «       tO        t?        j@                  |
«      «      } tO        |dkD  jO                  «       |
k(  jO                  «       jW                  «       «      }!|t`        k\  r|jM                  | «        |d|d›d t        jV                  |«      d›d!| d›d"|!d#›d$t3        j2                  «       |z
  d%›d&�«       | |dz
  k  rS| d| jc                  «       je                  «       D �"�#ci c]$  \  }"}#|"|#jQ                  «       jg                  «       “Œ& }}"}#}}�Œp|t`        k\  s�Œ{|dz  }|t         d'   k\  s�ŒŽ n |€M| jc                  «       je                  «       D �"�#ci c]$  \  }"}#|"|#jQ                  «       jg                  «       “Œ& }}"}#| ji                  |«       | j-                  «        | |fS # 1 sw Y   �Œ³xY wc c}#}"w c c}#}"w )(NrT  rU  rV  rW  rX  rY  r"  ©rû   Úweight_decayrc  r¬   Úlr_patience©ÚmodeÚfactorr÷   rñ   r   éc   )ÚsizeT©Úset_to_noneç      @rJ   ú    chance-probe step ú mean_loss r  ú (abort if >=rÕ   úABORT_CHANCE: mean loss ú >= ú after ú steps (near chance)ú
    epoch Ú02dú train ú	 val BCE ú acc ú.3fú (ú.0fz
s) [cache]r÷   )5rJ  rÛ   r‰   Ú
from_numpyrI  Úfloat32rÙ   rÚ   rÝ   ÚoptimÚAdamWr“   rº   r"   Úlr_schedulerÚReduceLROnPlateaur   ra  rb  r  Úinfr�   rÞ   Úranger   Útimerh  r  Úintegersr   r·   rz   Ú binary_cross_entropy_with_logitsÚ	zero_gradÚbackwardrQ   ÚutilsÚclip_grad_norm_Ústepr'  rš   re  r&   r­   r(   r=   r˜   r   r   Ú
state_dictÚitemsÚclonerÜ   )$rä   Ú
cache_pathrà   Úcheck_chanceÚblobÚfab_trÚfba_trÚy_trÚfab_vaÚfba_vaÚy_varM  ÚoptÚschÚrngÚbestÚbadÚstateÚearlyÚglobal_stepÚepÚt1Útlrd   Úidxrµ   r¶   r”   ÚlogitÚlossÚlvÚmean50ÚvlÚvarv   Úvs$                                       rD   Úfit_from_cacher¿  Z  s  € Ü�7‰7�:Ó€DÜ×Ñ˜d ;Ñ/×6Ñ6´r·z±zÓBÓC€FÜ×Ñ˜d ;Ñ/×6Ñ6´r·z±zÓBÓC€FÜ×Ñ˜D ™O×2Ñ2´2·:±:Ó>Ó?€DÜ×Ñ˜d 9™o×4Ñ4´R·Z±ZÓ@ÓA×DÑDÄSÓI€FÜ×Ñ˜d 9™o×4Ñ4´R·Z±ZÓ@ÓA×DÑDÄSÓI€FÜ×Ñ˜D ™M×0Ñ0´·±Ó<Ó=€DÜˆD‹	€AÜ
�+‰+×
Ñ
œD ×!9Ñ!9Ó!;Ó<ÄÐRVÐ
Ó
W€CÜ
�+‰+×
"Ñ
"×
4Ñ
4°S¸uÈSÔ[\Ð]jÑ[kÐ
4Ó
l€CÜ
�)‰)×
Ñ
¤§¡ l°AÓ 6¸Ñ ;Ó
<€CÜ—v‘v˜q $ˆuˆ#€DØ€EØ€KØ‡F�F‡K�K„MÜ”J×ˆÜ—‘“˜bˆBˆØ�	‰	Œ�S—V‘V—[‘[”]Ü”u—ˆAØ—,‘,˜q !¬%�,Ó0ˆCØ˜‘+—.‘.¤Ó%ˆCØ˜‘+—.‘.¤Ó%ˆCØ�S‘	—‘œSÓ!ˆAØ×*Ñ*¨3°Ó4ˆEÜ×5Ñ5°e¸QÓ?ˆDØ�M‰M dˆMÔ+Ø�M‰MŒOÜ�H‰H�N‰N×*Ñ*¬4°×0HÑ0HÓ0JÓ+KÈSÔQØ�H‰HŒJÜ�t—{‘{“}Ó%ˆBØ�I‰I�bŒMØ˜1ÑˆKÛ ¬{Ô :Ø—‘˜RÔ Ø¤+Ô-Ü"¤2§7¡7¨5£>Ó2�FÙÐ0´°¸[ÈÐPSÈð U'Ü'1 l°!ð5ô 6à¤Ô+Ü.Ø6°v¸c°lÀ$ÄzÀlÐRYÜ*˜mÐ+?ðAóBð Bð+ ð0 	�‰Œ
Ü�]‰]�_Ø×'Ñ'¨°Ó7×;Ñ;Ó=ˆB÷ ä”1×5Ñ5°b¸$Ó?Ó@ˆÜ�R˜!‘V—N‘NÓ$¨Ñ,×3Ñ3Ó5×:Ñ:Ó<Ó=ˆØ”ÒØ�H‰H�RŒLÙˆj˜˜C˜ ¬¯©°«°CÐ'8¸	À"ÀSÀÈÈrÐRUÈhð WÜ—	‘	“˜bÑ  Ð% Zð1ô 	2à��t‘ÒØ! 1ÈÏÉÓIY×I_ÑI_ÔIaÔ&bÑIaÁÀÀA q¨!¯(©(«*×*:Ñ*:Ó*<Ñ'<ÐIa�uÑ&b�#ŠDØ”:ÔØ�1‰HˆCØ”a˜
‘mÔ#ÙðS  ðT €}Ø36·>±>Ó3C×3IÑ3IÔ3KÔLÑ3K©4¨1¨a��A—H‘H“J×$Ñ$Ó&Ñ&Ð3KˆÑLØ×Ñ˜ÔØ‡H�H„JØ�ˆ9Ð÷% ‰_üó 'cùó Ms   Ò !Y2Ö-)Y?Ø!)ZÙ2Y<	c                óL  — t        j                  dt        d   «      }t        j                  |«       t
        j                  j                  t
        j                  «      }t        j                  t        j                  t        j                  t        f\  |_	        |_        |_        |_        t         j"                  j%                  |«      }t        j&                  |t         d   |d |j(                  |j*                  «      \  }	}
}t        j,                  j/                  t1        | j3                  «       «      t4        d¬«      }t        j,                  j6                  j9                  |ddt         d   ¬	«      }t         j:                  d
d }}}g }d
}t=        d„ | j3                  «       D «       «      } |dt>        › d|› dt@        › dt4        › dtB        › �
«       tE        tF        «      D �]  }tI        jH                  «       g }}| jK                  «        | jL                  jO                  «        tE        tP        «      D �]Ü  }t        j&                  |t@        |||j(                  |j*                  «      D �cg c]  }|jS                  tB        «      ‘Œ c}\  }}}t        jT                  «       5  tW        | ||«      \  }}d d d «       | jY                  «      }t[        j\                  ||«      }|j_                  d¬«       |ja                  «        t        jb                  jd                  jg                  t1        | j3                  «       «      d«       |ji                  «        tk        |jm                  «       «      } |jo                  | «       |dz  }|s�ŒV|tp        k  s�Œa|jo                  | «       |tp        k(  s�Œ}tk        t!        jr                  |«      «      }! |dtp        › d|!d›dtt        › d�«       |!tt        k\  s�ŒÁtw        d|!d›dtt        › dtp        › d�«      ‚ | jO                  «        t        jT                  «       5  g }"tE        d
ty        |	«      d«      D ]^  }#|	|#|#dz    jS                  tB        «      }$|
|#|#dz    jS                  tB        «      }%|"jo                   | |$|%«      j{                  «       «       Œ` t        j|                  |"«      } d d d «       tk        t[        j\                   |«      «      }&tk        | d
kD  jk                  «       |k(  jk                  «       js                  «       «      }'|t~        k\  r|ji                  |&«        |d|d ›d!t!        jr                  |«      d›d"|&d›d#|'d$›d%tI        jH                  «       |z
  d&›d'�«       |&|dz
  k  rS|&d
| j�                  «       jƒ                  «       D �(�)ci c]$  \  }(})|(|)jm                  «       j…                  «       “Œ& }}(})}}�Œ|t~        k\  s�Œ|dz  }|t         d(   k\  s�Œ  n |€M| j�                  «       jƒ                  «       D �(�)ci c]$  \  }(})|(|)jm                  «       j…                  «       “Œ& }}(})| j‡                  |«       | jO                  «        | |fS c c}w # 1 sw Y   �ŒËxY w# 1 sw Y   �ŒÅxY wc c})}(w c c})}(w ))Nrñ   rÆ   rú   r"  rv  rc  r¬   rx  ry  r   c              3  ó<   K  — | ]  }|j                  «       –— Œ y ­wr¹   r  r  s     rD   r  zfit_online.<locals>.<genexpr>§  s   è ø€ Ð@Ñ%? �!—'‘'—)Ñ%?ùr  z  FeatGRU head=r  ú batch z lr r   Tr~  r€  rJ   r�  r‚  r  rƒ  rÕ   r„  r…  r†  r‡  é€   rˆ  r‰  rŠ  r‹  rŒ  r�  rŽ  r�  zs)r÷   )Dr   r  r   r‰   r#  r  r[  r\  r‹   rŒ   rü   rý   rØ   r]  r^  r_  rJ  ra  rb  rG  r	  r
  r’  r“  r“   rº   r"   r”  r•  r–  r¢   r   r   rÚ   r—  r   r˜  rh  r�   rÞ   r  rÙ   r˜   r=  r·   rz   rš  r›  rœ  rQ   r�  rž  rŸ  r'  rš   re  r&   r­   r(   r=   rÝ   r   r™   r   r   r¡  r¢  rÜ   )*rä   rh  ri  rà   r°   r¤  rÆ   rO  rP  ÚXvÚSvÚyvr¬  r­  r¯  r°  r±  r²  r³  r5  r´  rµ  r¶  rd   Úzr:  r;  r”   rµ   r¶   r¸  r¹  rº  r»  ÚpredsÚiÚxbÚsbr¼  r½  rv   r¾  s*                                             rD   Ú
fit_onlinerÌ  ›  s^  € Ü�5‰5�œs 6™{Ó+€DÜ	×Ñ�dÔÜ
�/‰/×
!Ñ
!¤(§/¡/Ó
2€CÜ%'§T¡T¬2¯6©6´2·6±6¼5Ð%@Ñ"€C„Eˆ3Œ7�C”G˜SœUÜ	�‰×	Ñ	˜tÓ	$€BÜ—‘˜C¤ =Ñ!1°2°t¸Q¿Z¹ZÈÏÉÓT�J€BˆˆBÜ
�+‰+×
Ñ
œD ×!9Ñ!9Ó!;Ó<ÄÐRVÐ
Ó
W€CÜ
�+‰+×
"Ñ
"×
4Ñ
4°S¸uÈSÔ[\Ð]jÑ[kÐ
4Ó
l€CÜ—v‘v˜q $ˆuˆ#€DØ€EØ€KÜÑ@ S×%=Ñ%=Ô%?Ó@Ó@€GÙˆ/œ$˜˜{¨7¨)°7¼5¸'ÀÄbÀTÈÔRUÐQVÐWÔXÜ”J×ˆÜ—‘“˜bˆBˆØ�	‰	Œ�S—V‘V—[‘[”]Ü”u—ˆAÜ+-¯:©:Ø”u˜b # q§z¡z°1·:±:ô,?ó @ñ ,? a˜Ÿ™œS�	ð ,?ñ @‰HˆAˆr�1ô —‘•Ü.¨s°A°rÓ:‘��S÷ !à×*Ñ*¨3°Ó4ˆEÜ×5Ñ5°e¸QÓ?ˆDØ�M‰M dˆMÔ+Ø�M‰MŒOÜ�H‰H�N‰N×*Ñ*¬4°×0HÑ0HÓ0JÓ+KÈSÔQØ�H‰HŒJÜ�t—{‘{“}Ó%ˆBØ�I‰I�bŒMØ˜1ÑˆKÛ ¬{Ô :Ø—‘˜RÔ Ø¤+Ô-Ü"¤2§7¡7¨5£>Ó2�FÙÐ0´°¸[ÈÐPSÈð U'Ü'1 l°!ð5ô 6à¤Ô+Ü.Ø6°v¸c°lÀ$ÄzÀlÐRYÜ*˜mÐ+?ðAóBð Bð- ð2 	�‰Œ
Ü�]‰]�_ØˆEÜ˜1œc "›g sÖ+�Ø˜˜!˜c™'�]×%Ñ%¤cÓ*�Ø˜˜!˜c™'�]×%Ñ%¤cÓ*�Ø—‘™S  R›[Ÿ_™_Ó.Õ/ð ,ô —‘˜5Ó!ˆB÷ ô ”1×5Ñ5°b¸"Ó=Ó>ˆÜ�R˜!‘V—N‘NÓ$¨Ñ*×1Ñ1Ó3×8Ñ8Ó:Ó;ˆØ”ÒØ�H‰H�RŒLÙˆj˜˜C˜ ¬¯©°«°CÐ'8¸	À"ÀSÀÈÈrÐRUÈhð WÜ—	‘	“˜bÑ  Ð% Rð)ô 	*à��t‘ÒØ! 1ÈÏÉÓIY×I_ÑI_ÔIaÔ&bÑIaÁÀÀA q¨!¯(©(«*×*:Ñ*:Ó*<Ñ'<ÐIa�uÑ&b�#ŠDØ”:ÔØ�1‰HˆCØ”a˜
‘mÔ#Ùð_  ð` €}Ø36·>±>Ó3C×3IÑ3IÔ3KÔLÑ3K©4¨1¨a��A—H‘H“J×$Ñ$Ó&Ñ&Ð3KˆÑLØ×Ñ˜ÔØ‡H�H„JØ�ˆ9Ðùòa@÷ !‘ú÷, ‰_üó 'cùó Ms+   É/Y;Ê&Z Ð;BZÖ6)ZØ*)Z Ú Z
ÚZ	c                ó~  — |xs t        |t        «      }t        ||«      }	|xs d|› �}
t        |
«      }t        j
                  j                  dd«      dk(  xs t        xs t        }|rDt        j                  j                  |«      rt        rt        |	| ||
||«       t        |	|||¬«      S t        |	| ||||¬«      S )Núheld-ÚCACHE_THEN_TRAINr,   ©r¤  )rÇ   r   rå   rA  rÀ   r  r  r-   r+   rÁ   rÃ   rt  r¿  rÌ  )rh  ri  rà   r°   rÅ   r¤  Ú	init_ckptÚ	cache_tagr,  rä   r  ÚcpathÚ	use_caches                rD   Úfit_netrÕ  à  s¬   € ØÒ2œ d¬EÓ2€DÜ
˜d CÓ
(€CØ
Ò
%˜˜t˜f�~€CÜ˜3Ó€EÜ—
‘
—‘Ð1°3Ó7¸3Ñ>Ò`ÔBRÒ`ÔV`€IÙÜ�w‰w�~‰~˜eÔ$­
Ü˜C ¨¨S°#°qÔ9Ü˜c 5¨#¸LÔIÐIÜ�c˜5 # s¨A¸LÔIÐIrC   c                óÚ  — t         j                  j                  t        d   t	        j
                  | «      z   «      }g g }}t        D ]�  }|| k(  rŒ	t        |«      }	|j                  t        |	j                  j                  «       «      «      }
|	j                  «       D ]7  \  }}|d   |
k(  r|n|j                  t        |j                  |d   «      «       Œ9 Œ‘ |t        dg|j                  |«      z  }||z   D ]  }t!        |«      |d<   Œ  |d| › dt#        |«      › dt#        |«      › d	|rd
nd› �«       t%        j$                  «       }t'        ||||| |¬«      \  }}t%        j$                  «       |z
  }~~t)        j*                  t,        d¬«       t(        j.                  j1                  t,        d| › d�«      }t3        j4                  |j7                  «       |«        |d|› �«       t         j                  j                  t8        t	        j
                  | «      z   «      }i dD �ci c]  }|i “Œ }}}t        | «      j                  «       D �]Ÿ  \  }}t        |j                  |d   «      }t!        |«      |d   |d   j;                  t<        «      t=        |d   «      f\  }}}}t?        ||dz  «      }|jA                  dd«       t        jB                  |tD        «      dd}}}|D ]0  }tG        |dz
  t=        tI        |dz  «      «      «      } ||||  | | }}Œ2 |||d  |t        jJ                  |dz
  t        jH                  t        jL                  t#        |«      «      tN        z  |d   z   dz  «      j;                  t<        «      «         }!t        jP                  |!d d …d d f   |d d …d d d…f   |«      }"tS        jT                  |||"«      \  }#}$||!z  t        jV                  |$tR        jX                  z
  d«         }%t#        |#«      dz  }&t[        |#dz  |# dz  |%j;                  t         j\                  «      |$tN        z  |d   z   j;                  t         j^                  «      |#d |&dz   ja                  |&d«      jc                  d«      dz  |#d |&dz   ja                  |&d«      jc                  d«       dz  |%d |&dz   ja                  |&d«      jc                  d«      dkD  j;                  t         j\                  «      d¬«      ||d   <   |je                  «       }'d |'d d …tR        jf                  f<   d!|fd"t        jh                  |«      fd#t        jj                  |t#        |«      dz  d«      fd$|'ffD ]y  \  }(})tS        jT                  ||)|d%¬&«      \  }*}+||(   jm                  |d'   g «      j                  |*dkD  |t        jV                  |+tR        jX                  z
  d«         dk(  k(  «       Œ{ �Œ¢ |jo                  «       D ��,�-ci c]Ï  \  }},|t[        tq        t        jb                  t        jr                  |,ju                  «       D �-cg c]  }-t        jr                  |-«      ‘Œ c}-«      «      «      tq        t        jv                  |,ju                  «       D �-cg c]*  }-t        jb                  t        jr                  |-«      «      ‘Œ, c}-«      «      ¬(«      “ŒÑ }.},}}-t[        d)|j                  | |t%        j$                  «       |z
  tR        jx                  tR        jX                  z   tN        z  |tz        d*t|        |.¬+«      }/dd,l?m@}0  |0t[        d-|i|/¬.«      tƒ        || «      «        |d| › d/|/d0   d1›d2|d3›d4�d5j1                  d6„ |.jo                  «       D «       «      z   «       ~t„        j†                  d7k(  rt2        jˆ                  j‹                  «        y y c c}w c c}-w c c}-w c c}-},}w )8NrÆ   ÚsubjectÚkeyÚFuglsang2020Ú_Sú  fold held-out=ú: z	 train / z val chance_probe=ÚonÚoffrÐ  TrC  rÎ  r9   ú  saved )Únormalr
  Ú	shift_eegÚ
no_frontalÚeegÚattrM  rÃ  r   rx   FrJ   Út0r—   é(   r¬   )Úr0Úr1rä  Út_endÚr0_10Úr1_10Úatt10Úpre_switchedç        rà  r
  rá  râ  r  )rŸ  Úsubj_uid)ÚpooledÚsubject_medianÚ
direct_clfÚvlaai_ws_frozen)Údecoderr  Úheld_outÚfit_sÚtotal_sÚlookahead_sÚbest_valÚchannelsr  r„   Úcontrols)Úsave_pickleÚcausal)ÚevidenceÚinfoz	 done in r÷  r�  zs best_val r  Ú z  c              3  ó8   K  — | ]  \  }}|› d |d   d›�–— Œ y­w)r   rð  r�  NrB   )r  rv   r¾  s      rD   r  zrun_fold.<locals>.<genexpr>0  s)   è ø€ ÐJÑ9I±°°A�q�c˜˜1˜X™; sÐ+Ô,Ñ9Iùs   ‚r   )FrJ  ra  rb  r   r   Úindexr   ÚchoiceÚsortedr×  ÚuniqueÚiterrowsre  r   r  r   r   rÝ   r˜  rÕ  rÀ   rZ  ÚCKPT_DIRrÁ   rÂ   r‰   Úsaver   r   rI  rg   r   r™  rŠ   Úboolrc  ÚroundÚminimumÚaranger
   Úwherer‹   ÚlogitsÚmaximumrý   ÚdictÚint8r‘  Úreshaper­   ÚcopyÚFRONTALÚ
zeros_likeÚrollÚ
setdefaultr¡  r'  rg  ÚvaluesÚmedianrü   rØ   r   Ú
common_exprü  r   rÚ   r)  r   r*  )1rÅ   Úexprà   r°   r¤  r®  rh  ri  ÚdsÚrowsÚvsrd   ÚrÚtrrå  rä   r¯  Út_fitr,  Úsrngrv   ÚevÚctlÚSfeatr{   rä  ÚT128ÚtimesÚst128ÚcurÚprevÚttÚs0ÚstÚSswÚlgÚstartsÚtruthÚn10Úxfr^   ÚxcÚl1Ús1r†   r¾  rû  rÿ  rü  s1                                                    rD   Úrun_foldr7  í  så  € Ü
�)‰)×
Ñ
¤ F¡¬g¯m©m¸DÓ.AÑ AÓ
B€CØ�Rˆ3€EßˆØ�Š:ØÜ�r‹{ˆØ�Z‰Zœ˜tŸ|™|×2Ñ2Ó4Ó5Ó6ˆØ—M‘M–O‰DˆAˆqØ�i‘L BÒ&‰S¨E×9Ñ9¼*ÀQÇVÁVÈQÈuÉXÓ:VÕWñ $ð ð 
Œ]˜NÐ+¨Q¯V©V°SÓ9Ñ9€EØ�cŒkˆÜ˜B“<ˆˆ4Šð áÐ
˜4˜& ¤3 u£: ,¨i¼¸C»°zð BÙ ,™°%Ð8ð	:ô ;ä	�‰‹€BÜ˜˜s C¨¨D¸|ÔL�I€CˆÜ�I‰I‹K˜"Ñ€EØˆsÜ‡K�K” 4Õ(Ü�7‰7�<‰<œ E¨$¨¨sÐ"3Ó4€DÜ	‡J�Jˆs�~‰~Ó Ô&Ùˆ(�4�&ÐÔÜ�9‰9× Ñ ¤¬¯©°dÓ(;Ñ!;Ó<€DØÑ"SÓTÑ"S˜Q�1�b‘5Ð"SˆÐT€BÜ˜“×&Ñ&×(‰ˆˆ1Ü˜Ÿ™  %¡Ó)ˆÜ& r›l¨B¨u©I°r¸%±y×7GÑ7GÌÓ7LÌcÐRSÐTWÑRXËkÐYÑˆˆq�#�tÜ! $¨¨s©
Ó3ˆØ�‰�a˜ÔÜŸ8™8 D¬$Ó/°¸�DˆsˆÛˆBÜ�T˜A‘Xœs¤5¨¨c©£?Ó3Ó4ˆBØ ˆE�$�rˆNØ˜ �‰Cð ð ˆˆdˆeˆØ”2—:‘:Ø�1‰H”b—h‘h¤§	¡	¬#¨a«&Ó 1´BÑ 6¸¸D¹Ñ AÀSÑHÓI×PÑPÔQTÓUóWñ Xˆä�h‰h�rš!˜T 4˜-Ñ(¨%²±4°R°4°©.¸%Ó@ˆÜ—Y‘Y˜s A sÓ+‰
ˆˆFØ�r‘œ2Ÿ:™: f¬r¯v©v¡o°qÓ9Ñ:ˆÜ�"‹g˜‰mˆÜØ�A‰v˜2˜# ™' u§|¡|´B·G±GÓ'<ØœB‘;  D¡Ñ)×1Ñ1´"·*±*Ó=Ø�Y�c˜B‘h�-×'Ñ'¨¨RÓ0×5Ñ5°aÓ8¸1Ñ<Ø�i�s˜R‘x�=×(Ñ(¨¨bÓ1×6Ñ6°qÓ9Ð9¸AÑ=Ø˜˜# ™(Ð#×+Ñ+¨C°Ó4×9Ñ9¸!Ó<¸sÑB×JÑJÌ2Ï7É7ÓSØôˆˆ1ˆU‰8‰ð �V‰V‹XˆØˆŠ1Œb�j‰jˆ=ÑØ" A˜¨´R·]±]À1Ó5EÐ(FØ%¤r§w¡w¨q´#°a³&¸A±+¸qÓ'AÐBÀ\ÐSUÐDVóX‰HˆD�"ä—Y‘Y˜s B¨°AÔ6‰FˆB�Ø�‰I× Ñ   :¡°Ó3×:Ñ:Ø�a‘˜S¤§¡¨B´·±©K¸Ó!;Ñ<ÀÑAÑBõDòXð5 )ðD —I‘I”Kõ!ñ  ‰DˆAˆqð 	
Œ4”uœRŸW™W¤R§^¡^ÐPQ×PXÑPXÔPZÓ4[ÑPZÈ1´R·^±^ÀAÕ5FÐPZÑ4[Ó%\Ó]Ó^Ü$¤R§Y¡YÐTU×T\ÑT\ÔT^Ó/_ÑT^Èq´·±¼¿¹ÀqÓ8IÕ0JÐT^Ñ/_Ó%`Óaôcñ 	càð ò !ô ˜¨1¯6©6¸DÈÜŸ	™	› bÑ(´r·v±vÄÇÁ±Ì"Ñ6LØ¬Ð8IÜ Hô.€Dõ 'Ù”˜x¨˜n°4Ô8¼)ÀCÈÓ:NÔOÙÐ
˜4˜& 	¨$¨y©/¸#Ð)>¸kÈ$ÈsÈÐSTÐUØ
�)‰)ÑJ¸¿¹Ô9IÓJÓ
Jñ	Kô LàÜ
‡x�x�6ÒÜ�
‰
×ÑÕ ð ùò[ UùòB 5\ùÚ/_ùô!s+   È'
_ØA_&Ù_ Ù#4_&Ú/_!Û_&ß
_&c                óÌ  — i }t         D ]Ø  }i ||<   | |   j                  «       D ]»  \  }}|d   |d   z
  j                  t        j                  «      }t        j                  |d d …d f   dd¬«      d d …df   }t        |«      ||   |<   |dz  j                  t        j                  «      ||   |   d<   | dz  j                  t        j                  «      ||   |   d<   Œ½ ŒÚ i }	t         D ]æ  }t        j                  t         D �
�cg c]H  }
|
|k7  rA||
   j                  «       D ]+  }|d   |d   z
  t        j                  |d   dk(  d	d
«      z  ‘Œ- ŒJ c}}
«      }t        |j                  «       «      t        |j                  «       «      }}t        j                   |||||t"        z  ft$        ¬«      }||	|<    |d|› d|d   d›d|d   d›�«       Œè t        t        j                  t         D �
cg c]
  }
|	|
   d   ‘Œ c}
«      «      }t        t        j                  t         D �
cg c]
  }
|	|
   d   ‘Œ c}
«      «      } |d|d›d|d›�«       |	||fS c c}}
w c c}
w c c}
w )Nrç  rè  ç      >@ç      Ð?©Útaur^  r   rx   rä  r!  ç      ð¿©ÚemisÚp_stayz  HP30 LODO ú  H ÚHr  ú  Acc ÚAccú.2fz  HP30 LODO MEAN  H )r   r¡  rI  rJ  Úfloat64ÚV4Úhighpassr  r‘  rg  r  r  r'  r­   r®   r¯   Úscore_datasetÚSCALEÚP_STAY)r#  Úlarà   Úhp_evr  rØ  ÚeÚsignedÚhpÚperr†   rœ   Úmurá   r  ÚmHÚmAs                    rD   Ú
score_hp30rU  6  sI  € Ø€EßˆØˆˆb‰	Ø˜‘f—l‘l–n‰FˆC�Ø˜‘g  $¡Ñ'×/Ñ/´·
±
Ó;ˆFÜ—‘˜V¢A t G™_°$¸DÔAÂ!ÀQÀ$ÑGˆBÜ! !›WˆE�"‰I�c‰NØ$&¨¡F§?¡?´2·:±:Ó#>ˆE�"‰I�c‰N˜4Ñ Ø%' C¨!¡G×#3Ñ#3´B·J±JÓ#?ˆE�"‰I�c‰N˜4Ò ñ %ð ð €CßˆÜ�N‰NÝ%,ôTÙ%, °°R²ÀÀqÁÇÁÖAR¸Að ˜t™W q¨¡wÑ.´"·(±(¸1¸U¹8Àq¹=È#ÈtÓ2TÓTØARð UØ%,òTó Uˆä�q—v‘v“x“¤%¨¯©«£.ˆBˆÜ�O‰O˜B  r°°R¼%±ZÐ0@ÌÔPˆØˆˆB‰Ùˆl˜2˜$˜d 1 S¡6¨# ,¨f°Q°u±X¸c°NÐCÕDð ô 
Œr�w‰w­WÓ5©W¨˜˜A™˜s›¨WÑ5Ó6Ó	7€BÜ	Œr�w‰w­wÓ7©w¨!˜˜A™˜u›¨wÑ7Ó8Ó	9€BÙÐ
˜r #˜h f¨R°¨HÐ5Ô6Ø��Bˆ;ÐùóTùò 6ùÚ7s   ÄAIÇ1IÈ'I!c           
     óv  — t        j                  t        dd«      j                  t        «      }t        |t        ¬«      j                  t        «      }t        j                  | t        d¬«      }|j                  |d¬«      \  }} |d| › dt        |«      › d	t        |«      › d
�«       |j                  «        |S )zARebuild FeatGRUDirectNet and load a saved state_dict (bb + head).rÌ   rÍ   rÖ   FrÎ   rÑ   z  loaded FeatGRU rÓ   rÔ   rÕ   )r‹   r×   rØ   rÙ   rÚ   r~   r   r‰   rÛ   rÜ   rÝ   rÞ   )rÁ   rà   r�   rä   rá   râ   rã   s          rD   Ú_load_featgru_staterW  N  sš   € ô �<‰<œ˜q *Ó-×0Ñ0´Ó5€DÜ
˜4¤dÔ
+×
.Ñ
.¬sÓ
3€CÜ	�‰�D¤s¸Ô	?€BØ×-Ñ-¨b¸Ð-Ó?Ñ€GˆZÙÐ
˜D˜6 ¬C°«L¨>¸ÄcÈ*ÃoÐEVÐVWÐXÔYØ‡H�H„JØ€JrC   c                ó   — t         j                  t         j                  z   t        z  }t	        j
                  t        d«      \  }}i }t        D ]ô  }t        j                  t        D ��cg c]H  }||k7  rA||   j                  «       D ]+  }|d   |d   z
  t        j                  |d   dk(  dd«      z  ‘Œ- ŒJ c}}«      }	t        |	j                  «       «      t        |	j                  «       «      }}
t	        j                  ||||
|t         z  ft"        ¬«      }|||<    | d	|› d
|d   d›d|d   d›d|d   d›d|d   d›�
«       Œö t        t        j                  t        D �cg c]
  }||   d   ‘Œ c}«      «      }t        t        j                  t        D �cg c]
  }||   d   ‘Œ c}«      «      } | d|d›d|d›�«       t%        ||| «      \  }}}t        j                  t        D ��cg c]C  }||   j                  «       D ]+  }|d   |d   z
  t        j                  |d   dk(  dd«      z  ‘Œ- ŒE c}}«      }	t        |	j                  «       «      t        |	j                  «       «      }}
 | d|
d›d|d›dt         › �«       t&        j(                  j+                  |j,                  t/        t0        d   «      ¬«       t3        j4                  t6        d¬«       t3        j4                  t2        j8                  j;                  t<        «      d¬«       dD �ci c]1  }|t2        j8                  j?                  t6        d|› t@        › d�«      “Œ3 }}tC        d „ |j                  «       D «       «      �rœt2        j8                  jE                  t<        «      rtG        t<        | «      }�nrt        jH                  jK                  tL        d!   d"z   «      }g g }}t        D ]‰  }tO        |«      }|jQ                  tS        |jT                  jW                  «       «      «      }|jY                  «       D ]7  \  }}|d#   |k(  r|n|j[                  t]        |j,                  |d$   «      «       Œ9 Œ‹ |t_        d%g|j,                  | «      z  }||z   D ]  }ta        |«      |d&<   Œ  | d'tc        |«      › d(tc        |«      › �«       te        ||| |d)d*tg        th        «      d+¬,«      \  }}tk        jl                  |jo                  «       t<        «        | d-t<        › d.|d›�«       ~~|jq                  «       D �]¯  \  }}t2        j8                  jE                  |«      rŒ'i }t'        jr                  |«      } | d/|› d0tc        |«      › d1�«       tu        |«      D �]  \  }}t        jv                  ||d2   ta        |«      «      \  }} |d   jy                  tz        «      t        j|                  | t         j                  z
  d«         }!t        |d3z  | d3z  |!jy                  t        j€                  «      | t        z  |d4   z   jy                  t        j‚                  «      |d5   |d6   |d#   ¬7«      ||d$   <   |d8z   d9z  dk(  s|d8z   tc        |«      k(  sŒù | d:|› d;|d8z   › d<tc        |«      › �«       �Œ t…        |d=«      5 }"t‡        jˆ                  ||"«       d d d «        | d>|› �«       �Œ² ~tŠ        jŒ                  d?k(  rtj        jŽ                  j‘                  «        g }#t        D ]—  }||   j                  «       D ]  }|d   |d   z
  jy                  t        j’                  «      }$t•        j–                  |$d d …d f   d@dA¬B«      d d …df   }%|#j[                  |%t        j                  |d   dk(  dd«      z  «       Œ� Œ™ t        t        j                  |#«      j                  «       «      }&t        t        j                  |#«      j                  «       «      }'i }(|jq                  «       D �]¦  \  }}t…        |dC«      5 }"t‡        j˜                  |"«      }d d d «       t'        jš                  |
|t         z  t"        dD«      }i })|jq                  «       D ]²  \  }*}|d   |d   z
  jy                  t        j’                  «      }$t•        j–                  |$d d …d f   d@dA¬B«      d d …df   }%t        |«      |)|*<   |%d3z  jy                  t        j‚                  «      |)|*   d<   |% d3z  jy                  t        j‚                  «      |)|*   d<   Œ´ t'        jš                  |)|&|'t         z  t"        dD«      }+t'        jœ                  |«      },t        i |¥dE|,dE   i¥|+¬F«      |(|<    | dG|› d
|d   d›dH|d   d›dI|,dE   d›�«        | dJ|› d
|+d   d›dH|+d   d›�«       �Œ© ||(|
||||||f	S c c}}w c c}w c c}w c c}}w c c}w # 1 sw Y   �Œ&xY w# 1 sw Y   �Œ¶xY w)KNrý  rç  rè  rä  r   r!  r=  r>  z  PRESET LODO rA  rB  r  rC  rD  rE  z  L ÚLr�  z  SDT ÚSDTz  PRESET LODO MEAN  H z  external emissions mu z sd ú scale rë   )r  rë   TrC  )ÚAASDÚ	Carta2026Úext_clf_z_evidence.pklc              3  ó\   K  — | ]$  }t         j                  j                  |«       –— Œ& y ­wr¹   )rÀ   rÁ   rÃ   r  s     rD   r  zscore_preset.<locals>.<genexpr>t  s#   è ø€ Ð
<Ñ*; QŒr�w‰w�~‰~˜aÓ Ô Ñ*;ùs   ‚*,rÆ   r|  r×  rØ  rÙ  rÚ  z  all-5 train z / val r  FÚall5)rÅ   r¤  rÑ  rÒ  rß  z
 best val z  external rÜ  z trialsrã  rx   rå  Úatt128Ún128)rç  rè  rä  ré  ra  rb  r×  rJ   ræ  z    r   rS  Úwbz  wrote r   r9  r:  r;  Úrbg      è?Úacc1)ÚrawÚhp30z  PRESET EXT ú Acc z acc1 z  PRESET EXT_hp30 )Or‹   rü   rý   r
   r¯   Ú
load_foldsÚEXP_NAMEr   rJ  rg  r  r  r'  r­   r®   rI  rJ  rK  rU  r›   ÚCONFÚupdater  r“   r   rÀ   rZ  ÚEXT_DIRrÁ   ÚdirnameÚALL5_PTrÂ   r  ÚanyrÃ   rW  ra  rb  r   r   r  r  r×  r  r  re  r   r   r   rÝ   rÕ  rÊ   r   r‰   r  r   r¡  Ú
ext_trialsÚ	enumerater  rI  rg   r  r  r  r‘  ÚopenÚpickleÚdumprÚ   r)  r   r*  rF  rG  rH  rÛ   ÚscoreÚplain)-rà   r°   rL  r#  rd   rQ  r  r†   rN  rœ   rR  rá   r  rS  rT  Úhp_perÚhp_mHÚhp_mAÚev_pathsrä   r®  rh  ri  r  r  r   r¯  rÁ   ÚEVrL  rÉ  r/  r0  r1  ÚfhÚhp_partsrO  rP  Úmu_hpÚsd_hpÚextÚEV_hprØ  Úr_hprw  s-                                                rD   Úscore_presetr„  Z  sÄ  € Ü
�&‰&”2—6‘6‰/œRÑ	€BÜ�L‰Lœ 8Ó,�E€BˆØ
€CßˆÜ�N‰NÝ%,ôQÙ%, °°R²ÀÀAÁÇÁÆ¸Að ˜t™W q¨¡wÑ.´"·(±(¸1¸U¹8Àq¹=È#ÈtÓ2TÓTØAOð UØ%,òQó Rˆä�q—v‘v“x“¤%¨¯©«£.ˆBˆÜ�O‰O˜B  B¨b°"´u±*Ð-=ÄfÔMˆØˆˆB‰Ùˆn˜R˜D  Q s¡V¨C L°°q¸±xÀ°nð EØ�3‘˜�˜F 1 U¡8¨C .ð2õ 	3ð ô 
Œr�w‰w­WÓ5©W¨˜˜A™˜s›¨WÑ5Ó6Ó	7€BÜ	Œr�w‰w­wÓ7©w¨!˜˜A™˜u›¨wÑ7Ó8Ó	9€BÙÐ
   C ¨¨r°#¨hÐ7Ô8Ü% b¨"¨cÓ2Ñ€FˆE�5ä
�‰Ý")ôDÙ")˜B°2°b±6·=±=¶?¨að ˜4™ 1 T¡7Ñ*¬b¯h©h°q¸±xÀ1±}ÀcÈ4Ó.PÓPØ3Bð QØ")òDó 	E€Aä�1—6‘6“8‹_œe A§E¡E£G›nˆ€BÙÐ
" 2 c (¨$¨r°#¨h°g¼e¸WÐEÔFÜ‡F�F‡M�M�q—v‘v¤t¬A¨i©LÓ'9€MÔ:Ü‡K�K” $Õ'Ü‡K�K”—‘—‘¤Ó(°4Õ8á/ó1Ù/�Bð ”B—G‘G—L‘L¤¨H°R°D¼¸¸]Ð*KÓLÑLØ/ð ð 1ä
Ñ
<¨(¯/©/Ô*;Ó
<Õ<Ü�7‰7�>‰>œ'Ô"Ü%¤g¨sÓ3ŠCä—)‘)×'Ñ'¬¨F©°bÑ(8Ó9ˆCØ˜R�3ˆEß�Ü˜r“{�Ø—Z‘Z¤ t§|¡|×':Ñ':Ó'<Ó =Ó>�Ø ŸM™MžO‘D�A�qØ˜i™L¨BÒ.‘S°E×AÑAÄ*ÈQÏVÉVÐUVÐW\ÑU]ÓB^Õ_ñ ,ð ð
 ”] NÐ#3°Q·V±V¸SÓAÑAˆEØ˜c”k�Ü# B›<��4’ð "á�.¤ U£ ¨G´C¸³H°:Ð>Ô?Ü  s¨C°¸ÈeÜ*7¼Ó*>È&ôR‰IˆC�ä�J‰J�s—~‘~Ó'¬Ô1Ù�(œ7˜) :¨d°3¨ZÐ8Ô9Ø�sØ Ÿ™×(‰HˆB�Ü�w‰w�~‰~˜dÔ#ØØˆBÜ—\‘\ "Ó%ˆFÙ�+˜b˜T ¤C¨£K =°Ð8Ô9Ü" 6×*‘��2ÜŸY™Y s¨B¨u©I´xÀ³|ÓD‘
��FØ˜5™	×(Ñ(¬Ó-¬b¯j©j¸Ä"Ç&Á&¹È!Ó.LÑM�Ü $Ø˜A‘v 2 #¨¡'¨u¯|©|¼B¿G¹GÓ/DØ!¤B™;¨¨D©Ñ1×9Ñ9¼"¿*¹*ÓEØ˜h™<¨b°©jÀ"ÀYÁ-ô!Q��2�e‘9‘ð ˜‘E˜R‘< 1Ò$¨¨A©´°V³Ó(<Ù˜$˜r˜d ! A¨¡E 7¨!¬C°«K¨=Ð9Ö:ð +ô �d˜DÔ! RÜ—‘˜B Ô#÷ "á�(˜4˜&Ð!Ö"ð# )ð$ Ü�8‰8�vÒÜ�J‰J×"Ñ"Ô$à€HßˆØ�B‘—‘–ˆAØ˜‘g  $¡Ñ'×/Ñ/´·
±
Ó;ˆFÜ—‘˜V¢A t G™_°$¸DÔAÂ!ÀQÀ$ÑGˆBØ�O‰O˜B¤§¡¨!¨E©(°a©-¸¸dÓ!CÑCÕDñ !ð ô
 ”"—.‘. Ó*×/Ñ/Ó1Ó2€EÜ”"—.‘. Ó*×.Ñ.Ó0Ó1€Eà
€CØ—N‘N×$‰ˆˆDÜ�$˜Ô Ü—‘˜R“ˆB÷ ä�G‰G�B˜˜B¤™J¬°Ó5ˆØˆØ—h‘h–j‰FˆC�Ø˜‘g  $¡Ñ'×/Ñ/´·
±
Ó;ˆFÜ—‘˜V¢A t G™_°$¸DÔAÂ!ÀQÀ$ÑGˆBÜ˜a›ˆE�#‰JØ " Q¡Ÿ™¬r¯z©zÓ:ˆE�#‰J�tÑØ!#  a¡×/Ñ/´·
±
Ó;ˆE�#‰J�tÒð !ô �w‰w�u˜e U¬U¡]´F¸DÓAˆÜ—‘˜“ˆÜÐ7˜aÐ7 ¨¨v©Ñ7¸dÔCˆˆB‰Ùˆm˜B˜4˜t A c¡F¨3 <¨u°Q°u±X¸c°NÀ&ÈÈvÉÐWZÐH[Ð\Ô]ÙÐ    D¨¨c©°3¨°u¸TÀ%¹[ÈÐ<MÐNÖOð %ð  ��R˜˜R  V¨U°EÐ9Ð9ùósQùò 6ùÚ7ùóDùò1÷J "Ñ!ú÷$ Ñús8   Á)AgÅ!gÆgÇ*Ag
Ì6g!Ú+g&à)g3ç&g0	ç3g=	c
                ó°  — t        dd¬«      }
t        }dddt        › d�ddd	|d
›dt        › dt        › dt
        › dt        › dt        › d�ddt        › dt        › d�dg	}|dk(  rB|d|	› �dddddgz  }t        t        d«      j                  dj                  |«      «       t        S |g d¢z  }t        D ]K  }| |   ||   }}|j                  d|› d|d   d
›d|d   d›d|d   d
›d |d   d›d!|
d"   d
›d |
d#   d›d$�«       ŒM |d%|d
›d&|d›d&|d
›d |d›d'|
d"   d
›d |
d#   d›d$�dd(dd)d*d+|d,   d-   d   d
›d|d,   d-   d   d›d|d,   d.   d   d
›d |d,   d.   d   d›d|d›d/|d,   d-   d   |z
  d0›d|d,   d-   d   d1kD  rd2nd3› d$�d4|d5   d-   d   d
›d|d5   d-   d   d›d|d5   d.   d   d
›d |d5   d.   d   d›d6�	dd7dd8d9d:| d;   d   d
›d | d;   d   d›d<�d=| d>   d   d?k\  rd@ndA› dB| d>   d   d
›d<�dC|d,   d-   d   d1kD  r|d,   d-   d   dDkD  rd@ndA› dB|d,   d-   d   d
›d |d,   d-   d   d›d<�dE|d,   d-   d   |z
  d0›d$�dddgz  }|d,   d-   d   }|d1kD  r|j                  dF«       n+||dGz
  k\  r|j                  dH«       n|j                  dI«       |j                  d«       t        t        d«      j                  dj                  |«      «       t        S )JNg–!Žuqé?g)\�ÂõR@)Úmean_HÚmean_Accz# results_sw2_feat_gruÚ z>**Freeze published SW2 `vlaai_ws` backbone; train NEW causal `u;   ` head** on penultimate features â†’ frame logits â†’ pool.z•Init held-*/all5 SW2 DirectNet. Trunk frozen. Distinct from full FT hardswitch, vlaai identity residuals, aux-env/InfoNCE, tip PP, FIR/Morlet/FBCNet.zSwap-test (xavier) delta=r  z. Prep `eaP_n5_t60`, max u    epÃ—z, batch z8, device default CPU (feat-cache then head). HMM p_stay r[  z; also hp30.zMCode: `sw2_feat_gru_lodo.py`. Checkpoints: `models/sw2_feat_gru/held-*.pt`, `z
`. JSON: `ú`.Ú	abandonedz**ABANDONED**: z## NEXT IDEAzµFrozen-SW2 + new GRU/Conv1d head did not clear chance. Prefer a qualitatively new Acc front-end outside frozen-trunk head swaps (not hardswitch FT, not vlaai residuals, not tip PP).ÚwÚ
)z## LODO (preset)rˆ  z:| Held-out | H | Acc % | hp30 H/Acc | vs published vlaai |z|---|---:|---:|---|---|z| z | rB  rD  rE  rS  z | pub r†  r‡  z |z| **mean** | **z** | **z	** | pub z## External (preset)uB   | Set | H | Acc % | hp30 H/Acc | Acc tip 53.53 | Î”tip | Acc>60? |z|---|---:|---:|---|---|---|---|z	| AASD | r\  rf  rg  u    | Î”ú+.2fé<   ÚYESÚNOz| Carta2026 | r]  u    | â€” | â€” | â€” |z
## Targetsz| Target | Result |z	|---|---|z| AVGC H>=0.85 Acc>=78 | miss (r  z) |z| UHD H>=0.85 | ÚUHDg333333ë?ÚmetÚmissrŽ  z| AASD Acc>60 with H>0.63 | g)\�Âõ(ä?u   | AASD Acc vs tip 53.53 | Î” zxAASD Acc>60 hit with frozen-SW2 + new head. Next: multi-seed ensemble of feat-GRU heads or fuse with tip hard_abs_swmix.g333333Ó?u¹   Near tip Acc with frozen trunk + new head. Next: try Conv1d head ablation if GRU was used (or vice versa), or multi-seed mean of feat-heads â€” still no tip PP / hardswitch / residuals.zµFrozen-SW2 + new GRU/Conv1d head did not beat tip Acc 53.53. Close the frozen-trunk head-swap family. Prefer non-vlaai Acc ideas outside tip PP / denser-switch / multitask-on-vlaai.)r  ÚLEADER_AASDr   r   r  r   rK  rJ  ro  ÚOUT_JSONrs  Ú
RESULTS_MDÚwriterÂ   r   re  )rQ  r�  rS  rT  rx  ry  rz  Ú
swap_deltaÚstatusÚchance_noteÚpubÚleaderÚlinesr  r  rc   Úaasds                    rD   Úwrite_resultsrŸ  »  s±  € ä
�f uÔ
-€CÜ€Fà Ø
ð	Üˆ6ÐLð	Nð	ð 	Ø
# J¨sÐ#3ð 4Üˆl˜%¤˜w h¬u¨gð 6.Ü.4¨X°W¼U¸GÀ<ð	Qð 	ðÜˆ9�Jœx˜j¨ð	,à
ð€Eð" �ÒØØ˜k˜]Ð+ØØØðDð ð	
ñ 		
ˆô 	ŒZ˜Ó×#Ñ# D§I¡I¨eÓ$4Ô5ÜÐà	ò ñ €E÷ ˆØ�2‰w˜˜r™
ˆ1ˆØ�‰Ø���C˜˜#™˜s�| 3 q¨¡x° n°C¸¸#¹¸s°|À1ÀQÀuÁXÈcÀNð SØ�x‘= Ð% Q s¨:¡°sÐ&;¸2ð?õ	@ð ð
 
Ø
˜"˜S˜ ¨¨C¨°¸¸c°{À!ÀEÈ#À;ð OØ�8‰}˜SÐ!  3 z¡?°3Ð"7°rð	;à
ØØ
ØLØ)Ø
�C˜‘K Ñ& sÑ+¨CÐ0°°C¸±KÀÑ4FÀuÑ4MÈcÐ3RÐRUØˆv‰;�vÑ˜sÑ# CÐ
(¨¨#¨f©+°fÑ*=¸eÑ*DÀSÐ)IÈØ�#ˆ,�e˜C ™K¨Ñ.¨uÑ5¸Ñ>¸tÐDÀCØ˜‘K Ñ& uÑ-°Ò2‰5¸Ð
=¸Rð	Að ˜˜[Ñ)¨%Ñ0°Ñ5°cÐ:¸#¸cÀ+Ñ>NÈuÑ>UÐV[Ñ>\Ð]`Ð=aÐadØˆ{Ñ˜FÑ# CÑ(¨Ð
-¨Q¨s°;Ñ/?ÀÑ/GÈÑ/NÈsÐ.Sð Tð	ð 	ØØ
ØØØ
)¨#¨f©+°cÑ*:¸3Ð)?¸qÀÀVÁÈUÑASÐTWÐ@XÐX[Ð\Ø
 C¨¡J¨s¡O°tÒ$;™5ÀÐHÈÈ3ÈuÉ:ÐVYÉ?Ð[^ÐJ_Ð_bÐcØ
&Ø˜‘K Ñ& uÑ-°Ò2°s¸6±{À5Ñ7IÈ#Ñ7NÐQUÒ7U‰5Ð[aÐ
bð cØ�‰K˜Ñ˜sÑ# CÐ(¨¨#¨f©+°eÑ*<¸UÑ*CÀCÐ)HÈð	Mð (¨¨F©°EÑ(:¸5Ñ(AÀFÑ(JÈ4Ð'PÐPRÐSØ
ØØ
ð9ñ €Eð< ˆv‰;�uÑ˜eÑ$€DØˆb‚yØ�‰ðJõ	Kð 
�˜#‘Ò	Ø�‰ðGõ	Hð
 	�‰ðIô	Jð 
‡L�L�ÔÜŒ�SÓ×Ñ §	¡	¨%Ó 0Ô1ÜÐrC   c                óø  — t         j                  j                  t        dd«      }t	        |«      j                  «       j                  «       }g }|D ][  }d|v rD|j                  d«      }t        |«      dk\  r%d| › d�|d<   |r	d|› d�|d<   dj                  |«      }|j                  |«       Œ] t	        |d	«      j                  d
j                  |«      |r|d   j                  d
«      s	d
z   «       y dz   «       y )Nr;   z	CLAIMS.mdz| sw2-feat-gru |Ú|rö   r   r  é   r‹  rŒ  r—   rˆ  )rÀ   rÁ   rÂ   r	   rs  ÚreadÚ
splitlinesÚsplitrÝ   re  r—  Úendswith)r™  ÚnoterÁ   r  r¤   ÚlineÚpartss          rD   Ú
mark_claimrª    sß   € Ü�7‰7�<‰<œÐ.°Ó<€DÜ�‹:�?‰?Ó×'Ñ'Ó)€DØ
€CÛˆØ Ñ%Ø—J‘J˜s“OˆEÜ�5‹z˜QŠØ˜v˜h a˜=��a‘ÙØ!" 4 &¨˜{�E˜!‘HØ—x‘x “�Ø�
‰
�4Õð ô 	ˆˆsƒO×Ñ˜$Ÿ)™) C›.±DÀÀbÁ×ARÑARÐSWÔAX¨DÑaÕbÐ^`ÑaÕbrC   c           	     ó(  — t         j                  j                  t        dd«      }t	        |«      j                  «       }|j                  dd| d›d|d›d|› �«      }||k(  r|j                  dd	| d›d
�«      }t	        |d«      j                  |«       y )Nr;   zSTATUS_GAPS.mduE   2. **sw2-feat-gru** â€” freeze SW2 trunk + new GRU head Acc (queued).u(   2. **sw2-feat-gru** â€” done AASD Acc **rE  z** (H r  z). z2. ~~sw2-feat-gru~~ done Acc Ú.r‹  )rÀ   rÁ   rÂ   r	   rs  r£  Úreplacer—  )Úaasd_accÚaasd_hr§  rÁ   ÚtextÚtext2s         rD   Úupdate_status_doner²  +  s–   € Ü�7‰7�<‰<œÐ.Ð0@ÓA€DÜ�‹:�?‰?Ó€Dà�L‰LØOØ
2°8¸C°.ÀÀvÈcÀlÐRUÐVZÐU[Ð\ó€Eð �‚}Ø—‘ØSØ+¨H°S¨>¸Ð;ó
ˆô 	ˆˆsƒO×Ñ˜%Õ rC   c                 óR
  — t        «        t        t        «      } t        «       }t	        ddt
        › dt        › d�«        | dt        › dt        › dt
        › dt        › d	t        › d
t        j                  j                  dd«      › d�«       	 t        | «      \  }}t        t        «      D ]Z  \  }}t!        t        |«      }t        j"                  j%                  |«      r | d|› d|› �«       ŒDt'        |t        | ||dk(  ¬«       Œ\ t)        | |«      \	  }}}	}
}}}}}t+        dci dt        “dd“dt,        “dt.        d   “dd“dt        “dt0        “dd“dt2        “dt        “dd “d!d"“d#t.        d#   “d$d%“d&t.        d&   “d'|“d(t5        t
        «      “d)t+        t6        t8        |	|
t        D �ci c]  }|||   “Œ
 c}t        D �ci c]  }|||   “Œ
 c}|¬*«      “d+|“d,|“d-|“d.|“d/|d0   d1   d2   “d3|d0   d1   d2   t:        z
  “d4t=        |d0   d1   d2   d5kD  «      “Ž}t        j>                  t        j"                  jA                  tB        «      d6¬7«       tE        tB        d8«      5 }tG        jH                  ||d9tJ        ¬:«       d d d «       tM        ||||||||«      }d;|d<›d=|d>›d?|d0   d1   d@   d<›dA|d0   d1   d2   d>›dB|d0   d1   d2   t:        z
  dC›dD|d0   d1   d2   d5kD  rdEndF› dG|dH   d1   d@   d<›dA|dH   d1   d2   d>›dI|› dJ�}t	        dK|«       tO        |d0   d1   d2   |d0   d1   d@   dL«       t        j"                  jQ                  tR        dMdN«      }tE        |dO«      5 }|jU                  dPt        › dQ|d<›dA|d>›d?|d0   d1   d@   d<›dA|d0   d1   d2   d>›dB|d0   d1   d2   t:        z
  dC›dG|dH   d1   d2   d>›dR|d0   d1   d2   d5kD  rdEndF› dS�«       d d d «        | dTtB        › dU|› �«        | dV«       tW        dW|d0   d1   d2   d>›dXt:        › dY|d0   d1   d2   t:        z
  dC›dZ|d0   d1   d2   d5kD  rdEndF› �«       y c c}w c c}w # 1 sw Y   �ŒÄxY w# 1 sw Y   Œ�xY w# tX        $ rJ}t5        |«      }t	        d[|d d\ «       tM        i i ddi ddd]d[|¬^«
        | d_|› �«       t[        d`«      ‚d }~wt\        $ rn}t5        |«      }da|j_                  «       v s|ja                  db«      r:t	        d[|d d\ «       tM        i i ddi ddd]d[|¬^«
        | d_|› �«       t[        d`«      ‚‚ d }~ww xY w)dNÚrunningzDEVICE=z HEAD=z3; feat-cache then CPU head; results_sw2_feat_gru.mdz=== z FeatGRU head=r   z max_epochs rÂ  z CACHE_THEN_TRAIN=rÏ  r,   z ===rÛ  z	: cached r   rÐ  Ú
experimentrô  rò  r  rë   r	  r¬   r„   Úgru_hidrV   Úpublished_sw2_held_all5r  ró   r  ró  Úwindow_sg      $@rñ   Úextra_trainrÙ  rð   r˜  r  Úpreset)r@  ÚscaleÚemis_muÚemis_sdÚlodoÚ	lodo_hp30Úexternalr†  r‡  Úmean_H_hp30Úmean_Acc_hp30r®  r\  rf  rD  Úaasd_vs_tipÚ	acc_gt_60rŽ  TrC  r‹  rJ   )ÚindentÚdefaultzLODO mean H r  rh  rE  z. AASD rB  rS  u    (Î”tip r�  z	; Acc>60=r�  r�  z	). Carta r]  z. `r‰  rp  u)   Close frozen-trunk head-swap if Accâ‰ª60.r;   zALREADY_TRIED.mdr°   za
- **sw2-feat-gru** (`sw2_feat_gru_lodo.py`; freeze published SW2 vlaai_ws held/all5; NEW causal u~    head on penultimate feats; eaP_n5_t60; â‰  hardswitch FT / vlaai residuals / aux-InfoNCE / tip PP / FIR-Morlet-FBCNet): LODO z	. Acc>60=z-. `multi_agent_opt/results_sw2_feat_gru.md`.
zwrote z and z=== done ===z

AASD Acc=z vs tip u    (Î”z
); Acc>60=rŠ  éÜ   rî  )r™  rš  zABANDONED: rx   ÚswapÚABORTrB   )1r  r   ÚLOG_PATHr  rª  rÚ   r   rj  r   r   rÀ   r  r  r8  rr  r   r   rÁ   rÃ   r7  r„  r  r  r   r#   r   r»   rK  rJ  r”  r	  rZ  rn  r•  rs  Újsonru  r'  rŸ  r²  rÂ   r	   r—  Úprintr=   Ú
SystemExitr+  ÚlowerÚ
startswith)rà   r°   r˜  rd   rÉ  rÅ   rÁ   rQ  r�  rR  rá   rS  rT  rx  ry  rz  r†   r¤   r}  Úrpathr§  ÚalreadyrN  Úmsgs                           rD   ÚmainrÓ  ;  sf  € Ü„KÜ
”Ó
€CÜ‹€AÜˆy˜G¤C 5¨¬t¨fÐ4gÐhÔiÙˆ$Œxˆj˜¤t f¨H´S°Eð :Ü �\ ¬¨Ð/AÜ�:‰:�>‰>Ð,¨cÓ2Ð
3°4ð	9ô :ðFÜ" 3›‰ˆ
�AÜ ¤Ö)‰GˆAˆtÜœX tÓ,ˆDÜ�w‰w�~‰~˜dÔ#ÙÐ& t f¨I°d°VÐ<Ô=ØÜ�Tœ8 S¨!¸1À¹6ÖCð *ô :FÀcÈ1Ó9MÑ6ˆˆS�"�b˜"˜b &¨%°Üò 
Ýð
Ù)5ð
Ý<@ð
ä�i’Lð
á+.ð
å59ð
åCJð
ñ +ð
õ 8Bð
õ "ð	
ñ ->ð	
ñ IMð	
ô
 ˜’ð
ñ
 5Cð
ô �i’Lð
ñ .8ð
ô ADÄCÄð
ô œv¬U¸BÈÝ18Ó9±¨A˜a  Q¡™i°Ñ9Ý9@Ó"A¹°A 1 f¨Q¡i¡<¸Ñ"AØ!$õ&ð
ñ ð
ñ !#ð
ñ 16ð
ñ FKð
ð ˜‘[ Ñ'¨Ò.ð
ð ˜F™ EÑ*¨5Ñ1´KÒ?ð
ô ˜3˜v™; uÑ-¨eÑ4°rÑ9Ô:ð
ˆô  	�‰”B—G‘G—O‘O¤HÓ-¸Õ=Ü”(˜CÔ  BÜ�I‰I�c˜2 a´Õ7÷ !ä˜c 3¨¨B°¸¸uÀjÓQˆØ˜r #˜h e¨B¨s¨8ð 4Ø˜F™ EÑ*¨3Ñ/°Ð4°A°c¸&±kÀ%Ñ6HÈÑ6OÐPSÐ5Tð UØ˜f™+ eÑ,¨UÑ3´kÑAÀ$ÐGð HØ#& v¡;¨uÑ#5°eÑ#<¸rÒ#A™%ÀtÐLð MØ˜[Ñ)¨%Ñ0°Ñ5°cÐ:¸!¸CÀÑ<LÈUÑ<SÐTYÑ<ZÐ[^Ð;_ð `Ø�7˜"ðˆô 	�6˜4Ô Ü˜3˜v™; uÑ-¨eÑ4°c¸&±kÀ%Ñ6HÈÑ6MØFô	Hô —'‘'—,‘,œsÐ$5Ð7IÓJˆÜ�'˜3Ô 2Ø�H‰Hð2Ü26°ð 8,à,.¨s¨8°1°R¸°Hð =Ø˜F™ EÑ*¨3Ñ/°Ð4°A°c¸&±kÀ%Ñ6HÈÑ6OÐPSÐ5Tð UØ˜f™+ eÑ,¨UÑ3´kÑAÀ$ÐGð HØ˜[Ñ)¨%Ñ0°Ñ7¸Ð<¸IØ ™K¨Ñ.¨uÑ5¸Ò:‘5ÀÐEð F?ð@ô
÷  ñ 	ˆf”X�J˜e E 7Ð+Ô,ÙˆNÔÜ�˜C ™K¨Ñ.¨uÑ5°cÐ:¸(Ä;À-ð PØ˜‘K Ñ& uÑ-´Ñ;¸DÐAð BØ!$ V¡¨UÑ!3°EÑ!:¸RÒ!?™ÀTÐJðLõ 	MùòK :ùÚ"A÷ !Ñ ú÷  Ðûô" ò Ü�!‹fˆÜ�;  D S 	Ô*Ü�b˜"˜a  B¨¨1¨c¸+ÐSVÕWÙˆk˜#˜ÐÔ Ü˜‹mÐûÜò Ü�!‹fˆØ�S—Y‘Y“[Ñ  C§N¡N°7Ô$;Ü�{ C¨¨ IÔ.Ü˜"˜b ! Q¨¨A¨q°#¸kÐWZÕ[Ù�+˜c˜UÐ#Ô$Ü˜Q“-ÐØûðúsy   ÂDQ Æ+P;Æ8
Q ÇQ ÇBQ É%QÊCQ Í"A0QÏA(Q Ð;
Q ÑQÑ
Q ÑQÑQ Ñ	T&Ñ'AR,Ò,T&Ò8A)T!Ô!T&Ú__main__)r   )rÅ   r»   rÆ   rg   rj   r»   )rÆ   rg   rj   r»   )rß   r»   rj   r~   )r  r»   rj   r»   )T)TNNr¼   )rp  Nr¹   )srA   Ú
__future__r   rË  rÀ   rt  r˜  Útypesr   rH  rJ  r‰   Útorch.nnrQ   Útorch.nn.functionalÚ
functionalrz   r  Údirect_classifierr‹   Úensemble_clf_transformer_v4rG  Úeval_externalr›   rv  r¯   Úcommonr   r   r  r   r   r	   r
   r   r   r   r   r   r   Ú	e1_switchr   Úrun_experimentr   r   r  r  rÎ  Ú
DEVICE_STRrÏ  r   Úis_availabler  rÚ   rj  r  r   rg   r   r   r   r)  r   r  r'  r"   r#   r$   r&   r(   rK  rJ  r”  r  rØ   r+   r-   rÁ   rÂ   r@  r0   r2   rÊ  r•  rm  ro  r  r–  r+  r=   ÚModulerF   ro   r~   rÇ   rÊ   rå   r  r  r8  r=  rA  rt  r¿  rÌ  rÕ  r7  rU  rW  r„  rŸ  rª  r²  rÓ  r>   rB   rC   rD   Ú<module>rã     sÔ  ðñõ0 #ã Û 	Û Û Ý !ã Û Ý ß Ð ã Û Û (Û Û ß  ß \× \Ó \ß  Ý 'ß 0ð �Z‰Z�^‰^˜H eÓ,×2Ñ2Ó4€
Ø×Ñ˜Ô ¨¯©×)@Ñ)@Ô)BØ€JØ€e‡l�l�:Ó€Ø€„à?€Ø$€Ø	‡z�z‡~�~�f˜eÓ$×*Ñ*Ó,€ÙˆB�J‰J�N‰N˜6 3Ó'Ó(€Ù�—‘—‘ ¨cÓ2Ó3€
Ù�—‘—‘ ¨cÓ2Ó3€
ÙˆB�J‰J�N‰N˜7¨C¯H©H¸Ò,=¡DÀ4ÓHÓI€ÙˆB�J‰J�N‰NÐ,¨eÓ4Ó5€Ù
ˆ2�:‰:�>‰>˜$ Ó'Ó(€Ù
ˆb�j‰j�n‰n˜Y¨Ó-Ó
.€Ù	ˆR�Z‰Z�^‰^˜H cÓ*Ó	+€Ù�"—*‘*—.‘. °Ó5Ó6€Ù�2—:‘:—>‘> ,°Ó8Ó9€
Ø�€ˆØ€Ø€Ø
€Ø�Z‰Z�^‰^˜L¨#Ó.°#Ñ5€
Ø—:‘:—>‘>Ð"4°cÓ:¸cÑAÐ Ø�W‰W�\‰\˜#˜wÐ(<Ó=€
Ù�B—J‘J—N‘N ?°FÓ;Ó<€Ù�"—*‘*—.‘. °Ó7Ó8€à�7‰7�<‰<˜˜]Ð,CÓD€Ø�7‰7�<‰<˜˜Y¨8¨*°EÐ(:Ó;€Ø
�'‰'�,‰,�s˜I zÓ
2€Ø
�'‰'�,‰,�s˜H¨¸°u¸CÐ&@Ó
A€Ø�7‰7�<‰<˜˜X ~Ó6€Ø�W‰W�\‰\˜#Ð0Ð2KÓL€
ô?�|ô ?ô$�B—I‘Iô $ô("�r—y‘yô "ô*4�r—y‘yô 4ôn
ôóòHò ò0òfóBò%óP>óBBóJ
JóF!òRò0	ò^:ðB NTØ"ó]ó@cò !ò Nðb ˆzÒÙ…Fð rC   