Ë
    *tëju  ã                   ój  — d Z ddlZddlZddlZddlZddlZddlmZ ddlZ	ddl
ZddlmZ dZ G d„ de	j                  «      Zd„ Zd	„ Zd
„ Zd„ Zedk(  rá ej,                  «       Zej1                  dedd¬«       ej1                  ddd¬«       ej1                  dd¬«       ej1                  dd¬«       ej5                  «       Z e«        ej(                  s]ee	_        ej8                  j;                  eddd«      e_         ej>                  ej@                  ejB                  ejD                  «       yyy)a(  Auxiliary local switch-rate loss on diverse-schedule nested evidence.

The rate head is training-only: it predicts log1p(switches/minute) in the
last 8 s, from the same past evidence. It is even under stream swapping.
The antisymmetric attention head and fixed HMM remain the inference pipeline.
é    N)Únn)ÚEXPgš™™™™™¹?c                   ó,   ‡ — e Zd Zdˆ fd„	Zd„ Zd„ Zˆ xZS )ÚRateNetc                 óZ   •— t         ‰| �  |«       t        j                  dd«      | _        y )Né    é   )ÚsuperÚ__init__r   ÚLinearÚ	rate_head)ÚselfÚ
n_featuresÚ	__class__s     €úswitch_rate_aux_experiment.pyr   zRateNet.__init__   s!   ø€ Ü‰Ñ˜Ô$Ü—y‘y  A“ˆ�ó    c                 óž  — | j                  | j                  t        j                  || gd¬«      «      | j                  z   «      d d …df   }|j                  d«      \  }}| j                  |«      j                  d«      | j                  |«      j                  d«      z
  dz  }| j                  ||z   dz  «      j                  d«      }||fS )Nr   )Údiméÿÿÿÿé   )	ÚencoderÚprojÚtorchÚcatÚposÚchunkÚheadÚsqueezer   )r   ÚxÚhÚaÚbÚ	attentionÚrates          r   ÚheadszRateNet.heads   s­   € Ø
�,‰,�t—y‘y¤§¡¨A¨q¨b¨6°aÔ!8Ó9¸$¿(¹(ÑBÓ
CÂAÀbÀDÑ
IˆØ�G‰G�A‹J‰ˆˆ!Ø—9‘9˜Q“<×'Ñ'¨Ó+¨D¯I©I°a«L×,@Ñ,@ÀÓ,DÑDÀaÑGˆ	Ø�^‰^˜Q˜q™S !™GÓ$×,Ñ,¨RÓ0ˆØ˜ˆ~Ðr   c                 ó*   — | j                  |«      d   S )Nr   )r%   )r   r   s     r   ÚforwardzRateNet.forward!   s   € Ø�z‰z˜!‹}˜QÑÐr   )é   )Ú__name__Ú
__module__Ú__qualname__r   r%   r'   Ú__classcell__)r   s   @r   r   r      s   ø„ õ'òö r   r   c                 óB  — |t         j                  dz
  k  ry| |t         j                  z
  dz   |dz    }t        t        j                  t        j
                  |«      «      «      }t         j                  dz
  dz  }t        t        j                  d|z  |z  «      «      dfS )zHCount transitions on 32 observed hops ending at i; incomplete -> masked.r	   )ç        r.   ç      Ð?g      N@ç      ð?)ÚTÚWÚintÚnpÚcount_nonzeroÚdiffÚfloatÚlog1p)ÚyÚiÚsegmentÚcountÚdurations        r   Úrate_targetr>   %   s   € àŒ1�3‰3ˆq‰5‚y˜Øˆa”—‘‰e�A‰g�a˜‘cˆN€GÜ
Œb×ÑœrŸw™w wÓ/Ó0Ó
1€EÜ�c‰c�!‰e�S‰[€HÜ”—‘˜#˜e™) HÑ,Ó-Ó.¨rÐ1Ð1r   c                 óÆ  — t        t        d„ | D «       «      «      }|D ��ci c]  }|| D �cg c]  }|d   |k(  sŒ|‘Œ c}“Œ }}}g g g g f\  }}	}
}t        |«      D �]ã  }t        j                  |t        j                  |«         «      }t        |j                  dt        |d   «      «      «      }t        j                  |d   |g«      d   j                  «       }t        |d   |   dk(  «      }t        |d   |«      \  }}|r÷|j                  «       dk  r| d|z
  }}||j                  dd	«      z  }||j                  dd
|j                  «      z  }|j                  «       dk  r%d|d d …|j                  |j                  d   «      f<   |j                  «       dk  r\|j                  dt        j                   dz
  «      }d||t#        t        j                   |t        |j                  dd«      «      z   «       |j%                  |«       |	j%                  |«       |
j%                  |«       |j%                  |«       �Œæ t'        d„ ||	|
|fD «       «      S c c}w c c}}w )Nc              3   ó&   K  — | ]	  }|d    –— Œ y­w)ÚdsN© ©Ú.0Úts     r   Ú	<genexpr>zsamples.<locals>.<genexpr>/   s   è ø€ Ð*¡6˜a�!�D•'¡6ùs   ‚rA   r   r9   r   g      à?r0   gš™™™™™é?g333333ó?g{®Gáz´?r/   r	   gš™™™™™É?é   c              3   óŒ   K  — | ]<  }t        j                  t        j                  |«      t         j                  ¬ «      –— Œ> y­w))ÚdtypeN)r   Útensorr4   ÚasarrayÚfloat32)rD   Úvs     r   rF   zsamples.<locals>.<genexpr>A   s-   è ø€ Ð^ÑJ]ÀQ”—‘œbŸj™j¨›m´%·-±-×@Ð@ÑJ]ùs   ‚AA)ÚsortedÚsetÚrangeÚrandomÚchoicer3   ÚintegersÚlenr1   ÚwindowsÚcopyr7   r>   ÚuniformÚnormalÚshaper2   ÚminÚappendÚtuple)ÚtrialsÚnÚrngÚaugmentrA   ÚdrE   ÚgroupsÚxsÚysÚratesÚmasksÚ_Útrr:   r   r9   r$   ÚmaskÚstarts                       r   Úsamplesrk   .   s  € ÜŒcÑ*¡6Ó*Ó*Ó+€BÙ9;Ô<¹°AˆA™&Ó/™&�Q A d¡G¨Q£JŠq˜&Ñ/Ñ/¸€FÑ<Ø˜˜B˜r�kÑ€B€rˆ%�Ü�1�XˆÜ�=‰=˜¤§¡¨bÓ 1Ñ2Ó3ˆÜ
ˆc�l‰l˜1œS  C¡›\Ó*Ó
+ˆÜ
�)‰)�B�s‘G˜Q˜CÓ
  Ñ
#×
(Ñ
(Ó
*ˆÜ
��3‘˜‘
˜A‘Ó
ˆÜ˜b ™g aÓ(‰	ˆˆTÙØ�z‰z‹|˜BŠ A 2 b¨¡d ˜qØˆs�{‰{˜2˜cÓ"Ñ"ˆAØˆs�z‰z˜!˜C §¡Ó(Ñ(ˆAØ�z‰z‹|˜CÒ¸a ¢! C§L¡L°·±¸±Ó$<Ð"<Ñ =Ø�z‰z‹|˜BŠØ—l‘l 1¤Q§S¡S¨¡UÓ+�Ø?@��%œœAŸC™C ¤c¨#¯,©,°q¸Ó*;Ó&<Ñ <Ó=Ð>Ø
�	‰	�!Œ�R—Y‘Y˜q”\ %§,¡,¨tÔ"4°U·\±\À$Ö5Gð ô Ñ^È2ÈbÐQVÐW\ÑJ]Ó^Ó^Ð^ùò# 0ùÓ<s   ¡
I«I¹I½IÉIc                 óÀ
  ‡— t        j                  |«       t        j                  j	                  |«       t        j                  |«       t        j                  j                  |«      }t        t        d„ | D «       «      «      }|j                  t        |«      t        dt        |«      dz  «      d¬«      D �ch c]  }||   ’Œ	 }}| D �cg c]  }|d   t        |d   «      f|vsŒ|‘Œ }}| D �cg c]  }|d   t        |d   «      f|v sŒ|‘Œ }	}|r|	sJ ‚t        j                  |D �cg c]  }|d   d d d	…   ‘Œ c}«      }
t        j                  t        j                  t        j                  |
d
z  d¬«      «      d«      j!                  t        j"                  «      }|D �cg c]  }t%        ||d   |z  ¬«      ‘Œ }}|	D �cg c]  }t%        ||d   |z  ¬«      ‘Œ }	}ˆfd„t'        |	d|d«      D «       \  }}}}t)        |d   d   j*                  d   «      j-                  ‰«      }t         j.                  j1                  |j3                  «       dd¬«      }t5        d«      d d}}}t7        dd«      D �]�  }|j9                  «        ˆfd„t'        |d|d«      D «       \  }}}}|j;                  |«      \  }}t<        j>                  jA                  ||«      }||z
  jC                  «       |z  jE                  «       |jE                  «       jG                  d«      z  }|tH        |z  z   }|jK                  «        |jM                  «        t<        jN                  jQ                  |j3                  «       d«       |jS                  «        |dz  dk(  s�Œ|jU                  «        t        jV                  «       5  |j;                  |«      \  }} t<        j>                  jA                  ||«      jY                  «       }!| |z
  jC                  «       |z  jE                  «       |jE                  «       jG                  d«      z  jY                  «       }"d d d «       t[        d|› d|› d|jY                  «       d›d|jY                  «       d›d!d›d "d›�d¬!«       |!|d"z
  k  ra|!d}}|j]                  «       j_                  «       D �#�$ci c]2  \  }#}$|#|$ja                  «       jc                  «       je                  «       “Œ4 }}#}$�Œ…|dz  }|d#k\  s�Œ‘ n |jg                  |«       |jU                  «        ||fS c c}w c c}w c c}w c c}w c c}w c c}w # 1 sw Y   �ŒxY wc c}$}#w )$Nc              3   óB   K  — | ]  }|d    t        |d   «      f–— Œ y­w)rA   ÚsubjectN)ÚstrrC   s     r   rF   zfit.<locals>.<genexpr>G   s#   è ø€ ÐB¹6°a�q˜‘wœs 1 Y¡<Ó0Ô1¹6ùs   ‚r	   é   F)ÚreplacerA   rn   r   é   r   r   )Úaxisgü©ñÒMbP?)r   c              3   ó@   •K  — | ]  }|j                  ‰«      –— Œ y ­w©N©Úto©rD   rM   Údevices     €r   rF   zfit.<locals>.<genexpr>P   s   øè ø€ ÐEÑ'D !�—‘�f—Ñ'Dùó   ƒi   ga2U0*©3?)ÚlrÚweight_decayÚinfié  c              3   ó@   •K  — | ]  }|j                  ‰«      –— Œ y ­wru   rv   rx   s     €r   rF   zfit.<locals>.<genexpr>U   s   øè ø€ Ð$WÑ;V°a Q§T¡T¨&§\Ñ;Vùrz   é€   Tr0   éd   zseed=z step=z bce=z.4fz
 rate_mse=z	 val_bce=z val_rate_mse=©Úflushg-Cëâ6?é   )4r   Úmanual_seedr4   rQ   ÚseedÚdefault_rngrN   rO   rR   rT   Úmaxro   ÚconcatenateÚmaximumÚsqrtÚmeanÚastyperL   Údictrk   r   rY   rw   ÚoptimÚAdamWÚ
parametersr7   rP   Útrainr%   r   Ú
functionalÚ binary_cross_entropy_with_logitsÚsquareÚsumÚ	clamp_minÚ
AUX_WEIGHTÚ	zero_gradÚbackwardÚutilsÚclip_grad_norm_ÚstepÚevalÚno_gradÚitemÚprintÚ
state_dictÚitemsÚdetachÚcpuÚcloneÚload_state_dict)%r]   r…   ry   r_   rb   r:   ÚvalrE   r‘   ÚvalidÚvalsÚscaleÚvxÚvyÚvrÚvmÚmodelÚoptÚbestÚstateÚstalerœ   r   r9   r$   ri   ÚlgÚprÚbceÚ	loss_rateÚlossÚvlÚrvÚval_bceÚval_rateÚkrM   s%     `                                  r   Úfitr¾   D   s   ø€ Ü	×Ñ�dÔœBŸI™IŸN™N¨4Ô0´·±¸TÔ1BÜ
�	‰	×Ñ˜dÓ#€CÜ”#ÑB¹6ÓBÓBÓC€FØŸJ™J¤s¨6£{´3°q¼¸V»Àa¹Ó3HÐQV˜JÔWÓXÑW�qˆ�‹ÐW€CÐXÙÓ
G‘f�  4¡¬¨Q¨y©\Ó):Ð ;À3Ò FŠ1�f€EÐ
GÙÓ
C‘f�  4¡¬¨Q¨y©\Ó):Ð ;¸sÒ BŠ1�f€EÐ
CÙ‘UÐˆ?Ü	�‰©uÓ5©u¨!˜˜3™¡ " ›¨uÑ5Ó	6€DÜ
�*‰*”R—W‘WœRŸW™W T¨1¡W°!Ô4Ó5°dÓ
;×
BÑ
BÄ2Ç:Á:Ó
N€EÙ+0Ó
1©5 aŒ4��A�c‘F˜5‘LÖ!¨5€EÐ
1Ù+0Ó
1©5 aŒ4��A�c‘F˜5‘LÖ!¨5€EÐ
1ÛE¤w¨u°T¸#¸eÔ'DÓE�K€B€rˆ"ˆRÜ
�%˜‘(˜3‘-×%Ñ% aÑ(Ó
)×
,Ñ
,¨VÓ
4€EÜ�‰×Ñ˜%×*Ñ*Ó,°À$ÐÓG€CÜ˜5“\ $ qˆuˆ€DÜ�a˜—ˆØ�‰ŒÓ$W¼7À5ÈÈSÐQUÔ;VÓ$W‘m�a˜˜$˜tØ�k‰k˜!‹n‰ˆˆ2Ü�M‰M×:Ñ:¸2¸aÓ@ˆØ�t‘G×#Ñ#Ó% dÑ*×/Ñ/Ó1°$·(±(³*×2FÑ2FÀrÓ2JÑJˆ	Ø”˜IÑ%Ñ%ˆØ�‰Œ˜Ÿ™œ¬¯©×(@Ñ(@À×AQÑAQÓASÐTVÔ(WÐX[×X`ÑX`ÔXbØ�‰8�QŒ;Ø�J‰JŒLÜ—‘•Ø—k‘k "“o‘��2ÜŸ™×FÑFÀrÈ"ÓM×RÑRÓT�Ø˜r™EŸ>™>Ó+¨BÑ.×3Ñ3Ó5°b·f±f³h×6HÑ6HÈÓ6LÑL×RÑRÓT�÷ !ô �E˜$˜˜v d V¨5°·±³¸CÐ0@À
È9Ï>É>ÓK[Ð\_ÐJ`Ð`iÐjqÐruÐivð  wEð  FNð  ORð  ESð  Tð  [_õ  `Ø�t˜D‘yÒ Ø" 1�U�Ø=B×=MÑ=MÓ=O×=UÑ=UÔ=WÔXÑ=W±c°a¸�q˜Ÿ™›Ÿ™Ó)×/Ñ/Ó1Ñ1Ð=W�ÓXà�q‘�Ø˜!”8™Eð' ð( 
×Ñ˜%Ô  §¡¤Ø�ˆ;ÐùòC 	YùÚ
GùÚ
Cùâ5ùâ
1ùÚ
1÷ !‘üó YsC   Â:T/ÃT4Ã'T4Ã1T9ÄT9Ä+T>Æ&UÇUÎ6BUÒ?7UÕU	c                  óè  — t        j                  d«       t        d«      j                  «       } t        j                  dt
        j                  d«      }t        j                  «       5  | j                  |«      \  }}| j                  | «      \  }}d d d «       z   j                  «       j                  «       dk  r$z
  j                  «       j                  «       dk  sJ ‚t        j                  t        j                  d«      t        j                  d«      f   }t        |d«      \  }}|dk(  r$t        |t        j                   d«      z
  «      dk  sJ ‚t        d|z
  d«      ||fk(  rt        |d«      d   dk(  sJ ‚t        j                  |t        j                  d	«      f   }	|	j#                  «       }
d|
d
d  t        |	d«      t        |
d«      k(  sJ ‚t%        dd¬«       y # 1 sw Y   �ŒWxY w)Nr	   é   r(   g�íµ ÷Æ°>é   gøÞ{ï½÷@é
   r   rr   r   zNselftest passed: swapped attention/rate symmetry, past-only target, early maskTr�   )r   r„   r   r�   Úrandnr1   r2   rž   r%   Úabsr‡   r4   Úr_ÚzerosÚonesr>   r8   rV   r    )Úmr   r!   Úrr"   Úsr9   r$   ri   ÚafterÚchangeds              r   ÚselftestrÍ   l   s�  € Ü	×Ñ�aÔœ7 2›;×+Ñ+Ó-˜´·±¸A¼a¿c¹cÀ"Ó0E¨aÜ	�‰�˜QŸW™W Q›Z™˜˜1¨A¯G©G°Q°B«K©¨¨!�Øˆa‰C�9‰9‹;�?‰?Ó˜TÒ! q¨¡s§i¡i£k§o¡oÓ&7¸Ò&<Ð<Ð<Ü‡e�eŒB�H‰H�R‹LœŸ™ ›Ð$Ñ%€A´¸A¸bÓ0A¡i d¨4Ø�Š7”s˜4¤§¡¨Ó 1Ñ1Ó2°4Ò7Ð7Ð7Ü�q˜‘s˜2Ó  d Ò+´¸A¸bÓ0AÀ!Ñ0DÀaÒ0GÐGÐGä
�%‰%�”"—'‘'˜"“+�Ñ
€E u§z¡z£|˜wÀ°G¸B¸C°LÜ�u˜RÓ ¤+¨g°bÓ"9Ò9Ð9Ð9Ü	Ð
ZÐaeÖf÷ 
‰ús   Á(*G'Ç'G1Ú__main__z--seed)r   r	   r   rƒ   )ÚtypeÚchoicesÚdefaultz	--variant)ÚdirectÚfusionrÓ   )rÐ   rÑ   z
--externalÚ
store_true)Úactionz
--selftestÚresultsÚresearchÚnested_schedule_rate_aux)#Ú__doc__ÚargparseÚosrQ   Únumpyr4   r   r   Úantisym_transformer_experimentr1   Únested_schedule_evalÚSÚ
common_expr   r—   ÚNetr   r>   rk   r¾   rÍ   r)   ÚArgumentParserÚpÚadd_argumentr3   Ú
parse_argsr!   ÚpathÚjoinÚOUTÚmainr…   ÚvariantÚexternalrB   r   r   Ú<module>rì      s  ðñó Û 	Û Û Û Ý ã *Û  Ý à€
ô ˆa�e‰eô  ò 2ò_ò,%òP
gð ˆZÒØ€h×ÑÓ€A §¡¨x¸SÈÐ[\ Ô ]Ø‡N�N�;Ð':À8€NÔLØ‡N�N�< |€NÔ4°Q·^±^ÀLÐXd°^Ô5eÐhi×htÑhtÓhvÐfgÙ„JØ�:Š:ØˆŒØ�g‰g�l‰l˜3˜y¨Ð4NÓOˆŒØˆ�‰ˆq�v‰v�a—i‘i §
¡
Õ+ð ð r   