Ë
    òëëjØ  ã                   ón  — d Z ddlZddlZddlZddlZddlZddlmZ ddlZ	ddl
ZddlZddlmZ ej                   j#                  eddd«      Z G d„ d	ej&                  «      Zd
„ Zd„ Zd„ Zd„ Zd„ Zedk(  rÀ ej6                  «       Zej;                  dedd¬«       ej;                  dd¬«       ej;                  dd¬«       ej?                  «       Z  ejB                  d«        e«        e j2                  s>ee	_        ee	_        ee_         ejD                  e jF                  de jH                  «       yyy)a-  Nested diverse-schedule Transformer: masked short histories and random crops.

Changes only Transformer input handling/training, not first-stage models or
switch-rate objective. All windows are past-only. A truncated input receives
no rate loss unless the complete 32-frame label interval is visible.
é    N)Únn)ÚEXPÚresultsÚresearchÚnested_schedule_masked_ratec                   ó   — e Zd Zdd„Zdd„Zy)ÚMaskedRateNetNc                 ó´  — |€=t        j                  |j                  d d t         j                  |j                  ¬«      }|j                  |j                  d d k(  r|d d …df   j                  «       rJ ‚| j                  t        j                  || fd«      «      | j                  z   }t        j                  ||fd«      }| j                  ||¬«      d d …df   }|j                  d«      \  }}| j                  |«      j                  d«      | j                  |«      j                  d«      z
  dz  | j                  ||z   dz  «      j                  d«      fS )Né   )ÚdtypeÚdeviceéÿÿÿÿr   )Úsrc_key_padding_mask)ÚtorchÚzerosÚshapeÚboolr   ÚanyÚprojÚcatÚposÚencoderÚchunkÚheadÚsqueezeÚ	rate_head)ÚselfÚxÚmaskÚzÚmÚhÚaÚbs           úmasked_rate_experiment.pyÚheadszMaskedRateNet.heads   s  € Ø	€\”u—{‘{ 1§7¡7¨2¨A ;´U·Z±ZÀqÇxÁxÔP�$Ø	�‰�Q—W‘W˜R˜a�[Ò	 ¨ªa°¨d©¯©Ô)9Ð9Ð	9Ø‡I�IŒe�i‰i˜˜A˜2˜˜qÓ!Ó" 4§8¡8Ñ+€!Ü	‡I�Iˆt�Dˆk˜!Ó€!Ø‡L�L�¨€LÓ*ª1¨R¨4Ñ0€!°Q·W±W¸Q³Z±°°1Ø
�)‰)�A‹,×
Ñ
˜rÓ
" 4§9¡9¨Q£<×#7Ñ#7¸Ó#;Ñ
;¸QÑ	>¸t¿~¹~ÈqÐQRÉsÐTUÉgÓ?V×?^Ñ?^Ð_aÓ?bÐ	bÐbó    c                 ó,   — | j                  ||«      d   S )Nr   )r&   )r   r   r   s      r%   ÚforwardzMaskedRateNet.forward   s   €  d§j¡j°°4Ó&8¸Ñ&;Ð;r'   ©N)Ú__name__Ú
__module__Ú__qualname__r&   r)   © r'   r%   r	   r	      s   „ ócô <r'   r	   c                 ój  — t        t        |«      |dz   t        j                  «      }|dk\  sJ ‚t	        j
                  t        j                  | j                  d   ft        j                  «      }| ||z
  dz   |dz    || d  t	        j                  t        j                  t        ¬«      }d|| d  ||fS )Né   ©r   F)
ÚminÚintÚTÚWÚnpr   r   Úfloat32Úonesr   )ÚseqÚiÚlengthr   r!   s        r%   Úmake_windowr<      s”   € ÜŒC�‹K˜˜!™œAŸC™CÓ €¨°ª	Ð!1¨	Ü‡8�8ŒQ�S‰S�—‘˜1‘ÐœrŸz™zÓ*€°s¸1¸V¹8ÀA¹:ÀaÈÁcÐ7J¨1¨f¨W¨X¨;Ü‡7�7Œ1�3‰3”TÔ€ u˜1˜f˜W˜X˜;Ø	ˆ!ˆ€r'   c                 óv  — t        t        d„ | D «       «      «      }|D ��ci c]  }|| D �cg c]  }|d   |k(  sŒ|‘Œ c}“Œ }}}g g g g g f\  }}	}
}}t        |«      D �]s  }t        j                  |t        j                  |«         «      }t        |j                  t        |d   «      «      «      }|r?|j                  «       dk  r,t        |j                  dt        j                  dz   «      «      nt        j                  }t        ||dz   «      }t        |d   ||«      \  }}t        |d   |   dk(  «      }t        j                  |d   |«      \  }}|t        j                  k  rd}|�r|j                  «       dk  r| d	|z
  }}||j                  d
d«      z  }||j!                  dd|j"                  «      j%                  d«      z  }|j                  «       dk  r%d|d d …|j                  |j"                  d   «      f<   |j                  «       dk  ret        |j                  dt        j                  dz
  «      «      }d||t        t        j                  |t        |j                  dd«      «      z   «       |j'                  |«       |	j'                  |«       |
j'                  |«       |j'                  |«       |j'                  |«       �Œv t)        j*                  t-        j.                  |«      t(        j0                  ¬«      t)        j*                  |	t(        j0                  ¬«      t)        j*                  |
t(        j0                  ¬«      t)        j*                  |t(        j0                  ¬«      t)        j*                  t-        j.                  |«      t(        j2                  ¬«      fS c c}w c c}}w )Nc              3   ó&   K  — | ]	  }|d    –— Œ y­w)ÚdsNr.   ©Ú.0Úts     r%   Ú	<genexpr>zsamples.<locals>.<genexpr>#   s   è ø€ Ð'¡˜1ˆq��w¡ùs   ‚r?   Úyg      à?r0   r   r   g        ç      ð?gš™™™™™é?g333333ó?g{®Gáz´?Úfg      Ð?gš™™™™™É?é   r1   )ÚsortedÚsetÚrangeÚrandomÚchoicer3   ÚintegersÚlenr4   r5   r2   r<   ÚfloatÚRÚrate_targetÚuniformÚnormalr   ÚastypeÚappendr   Ú	as_tensorr6   Úarrayr7   r   )ÚtrialsÚnÚrngÚaugmentr?   ÚdrB   ÚgroupsÚxsÚysÚrsÚrmsÚmsÚ_Útrr:   r;   r   r   rD   ÚrateÚrmÚstarts                          r%   Úsamplesrh   "   så  € Ü
Œ3Ñ'¡Ó'Ó'Ó(€Ñ^`Ô0aÑ^`ÐYZ°¹vÓ3T¹v¸!ÈÈ4ÉÐRSË²A¸vÑ3TÑ1TÐ^`¨Ñ0aØ�B�r˜"˜R��€€B€rˆ#ˆbÜ
��(€QÜ‡]�]�6œ&Ÿ-™-¨Ó+Ñ,Ó-€"´°C·L±LÄÀRÈÁWÃÓ4NÓ0O¨aÙ'.°3·:±:³<À²?ŒˆS�\‰\˜!œAŸC™C ™EÓ"Ô	#ÌÏÉ€&Ü	ˆV�A�a‘C‹€&¤¨B¨s©G°A°fÓ =™˜˜4Ü	ˆ"ˆS‰'�!‰*�a‰-Ó€!¤§¡¨r°#©w°qÓ!9™˜˜bØŒA�C‰C‚Z�2�ÚØ	‡j�jƒl�2‚o˜1˜"˜R ™T˜�aØ€c‡k�k�"�SÓÑ€1˜!˜SŸZ™Z¨¨#¨a¯g©gÓ6×=Ñ=¸cÓBÑB˜!Ø	‡j�jƒl�3Ò°Q�qš˜3Ÿ<™<¨¯©°©
Ó3Ð3Ñ4Ø	‡j�jƒl�2‚oÜ
ˆc�l‰l˜1œQŸS™S ™UÓ#Ó
$€EÐTU Q u¬S´·±°U¼3¸s¿|¹|ÈAÈaÓ?PÓ;QÑ5QÓ-RÐ%SØ‡)�)ˆA„,ˆr�y‰y˜Œ|˜BŸI™I dœO¨C¯J©J°r¬N¸2¿9¹9ÀT¾?ð ô 
�‰œŸ™ "›¬E¯M©MÔ	:¼5¿?¹?È2ÔTY×TaÑTaÔ;bÜ	�‰˜¤%§-¡-Ô	0´·±ÀÌ5Ï=É=Ô1YÔZ_×ZiÑZiÔjl×jrÑjrÐsuÓjvô  ~C÷  ~Hñ  ~Hô  [Ið	Jð Jùò 4UùÓ0as   ¡
N5«N0¹N0½N5Î0N5c                 óä
  ‡— t        j                  |«       t        j                  j	                  |«       t        j                  |«       t        j                  j                  |«      }t        t        d„ | D «       «      «      }|j                  t        |«      t        dt        |«      dz  «      d¬«      D �ch c]  }||   ’Œ	 }}| D �cg c]  }|d   t        |d   «      f|vsŒ|‘Œ }}| D �cg c]  }|d   t        |d   «      f|v sŒ|‘Œ }	}|r|	sJ ‚t        j                  |D �cg c]  }|d   d d d	…   ‘Œ c}«      }
t        j                  t        j                  t        j                  |
d
z  d¬«      «      d«      j!                  t        j"                  «      }|D �cg c]  }t%        ||d   |z  ¬«      ‘Œ }}|	D �cg c]  }t%        ||d   |z  ¬«      ‘Œ }	}ˆfd„t'        |	d|d«      D «       \  }}}}}t)        |d   d   j*                  d   «      j-                  ‰«      }t         j.                  j1                  |j3                  «       dd¬«      }t5        d«      }d }d}t7        dd«      D �]�  }|j9                  «        ˆfd„t'        |d|d«      D «       \  }}}}}|j;                  ||«      \  }}t<        j>                  jA                  ||«      }||z
  jC                  «       |z  jE                  «       |jE                  «       jG                  d«      z  }|tH        jJ                  |z  z   } |jM                  «        | jO                  «        t<        jP                  jS                  |j3                  «       d«       |jU                  «        |dz  dk(  s�Œ(|jW                  «        t        jX                  «       5  |j;                  ||«      \  }!}"t<        j>                  jA                  |!|«      j[                  «       }#|"|z
  jC                  «       |z  jE                  «       |jE                  «       jG                  d«      z  j[                  «       }$d d d «       t]        d|› d|› d|j[                  «       d›d|j[                  «       d›d#d›d $d›�d¬!«       |#|d"z
  k  ra|#}d}|j_                  «       ja                  «       D �%�&ci c]2  \  }%}&|%|&jc                  «       je                  «       jg                  «       “Œ4 }}%}&�Œ’|dz  }|d#k\  s�Œž n |€J ‚|ji                  |«       |jW                  «        ||fS c c}w c c}w c c}w c c}w c c}w c c}w # 1 sw Y   �ŒxY wc c}&}%w )$Nc              3   óB   K  — | ]  }|d    t        |d   «      f–— Œ y­w)r?   ÚsubjectN)Ústrr@   s     r%   rC   zfit.<locals>.<genexpr>7   s#   è ø€ Ð?¹°1�A�d‘GœC  )¡Ó-Ô.¹ùs   ‚r0   é   F)Úreplacer?   rk   r   é   r   r   )Úaxisgü©ñÒMbP?)r   c              3   ó@   •K  — | ]  }|j                  ‰«      –— Œ y ­wr*   ©Úto©rA   Úvr   s     €r%   rC   zfit.<locals>.<genexpr><   s   øè ø€ ÐGÑ)F A�1—4‘4˜—<Ñ)Fùó   ƒi   ga2U0*©3?)ÚlrÚweight_decayÚinfié  c              3   ó@   •K  — | ]  }|j                  ‰«      –— Œ y ­wr*   rr   rt   s     €r%   rC   zfit.<locals>.<genexpr>@   s   øè ø€ Ð SÑ7R°! §¡ f§Ñ7Rùrv   é€   TrE   éd   zseed=z step=z bce=z.4fz
 rate_mse=z	 val_bce=z val_rate_mse=©Úflushg-Cëâ6?é   )5r   Úmanual_seedr6   rK   ÚseedÚdefault_rngrH   rI   rL   rN   Úmaxrl   ÚconcatenateÚmaximumÚsqrtÚmeanrT   r7   Údictrh   r	   r   rs   ÚoptimÚAdamWÚ
parametersrO   rJ   Útrainr&   r   Ú
functionalÚ binary_cross_entropy_with_logitsÚsquareÚsumÚ	clamp_minrP   Ú
AUX_WEIGHTÚ	zero_gradÚbackwardÚutilsÚclip_grad_norm_ÚstepÚevalÚno_gradÚitemÚprintÚ
state_dictÚitemsÚdetachÚcpuÚcloneÚload_state_dict)'rX   r�   r   rZ   r]   r:   ÚvalrB   rŒ   ÚvalidÚvalsÚscaleÚvxÚvyÚvrÚvmÚvpadÚmodelÚoptÚbestÚstateÚstaler—   r   rD   re   rf   ÚpadÚlgÚprÚbcerw   ÚlossÚvlÚrvÚvbÚvrlÚkru   s'     `                                    r%   Úfitrº   5   s  ø€ Ü×Ñ�4ÔœŸ™Ÿ™¨Ô-¬f¯k©k¸$Ô.?ÄBÇIÁI×DYÑDYÐZ^ÓD_ÀÜŒsÑ?¹Ó?Ó?Ó@€ÐY\×YcÑYcÔdgÐhnÓdoÔpsÐtuÔvyð  {Aó  wBð  DEñ  wEó  qFð  OTÐYcô  ZUó  FVñ  ZUÐTUÀfÈQÃið  ZUÀð  FVÙÓD‘6ˆa˜a ™g¤c¨!¨I©,Ó&7Ð8ÀÒCŠ�6€ÐDÑW]ó  LEÑW]ÐRSÐbcÐdhÑbiÔjmÐnoÐpyÑnzÓj{Ða|ð  ADò  bDÊAÐW]ÀUð  LEÙ‘%ÐˆÜ‡n�n©EÓ2©E q�a˜‘f™T˜r˜T“l¨EÑ2Ó3€¼"¿*¹*ÄRÇWÁWÌRÏWÉWÐUYÐ[\ÑU\ÐbcÔMdÓEeÐfjÓ:k×:rÑ:rÔsu×s}Ñs}Ó:~°EÙ(-Ó.© 1ŒˆQ��3‘˜‘Ö¨€Ð.ÑV[Ó5\ÑV[ÐQR´d¸1¸qÀ¹vÀe¹|Ö6LÐV[¨uÐ5\ÛG¬°°t¸CÀÔ)FÓGÑ€€B€rˆ"ˆTÜ�U˜1‘X˜c‘]×(Ñ(¨Ñ+Ó,×/Ñ/°Ó7€¼E¿K¹K×<MÑ<MÈe×N^ÑN^ÓN`ÐdhÐvzÐ<MÓ<{¸ÜˆEƒl€˜�5 A˜eÜ�1�T�]€TØ‡+�+„-Ó S´w¸uÀSÈÈTÔ7RÓ S‘��!�D˜˜CØ�‰�A�cÓ�%€"€RœrŸ}™}×MÑMÈbÐQRÓS˜3Ø	ˆ$�w×ÑÓ˜Ñ× Ñ Ó" 2§6¡6£8×#5Ñ#5°bÓ#9Ñ9€"¸sÄ1Ç<Á<ÐPRÁ?Ñ?R¸$Ø‡-�-„/�$—-‘-”/¤"§(¡(×":Ñ":¸5×;KÑ;KÓ;MÈbÔ"QÐRU×RZÑRZÔR\Ø	ˆ#�Xˆq„[Ø‡:�:„<Ü�‰�Ø
�+‰+�b˜Ó
�E€B€r¤"§-¡-×"PÑ"PÐQSÐTVÓ"W×"\Ñ"\Ó"^˜rØˆb‰5�.‰.Ó
˜2Ñ
×	"Ñ	"Ó	$ R§V¡V£X×%7Ñ%7¸Ó%;Ñ	;×AÑAÓC€C÷ 	ô 	ˆ5���f˜T˜F %¨¯©«
°3Ð'7°zÀ"Ç'Á'Ã)ÈCÀÐPYÐZ\Ð]`ÐYaÐaoÐpsÐtwÐoxÐ	yð  AEõ  FØˆˆd‰‚l˜�4 ˜5ÐPU×P`ÑP`ÓPb×PhÑPhÔPjÔ)kÑPjÉÈÈ1¨!¨A¯H©H«J¯N©NÓ,<×,BÑ,BÓ,DÑ*DÐPj 5Ó)kà	ˆ1�H€EØˆa„x‘ð ð 	ÐÐÐ˜%×/Ñ/°Ô6°u·z±z´|È5ÐQVÈ;ÐDVùò/ FVùÚDùò  LEùâ2ùÚ.ùÒ5\÷ 	‰üó *lsC   Â:UÃUÃ'UÃ1UÄUÄ+UÆ&UÇUÏBUÓ7U,ÕU)	c                 ó8  — ||z  }g }t        j                  «       5  t        dt        |«      d«      D �]  }t        |t	        |dz   t        |«      «      «      D �cg c]  }t        ||t        j                  «      ‘Œ }}t        j                  t        j                  |D �cg c]  }|d   ‘Œ	 c}«      «      j                  |«      }	t        j                  t        j                  |D �cg c]  }|d   ‘Œ	 c}«      «      j                  |«      }
|j                   | |	|
«      j                  «       j                  «       «       �Œ 	 d d d «       t        j                  |«      j!                  t        j"                  «      S c c}w c c}w c c}w # 1 sw Y   ŒJxY w)Nr   i   r0   )r   r™   rJ   rN   r2   r<   r4   r5   Ú
from_numpyr6   Ústackrs   rU   rŸ   Únumpyr„   rT   Úfloat64)r«   r   r¥   r   Úoutrg   r:   Úwindowsru   ÚxxÚmaskss              r%   ÚpredictrÄ   P   s3  € Ø€U�7€ˆrˆ3Ü‡m�m…oÜ�Q”s˜1“v˜c×"€eÜ*/°´c¸%À¹)ÄCÈÃFÓ6KÔ*LÓMÑ*L QŒK˜˜!œAŸC™CÕ Ð*L€7ÐMÜ×Ñ”r—x‘x©wÓ 7©w¨!  1£¨wÑ 7Ó8Ó9×<Ñ<¸VÓD€2Ü	×	Ñ	œ"Ÿ(™(±'Ó#:±'¨Q A a£D°'Ñ#:Ó;Ó	<×	?Ñ	?ÀÓ	G€5Ø‡:�:‰e�B�u‹o×!Ñ!Ó#×)Ñ)Ó+Ö,ñ	 #÷ ô 	�‰�sÓ×"Ñ"¤2§:¡:Ó.Ð.ùò	 NùÚ 7ùÚ#:÷	 €oús6   œ?FÁ"FÁ=$FÂ!FÂ-<FÃ)FÃ5AFÆFÆFc            	      ó  — t        j                  d«       t        d«      j                  «       } t        j
                  j                  d«      }|j                  d¬«      j                  d«      }t	        j                  dd«      }t        | ||d«      }t        | | |d«      }t	        j                  t	        j                  ||z   «      «      dk  sJ ‚|j                  «       }|d	d xxx d
z  ccc t	        j                  |d d	 t        | ||d«      d d	 «      sJ ‚t        |dd«      \  }}|j                  «       }	d|	|<   t        j                   «       5  t        j"                  |d    «      }
 | t        j"                  |d    «      |
«      } | t        j"                  |	d    «      |
«      }d d d «       t        j$                  d¬«      sJ ‚|j                  d¬«      j                  d«      }t        | t        j&                  ||f   |d«      d	d  }t	        j                  t	        j                  |t(        j*                  dz
  d  |t(        j*                  dz
  d  z
  «      «      dk  sJ ‚dd|t        j&                  t	        j,                  d	«      t	        j                  d	«      f   dœ}t        j.                  d«       t1        |gd|d«      }|d   d d …df   j3                  «       rJ ‚t5        dd¬«       y # 1 sw Y   �ŒOxY w)Né	   é   é   )éP   rÇ   )ÚsizerF   rŸ   g�íµ ÷Æ°>é(   é
   rG   rm   i90  )Úatol)rË   rÇ   r0   r   Ús)r?   rk   r   rD   r|   Tr   zcselftest PASS: masked tokens ignored, swap symmetry, past only, full-window shift, nonempty historyr}   )r   r€   r	   r˜   r6   rK   r‚   rS   rT   r8   rÄ   rƒ   ÚabsÚcopyÚarray_equalr<   r™   r¼   ÚallcloseÚr_r4   r5   r   r�   rh   r   r›   )r!   rZ   r   r¥   r#   r$   ÚchangedrÂ   r   ÚaltÚmaÚpÚqÚprefixÚ
withprefixrd   Úsamples                    r%   ÚselftestrÜ   Z   s|  € Ü×Ñ�1Ôœ bÓ)×.Ñ.Ó0�a´R·Y±Y×5JÑ5JÈ1Ó5M°Ø‡:�:�7€:Ó×"Ñ" 3Ó'€¬b¯g©g°b¸«o¨Ü
ˆ1ˆQˆu�UÓ€œg a¨¨¨5°Ó7˜A¼r¿v¹vÄbÇfÁfÈQÈqÉSÃkÓ?RÐSWÒ?WÐ8WÐ?WØ	
�‰‹€�'˜"˜#“, Ñ"“,¬"¯.©.¸¸3¸B¸ÄÈÈ'ÐRWÐX]Ó@^Ð_bÐ`bÐ@cÔ*dÐ#dÐ*dÜ	�Q�q˜Ó	�€€D §¡£	˜C°E¨#¨d©)Ü‡m�m…oÜ
×Ñ�d˜4‘jÓ!€"¡A¤e×&6Ñ&6°r¸$±xÓ&@ÀÓ$D !ÁqÌ×IYÑIYÐZ]Ð^bÑZcÓIdÐegÓGhÀQ÷ ä�‰�q˜ Õ%Ð%Ð%Ø�
‰
˜ˆ
Ó ×'Ñ'¨Ó,€¼ÀÄ"Ç%Á%ÈÈqÈÁ/ÐRWÐX]Ó8^Ð_aÐ_bÐ8c¨ZÜ
�‰Œr�v‰v�aœŸ™˜A™˜�i 
¬1¯3©3¨q©5¨6Ð 2Ñ2Ó3Ó4°TÒ9Ð9Ð9à
˜ ¤b§e¡e¬B¯H©H°R«L¼¿¹À»Ð,DÑ&EÑF€Ü‡�ˆQ„”w ˜t C¨¨DÓ1�¸VÀB¹ZÊÈ"ÈÑ=M×=QÑ=QÔ=SÐ2SÐ9SÜÐlÐswÖx÷ �oús   ÅAK7Ë7LÚ__main__z--seed)r   r0   )ÚtypeÚchoicesÚdefaultz
--externalÚ
store_true)Úactionz
--selftestr   Úfusion)%Ú__doc__ÚargparseÚosrK   r¾   r6   r   r   Úantisym_transformer_experimentr4   Únested_schedule_evalÚSÚswitch_rate_aux_experimentrP   Ú
common_expr   ÚpathÚjoinÚOUTÚRateNetr	   r<   rh   rº   rÄ   rÜ   r+   ÚArgumentParserr×   Úadd_argumentr3   Ú
parse_argsr#   Úset_num_threadsÚmainr�   Úexternalr.   r'   r%   Ú<module>rö      s\  ðñ÷ Ó Û Û Ý Û *Û  Û &Ý à‡G�G‡L�L��Y˜zÐ*GÓH€ô<�A—I‘Iô <òòJò&Wò6/òyð  ˆZÒØ€8×ÑÓ€˜QŸ^™^¨H¸#ÀeÐTU˜^ÔVÐWX×WeÑWeÐfrð  {GÐWeô  XHð  IJ÷  IWñ  IWð  Xdð  lxð  IWô  Iyð  |}÷  |Hñ  |Hó  |Jð  z{Ø€×Ñ�qÔ™(œ*Ø	�
Š
Ø€!„%�gˆAŒI C˜aœe¨¨¯©¨q¯v©v°h¸q¿z¹zÕ(Jð 	ð r'   