Ë
    *çéjq  ã                   ó  — d Z ddlZddlZddlZddlZddlZddlZddl	m
Z
mZ ddlmZmZmZmZmZ ddlmZmZ ddlmZ ddlmZmZ ddlmZ ej:                  j=                  ed	d
«      ZddddœZd„ Z d„ Z!d„ Z"e#dk(  r e"«        yy)a&  Re-infer pair-excluded or outer-OOF DirectNet on varied TRAIN schedules.

Never change the official held-out evaluation schedule. Profiles and trial
states are deterministic across all four seed models. Every output records
switch times and initial stream exchange for exact decoder alignment.
é    N)ÚDS_KEYSÚSEED)ÚEXPÚFSÚ
load_trialÚrows_ofÚsave_pickle)ÚDÚ_targets)Údraw_switch_times)ÚROOTÚ	pair_name)ÚREFÚfoldsÚnested_schedule_aug)g      (@g      @)g      >@g       @)g      N@g      .@)ÚfastÚmediumÚslowc                 ó  — t         |   \  }}| › d|› d|› �j                  «       }t        j                  j	                  t
        t        j                  |«      z   «      }t        |j                  dd«      «      }t        ||dz  ||¬«      }	||	fS )NÚ|r   é   é€   )Úmean_intÚmin_seg)ÚPROFILESÚencodeÚnpÚrandomÚdefault_rngr   ÚzlibÚcrc32ÚboolÚintegersr   )
ÚdsÚkeyÚduration_samplesÚprofileÚmeanÚminimumÚtokenÚrngÚinitialÚtimess
             únested_schedule_generate.pyÚscheduler/      s†   € Ü˜WÑ%�M€Dˆ'àˆD��#��a˜�yÐ
!×
(Ñ
(Ó
*€EÜ
�	‰	×Ñœd¤4§:¡:¨eÓ#4Ñ4Ó5€CÜ�—‘˜a Ó"Ó#€GÜ
˜CÐ 0°Ñ 4¸dÈ7Ô
S€EØ�5ˆ=Ðó    c                 ó¾   — t        j                  | |t        ¬«      }|D ];  }|t        | dz
  t	        t        t        |«      dz  «      «      «      d xxx dz  ccc Œ= |S )N)Údtypeé   r   T)r   Úfullr"   ÚminÚintÚroundÚfloat)Únr,   r-   ÚstÚtts        r.   Úswitch_maskr<   $   sS   € Ü	‡w�wˆq�œtÔ$€BÛˆØ
Œ3ˆq�‰s”3”uœU 2›Y s™]Ó+Ó,Ó-Ð.Ó/°4Ñ7Ô/ð à€Ir0   c                  ó  — t        j                  «       } | j                  ddt        ¬«       | j                  dt        ¬«       | j                  dt        t        d«      d¬	«       | j                  «       }t        |j                  «      t        |j                  «      k(  s+|j                  r0|j                  d
   |j                  d   k(  r| j                  d«       t        j                  d«       dt        z  t        _        t        j                  t        j                   z
  t        j"                  z
  t        j                  t        z
  ct        _        t        _        t)        j*                  g d¢d¬«       |j                  rQt-        |j                  «      }t/        |Ž }t0        j2                  j5                  t6        |d|j8                  › �d«      }nc|j                  g}d|j                  z   }t0        j2                  j5                  t:        ddt<        |j8                     › d|j                  › d�«      }t0        j2                  j?                  |«      stA        |«      ‚t        jB                  ddd«      jE                  t        jF                  «      }|jI                  t        jJ                  |t        jF                  d¬«      «       |jM                  «        |D �]  }tN        D �ci c]  }|i “Œ }}tN        D �ci c]  }|g “Œ }	}tQ        |«      jS                  «       D �]à  \  }
}tU        d|d   «      }tW        |«      |d   |d   jY                  t        «      t	        |d   «      f\  }}}}t[        j\                  |dz
  t[        j^                  t[        j`                  tc        |«      «      t        z  |d    z   d!z  «      jY                  t        «      «      }tN        D �]  }te        ||d   ||«      \  }}tg        |||«      }||   }t        jh                  ||t[        jj                  |d d …d d f   |d d …d d d"…f   |«      «      \  }}||z  t[        jl                  |t        j"                  z
  d
«         }to        |dz  | dz  |jY                  tZ        jp                  «      |t        z  |d    z   jY                  tZ        jr                  «      d||¬#«      ||   |d   <   |	|   ju                  tc        |«      «       �Œ  �Œã |jw                  «       D ]à  \  }}t0        j2                  j5                  tx        |d|j8                  › �||d$z   «      }to        |||j8                  |to        tc        |	|   «      t{        d%„ |	|   D «       «      t{        |	|   «      ¬&«      |t        j                   t        j"                  z   t        z  ¬'«      }t}        to        |d(|i¬)«      |«       t        d*||d+   d¬,«       Œâ �Œ y c c}w c c}w )-Nz--pairr   )ÚnargsÚchoicesz--oof)r?   z--seedé   T)Útyper?   Úrequiredr   r3   z?choose either two distinct --pair datasets or one --oof dataseté
   )ÚenvÚonsetÚdomé   )ÚtargetsÚmodel_blocksÚseedzmodel.ptÚoof_ÚmodelsÚfold_Ú_wts__z.pté:   Úvlaai_ws)Úmap_locationÚweights_onlyÚ
eaP_n5_t60r%   ÚeegÚattr9   Út0r   éÿÿÿÿ)Úr0Úr1rU   Út_endÚpre_switchedÚswitch_timesÚinitial_swapz.pklc              3   ó&   K  — | ]	  }|d k(  –— Œ y­w)r   N© )Ú.0r9   s     r.   Ú	<genexpr>zmain.<locals>.<genexpr>R   s   è ø€ ÐGaÑV`ÐQRÈÈ1ÍÑV`ùs   ‚)ÚtrialsÚ	no_switchÚtotal)Úexcluded_datasetsÚscored_datasetrJ   r'   Úswitch_countsÚsource_modelÚlookahead_sÚcausal)ÚinfoÚevidenceÚwroterg   )Úflush)@ÚargparseÚArgumentParserÚadd_argumentr   r6   ÚrangeÚ
parse_argsr"   ÚpairÚoofÚerrorÚtorchÚset_num_threadsr   ÚDCÚWÚFUTÚHOPÚPOS0ÚLABr
   ÚupdateÚsortedr   ÚosÚpathÚjoinÚ	PAIR_ROOTrJ   r   r   ÚisfileÚFileNotFoundErrorÚ	DirectNetÚtoÚDEVÚload_state_dictÚloadÚevalr   r   Úiterrowsr   r   Úastyper   r)   r7   ÚarangeÚlenr/   r<   ÚlogitsÚwhereÚmaximumÚdictÚint8Úfloat32ÚappendÚitemsr   Úsumr	   Úprint)ÚpÚaÚexcludedÚgroupÚ	modelpathÚnetr$   ÚprÚoutputsÚcountsÚ_ÚrÚtrÚstimÚxrU   r9   Úidxr,   r-   Ústater:   ÚlgÚstartsÚtruthÚevr‚   rk   s                               r.   Úmainr¯   +   s�  € Ü×ÑÓ€AØ‡N�N�8 !¬G€NÔ4Ø‡N�N�7¤7€NÔ+Ø‡N�N�8¤¬U°1«X¸t€NÔDØ‡l�lƒn€AÜˆA�F‰Fƒ|”T˜!Ÿ%™%“[Ò  Q§V¢V°·±°q±	¸1¿6¹6À!¹9Ò0DØ	�‰ÐQÔRÜ	×Ñ˜!ÔØ	ŒB‰„B„DœrŸt™t¤B§F¡F™{¬2¯6©6Ñ1´"·$±$´r±'�””œœÜ‡H�HÒ*¸Õ:Ø‡v‚vÜ˜Ÿ™“ˆ¤y°(Ð'; Ü—'‘'—,‘,œy¨°°a·f±f°X¨¸zÓJ‰	à—%‘%�ˆ  q§u¡u¡˜%Ü—'‘'—,‘,œs 8¨e´C¸¿¹±K°=ÀÀqÇuÁuÀgÈSÐ,QÓRˆ	Ü�7‰7�>‰>˜)Ô$Ô,=¸iÓ,HÐ&HÜ
�‰�R˜˜*Ó%×(Ñ(¬¯©Ó0€CØ×ÑœŸ
™
 9¼"¿&¹&ÈdÔSÔTÐUX×U]ÑU]ÔU_ÜˆÝ!)Ó*¡˜2��B‘ ˆÐ*Ý (Ó)¡˜"��2‘ ˆÐ)Ü˜2“;×'Ñ'×)‰CˆAˆaÜ˜, q¨¡xÓ0ˆBÜ! "› b¨¡i°°5±	×0@Ñ0@ÄÓ0EÄcÈ!ÈCÉ&ÃkÐQ‰LˆD��3�qÜ—
‘
˜1˜Q™3œrŸx™x¬¯©´3°q³6Ó):¼2Ñ)=¸bÀ¹hÑ)FÈÑ(KÓL×SÑSÔTWÓXÓYˆCß�h�Ü& r¨!¨E©(°1°RÓ8‘�˜Ü! ! G¨EÓ2�°u¸S±z°BÜŸ)™) C¨¬"¯(©(°2²a¸¸T°k±?À4ÊÉ$ÈBÈ$ÈÁ<ÐPTÓ*UÓV‘	��6Ø˜2‘vœrŸz™z¨&´·±©-¸Ó:Ñ;�Ü&*¨b°©d°r°c¸!±eÀÇÁÌRÏWÉWÓ@UØ!¤"™9 R¨¡XÑ-×5Ñ5´b·j±jÓAÈtØ!&°Gô'=�˜‘˜A˜e™HÑ%ð �r‘
×!Ñ!¤# e£*Ö-ò ð	 *ð —]‘]–_‰EˆBˆrÜ—‘—‘œd 5¨4°·±¨x¨¸¸B¸v¹IÓFˆDÜ¨ÀÈÏÉÐWYÜ"¬#¨f°R©j«/ÄCÑGaÐV\Ð]_ÒV`ÓGaÓDaÜ),¨V°B©Z«ô:ØGPÜŸV™V¤B§F¡F™]¬BÑ.ô0ˆDô œ $°¸"°Ô>¸tÔDÜ�'˜$˜t OÑ4¸4Ö@ò %ñ! ùÚ*ùÚ)s   Ë*
W>Ë>
XÚ__main__)$Ú__doc__ro   r�   r    Únumpyr   rw   Údirect_classifierry   Úcommonr   r   Ú
common_expr   r   r   r   r	   Údecodersr
   r   Ú	e1_switchr   Únested_stack_baser   r„   r   Úeval_stem_externalr   r‚   rƒ   r   r/   r<   r¯   Ú__name__r_   r0   r.   Ú<module>r»      sx   ðñó Û 	Û ã Û ã ß  ß @Õ @ß  Ý 'ß :Ý "à	‡w�w‡|�|�C˜Ð 5Ó6€Ø h°yÑA€òòò+Að\ ˆZÒ™�Ðr0   