ó
    .‚‘jê)  ã                  ób  • S SK Jr  S SKrS SKrS SKJr  SS jrS r " S S\R                  5      r " S S	\R                  5      r	 " S
 S\R                  5      r
 " S S\R                  5      r " S S\R                  5      r " S S\R                  5      r " S S\R                  5      rg)é    )ÚannotationsN)Únnc           
     óü   • [         R                  " [         R                  " X5      [         R                  " U5      [         R                  " 5       [         R
                  " U5      [         R                  " X5      5      $ ©N)r   Ú
SequentialÚLinearÚ	LayerNormÚGELUÚDropout)ÚinpÚhidÚoutÚdrops       Ú>/root/disk_3tb/earlywarning/30072026/suite13/suite13_models.pyÚ_mlpr      s]   € ¤R§]¢]´2·9²9¸SÓ3EÄbÇlÂlÐSVÓFWÔXZ×X_ÒX_ÓXaÔbd×blÒblÐmqÓbrÔsu×s|Òs|ð  ~Aó  tFó  &Gð  Gó    c                ó‚   • U R                  SS5      n [        R                  " U 5      [        R                  " U * 5      -
  $ )Nçñhãˆµøä>çwJëÿï?)ÚclampÚtorchÚlogÚlog1p)Úps    r   Ú_logitr      s-   € �—‘˜˜VÓ$ˆa¬E¯IªI°a«L¼¿ºÀaÀR»Ñ,HÐ%Hr   c                  ó8   ^ • \ rS rSrSU 4S jjrS rS rSrU =r$ )ÚCommitteePreservingGlobalExperté
   c           
     óä  >• [         T
U ]  5         [        R                  " X55      U l        [        U5      U l        [        R                  " [        R                  " X-   U-   SU-  5      [        R                  " SU-  5      [        R                  " 5       [        R                  " U5      [        R                  " SU-  U5      [        R                  " U5      [        R                  " 5       5      U l        [        SXDU5      U l        [        R                  " [        R                  " SU-  U5      [        R                  " U5      [        R                  " 5       5      U l        [        R                  " US5      U l        [        R                  " US5      U l        [        R                  " U5      U l        [&        R(                  " SU5      n[+        SU5      n	[&        R,                  " U	5      US U	2S U	24'   U R/                  SU5        [        R0                  R3                  U R                   R4                  5        [        R0                  R3                  U R                   R6                  5        g )Né   r   é   é   Úteacher_skip_matrix)ÚsuperÚ__init__r   Ú	EmbeddingÚfacÚfloatÚresidual_boundr   r   r	   r
   r   Úbackboner   Úteacher_branchÚfuseÚresidualÚteacher_reconÚ	skip_normr   ÚzerosÚminÚeyeÚregister_bufferÚinitÚzeros_ÚweightÚbias)ÚselfÚflat_dimÚcontext_dimÚn_facultiesÚd_modelÚfaculty_dimr)   ÚdropoutÚskipÚnÚ	__class__s             €r   r%   Ú(CommitteePreservingGlobalExpert.__init__   sš  ø€ Ü‰ÑÔ¤B§L¢L°Ó$I˜4œ8Ô^cÐdrÓ^sÈ$ÔJ]Ü—m’m¤B§I¢I¨hÑ.BÀ;Ñ.NÈqÐQXÉyÓ$YÔZ\×ZfÒZfÐghÐipÑgpÓZqÔrt×ryÒryÓr{Ô|~÷  }Gò  }Gð  HOó  }Pô  QS÷  QZò  QZð  [\ð  ]dñ  [dð  eló  Qmô  np÷  nzò  nzð  {Bó  nCô  DF÷  DKò  DKó  DMó  NˆŒÜ   G°GÓ<ˆÔÄrÇ}Â}ÔUW×U^ÒU^Ð_`ÐahÑ_hÐipÓUqÔrt×r~Òr~ð  @Gó  sHô  IK÷  IPò  IPó  IRó  HS¸T¼Yô  bd÷  bkò  bkð  lsð  tuó  bvð  TXô  Taô  JL÷  JSò  JSð  T[ð  \]ó  J^ð  w{ô  wIô  np÷  nzò  nzð  {Bó  nCð  _cô  _mÜ�[Š[˜˜GÓ$ˆ¤s¨2¨g£ QÄ5Ç9Â9ÈQÃ<°t¸B¸Q¸B¸rÀ¸r¸E±{ÐPT×PdÑPdÐezÐ{ô  QAÜ
�‰�‰�t—}‘}×+Ñ+Ô,¬R¯W©W¯^©^¸D¿M¹M×<NÑ<NÕ-Or   c                óˆ  • UR                  SS5      oR                  SSS9n[        U5      o1R                  SSSS9oAR	                  SSS9R
                  UR                  SSS9R
                  -
  oR[        R                  " U5      -  SU-
  [        R                  " SU-
  5      -  -   * n[        R                  " XX$XV/S5      $ )Nr   r   r!   T©ÚkeepdimF)rE   Úunbiased)
r   Úmeanr   ÚstdÚmaxÚvaluesr1   r   r   Úcat)r8   r   ÚqÚlgrH   ÚspreadÚents          r   Úteacher_featuresÚ0CommitteePreservingGlobalExpert.teacher_features   s  € Ø
�'‰'�$�vÓ
ˆ§¡¨°$ Ð!7˜q¼6À!»9¸ÏÉÈqÐY]ÐglÈÐImÀS×v{Ñv{Ð|}ð  GKÐv{ð  wL÷  wSñ  wSð  TU÷  TYñ  TYð  Z[ð  dhð  TYð  Ti÷  Tpñ  Tpñ  wpÐntô  z÷  zCò  zCð  DEó  zFñ  xFð  HIð  JKñ  HKô  MR÷  MVò  MVð  WXð  YZñ  WZó  M[ñ  G[ñ  x[ð  v\ð  ruô  di÷  dmò  dmð  opð  tuð  z@ð  nEð  FGó  dHð  ]Hr   c           	     ó–  • U R                  U5      oPR                  [        R                  " XU R	                  U5      /S5      5      o`R                  U5      opR                  [        R                  " Xg/S5      5      o…U R                  -  o�R                  X‰-   5      o R                  U
5      R                  S5      nU R                  S:”  a:  U R                  [        R                  " U[        U R                  S5      -  5      -  OUoÄR                  S5      R                  SS5      n[!        U5      U-   nX®U R#                  U
5      U4$ )Nr!   r   ç�íµ ÷Æ°>r   r   )rP   r*   r   rK   r'   r+   r,   r#   r/   r-   Úsqueezer)   ÚtanhrI   rG   r   r   r.   )r8   ÚflatÚcontextÚfacultyÚcommittee_probsÚfeaturesÚneuralÚteÚlearnedr?   ÚhÚrawÚdeltarL   Úlogits                  r   ÚforwardÚ'CommitteePreservingGlobalExpert.forward   sô  € Ø×&Ñ& Ó7ˆ¿}¹}ÌUÏYÊYÐX\Ðei×emÑemÐnuÓevÐWwÐxyÓMzÓ?{¸÷  @Sñ  @Sð  T\ó  @]Ð|~÷  foñ  foô  pu÷  pyò  pyð  {Að  zEð  FGó  pHó  fIð  ^eð  X\÷  Xpñ  Xpñ  Opð  JN÷  sAñ  sAð  BIñ  BNó  sOð  qr÷  Tañ  Tað  bcó  Td÷  Tlñ  Tlð  mnó  Toð  PSØSW×SfÑSfÐghÓShˆd×!Ñ!¤%§*¢*¨S´°T×5HÑ5HÈÓ1NÑ-NÓ"OÒOÐnqˆ÷  uIñ  uIð  JKó  uL÷  uRñ  uRð  SWð  X^ó  u_Ðrsô  flð  mnó  foð  puñ  fuð  `eØ�t×)Ñ)¨!Ó,¨UÐ2Ð2r   )r*   r'   r,   r-   r)   r/   r+   r.   )é@   é   ç      @çš™™™™™¹?)	Ú__name__Ú
__module__Ú__qualname__Ú__firstlineno__r%   rP   rb   Ú__static_attributes__Ú__classcell__©rA   s   @r   r   r   
   s   ø† ÷PòH÷3ð 3r   r   c                  ó2   ^ • \ rS rSrSU 4S jjrS rSrU =r$ )ÚStudentTrajectoryExperté   c                óÚ  >• [         TU ]  5         [        R                  " X5      U l        [        R
                  " XDSS9U l        [        R                  " US5      U l        [        R                  " X55      U l	        [        X%-   XDU5      U l        [        R                  " [        R                  " SU-  U5      [        R                  " U5      [        R                  " 5       5      U l        g )NT)Úbatch_firstr!   r    )r$   r%   r   r   r   ÚGRUÚgruÚqueryr&   r'   r   Úctxr   r	   r
   r   )r8   Ú	input_dimr:   r;   r<   r=   r>   rA   s          €r   r%   Ú StudentTrajectoryExpert.__init__   sj  ø€ Ü‰ÑÔ¤B§I¢I¨iÓ$@˜4œ8Ì"Ï&Ê&ÐQXÐmqÑJrÀÄô  A÷  Hò  Hð  IPð  QRó  SÐswÔs}ô  ]_÷  ]iò  ]ið  juó  ]Bð  TXô  T\ô  LPð  Q\ñ  Qhð  ipð  y@ó  LAð  CGô  CKô  KM÷  KXò  KXô  Y[÷  Ybò  Ybð  cdð  elñ  clð  mtó  Yuô  vx÷  vBò  vBð  CJó  vKô  LN÷  LSò  LSó  LUó  KVð  BFõ  BJr   c                óD  • U R                  U R                  U5      5      u  pVU R                  [        R                  " U5      5      R                  S5      R                  U) S5      n[        R                  " US5      UR                  5       -  oˆUR                  SSS9S-   -  o…UR                  S5      -  R                  S5      o�R                  [        R                  " X0R                  U5      /S5      5      o R                  [        R                  " Xš/S5      5      $ )Néÿÿÿÿç     ˆÃÀr!   TrD   rS   )ru   r   rv   r   rU   rT   Úmasked_fillÚsoftmaxr(   ÚsumÚ	unsqueezerw   rK   r'   r   )r8   ÚxÚmaskrW   rX   ÚzÚ_ÚscoreÚar^   Úcs              r   rb   ÚStudentTrajectoryExpert.forward   sÔ  € Ø�H‰H�T—X‘X˜a“[Ó!‰ˆ¨¯
©
´5·:²:¸a³=Ó(A×(IÑ(IÈ"Ó(M×(YÑ(YÐ[_ÐZ_Ð`dÓ(e %Ôhm×huÒhuÐv{Ð|}Óh~ð  @D÷  @Jñ  @Jó  @Lñ  iLÐfgð  RS÷  RWñ  RWð  XYð  bfð  RWð  Rgð  hlñ  Rlñ  Omð  MNð  st÷  s~ñ  s~ð  Aó  sBñ  qB÷  pGñ  pGð  HIó  pJð  no÷  MUñ  MUô  V[÷  V_ò  V_ð  ah÷  iqñ  iqð  ryó  izð  `{ð  |}ó  V~ó  Mð  KL÷  GOñ  GOô  PU÷  PYò  PYð  [\ð  Z_ð  `aó  Pbó  Gcð  @cr   )rw   r'   ru   r   r   rv   )re   rg   ©rh   ri   rj   rk   r%   rb   rl   rm   rn   s   @r   rp   rp      s   ø† ÷V÷cð cr   rp   c                  ó2   ^ • \ rS rSrSU 4S jjrS rSrU =r$ )ÚCourseCurriculumExperté   c                ó’  >• [         TU ]  5         [        XX55      U l        [        R
                  " XC5      U l        [        R                  " SU-  S5      U l        [        X#X55      U l	        [        R                  " [        R                  " SU-  U5      [        R                  " U5      [        R                  " 5       5      U l        g )Nr    r!   r"   )r$   r%   r   Únoder   r&   Úrelr   Úattrw   r   r	   r
   r   )r8   rx   r:   r<   Úrelation_typesr>   rA   s         €r   r%   ÚCourseCurriculumExpert.__init__   s;  ø€ Ü‰ÑÔ¤T¨)¸GÓ%L˜4œ9ÔVX×VbÒVbÐcqÓVzÈTÌXô  EG÷  ENò  ENð  OPð  QXñ  OXð  YZó  E[Ð{ô  |Dô  eið  juð  ~Eó  eNð  \`ô  \dô  XZ÷  Xeò  Xeô  fh÷  foò  foð  pqð  ryñ  pyð  zAó  fBô  CE÷  COò  COð  PWó  CXô  Y[÷  Y`ò  Y`ó  Ybó  Xcð  OSõ  OWr   c           	     ó   • U R                  U5      o`R                  U5      U R                  UR                  SU R                  R                  S-
  5      5      -   opR	                  [
        R                  " US S 2S S S 24   R                  U5      U/S5      5      R                  S5      R                  U) S5      n[
        R                  " US5      UR                  5       -  o™U	R                  SSS9S-   -  o—U	R                  S5      -  R                  S5      o R                  [
        R                  " XjU R                  U5      /S5      5      $ ©Nr   r!   r{   r|   TrD   rS   )rŽ   r�   r   Únum_embeddingsr�   r   rK   Ú	expand_asrT   r}   r~   r(   r   r€   r   rw   )r8   ÚtargetÚ	neighborsr‚   Úrel_typerW   Útr@   r…   r†   Úaggs              r   rb   ÚCourseCurriculumExpert.forward    sk  € Ø
�)‰)�FÓ
ˆŸi™i¨	Ó2°4·8±8¸H¿N¹NÈ1ÈTÏXÉX×MdÑMdÐefÑMfÓ<gÓ3hÑh˜A×owÑowÔx}÷  yBò  yBð  DEò  FGð  HLò  MNð  FNñ  DO÷  DYñ  DYð  Z[ó  D\ð  ]^ð  C_ð  `bó  ycó  pd÷  plñ  plð  moó  pp÷  p|ñ  p|ð  ~Bð  }Bð  CGó  pHÐinô  KP÷  KXò  KXð  Y^ð  _`ó  Kað  bf÷  blñ  bló  bnñ  Knð  IJð  tu÷  tyñ  tyð  z{ð  DHð  tyð  tIð  JNñ  tNñ  qOð  opð  WX÷  Wbñ  Wbð  ceó  Wfñ  Uf÷  Tkñ  Tkð  lmó  Tnð  PS÷  v~ñ  v~ô  D÷  Hò  Hð  JKð  PT÷  PXñ  PXð  Y`ó  Pað  Ibð  cdó  eó  vfð  ofr   )r�   rw   rŽ   r   r�   )é   rg   r‰   rn   s   @r   r‹   r‹      s   ø† ÷c÷fð fr   r‹   c                  ó2   ^ • \ rS rSrSU 4S jjrS rSrU =r$ )ÚCompatibilityExperté"   c	                ó  >• [         T	U ]  5         [        XXX5      U l        [        X%XX5      U l        [
        R                  " Xu5      U l        [
        R                  " XU5      U l	        [
        R                  " XU5      U l
        [
        R                  " XF5      U l        [        X6-   XUU5      U l        [
        R                  " [
        R                  " SU-  U5      [
        R                  " U5      [
        R                  " 5       5      U l        g )Né   )r$   r%   r   Úeventr—   r   r&   r�   r   rL   Úkr'   rw   r   r	   r
   r   )
r8   Ú	event_dimÚ
course_dimr:   r;   r<   r=   r‘   r>   rA   s
            €r   r%   ÚCompatibilityExpert.__init__#   sÌ  ø€ Ü‰ÑÔ¤d¨9¸WÓ&M˜4œ:ÔZ^Ð_iÐryó  [CÈdÌkô  MO÷  MYò  MYð  Zhó  Mqð  DHô  DLô  y{÷  yBò  yBð  CJó  ySð  rvô  rxô  []÷  [dò  [dð  eló  [uð  TXô  TZô  A÷  Kò  Kð  LWó  dð  vzô  v~ô  nrð  s~ñ  sJð  KRð  [bó  ncð  eiô  emô  mo÷  mzò  mzô  {}÷  {Dò  {Dð  EFð  GNñ  ENð  OVó  {Wô  XZ÷  Xdò  Xdð  eló  Xmô  np÷  nuò  nuó  nwó  mxð  dhõ  dlr   c                óD  • U R                  U5      U R                  UR                  SU R                  R                  S-
  5      5      -   opR	                  U5      o€R                  U5      U R                  U5      S S 2S S S 24   -  R                  S5      [        R                  " UR                  S   5      -  o™R                  U) S5      n	[        R                  " U	S5      UR                  5       -  oªU
R                  SSS9S-   -  o§U
R                  S5      -  R                  S5      o°R!                  [        R"                  " X‹X‹-  [        R$                  " X‹-
  5      -   U R'                  [        R"                  " XPR)                  U5      /S5      5      /S5      5      $ r”   )r£   r�   r   r•   r—   r¤   rL   r   ÚmathÚsqrtÚshaper}   r   r~   r(   r€   r   rK   Úabsrw   r'   )r8   Úeventsr‚   r™   Útarget_courserW   rX   Úerš   Úscr†   Úhists               r   rb   ÚCompatibilityExpert.forward%   s  € Ø
�*‰*�VÓ
˜TŸX™X h§n¡n°Q°t·x±x×7NÑ7NÈqÑ7PÓ&QÓRÑ
Rˆ×U`ÑU`ÐanÓUoÐST×tzÑtzÐ{|Ót}ð  C÷  Eñ  Eð  FGó  Hò  IJð  KOò  PQð  IQñ  Rñ  uR÷  tWñ  tWð  XZó  t[ô  \`÷  \eò  \eð  fg÷  fmñ  fmð  npñ  fqó  \rñ  trÐpr÷  vDñ  vDð  FJð  EJð  KOó  vPð  suô  SX÷  S`ò  S`ð  acð  deó  Sfð  gk÷  gqñ  gqó  gsñ  Ssð  QRð  yz÷  y~ñ  y~ð  @ð  IMð  y~ð  yNð  OSñ  ySñ  vTð  tuð  ]^÷  ]hñ  ]hð  ikó  ]lñ  [l÷  Zqñ  Zqð  rsó  Ztð  UY÷  |Dñ  |Dô  EJ÷  ENò  ENð  PQð  WXñ  W]ô  ^c÷  ^gò  ^gð  hiñ  hnó  ^oñ  Woð  pt÷  pxñ  pxô  y~÷  yBò  yBð  DK÷  LTñ  LTð  U\ó  L]ð  C^ð  _`ó  yaó  pbð  Ocð  deó  Efó  |gð  ugr   )rw   r£   r'   r¤   r   rL   r�   r—   )re   é   rg   r‰   rn   s   @r   rŸ   rŸ   "   s   ø† ÷x÷gð gr   rŸ   c                  ó2   ^ • \ rS rSrSU 4S jjrS rSrU =r$ )ÚMasteryEventExperté'   c	                óú  >• [         T	U ]  5         [        R                  " XG5      U l        [        X-   XUU5      U l        [        R                  " [        R                  " U5      S-  5      U l
        [        R                  " X65      U l        [        X&-   XUU5      U l        [        R                  " [        R                  " SU-  U5      [        R                  " U5      [        R                   " 5       5      U l        g )Ng{®Gáz”?r    )r$   r%   r   r&   Útypr   r£   Ú	Parameterr   Úrandnrv   r'   rw   r   r   r	   r
   r   )
r8   Únumeric_dimr:   r;   Ún_component_typesr<   r=   Útype_dimr>   rA   s
            €r   r%   ÚMasteryEventExpert.__init__(   s¡  ø€ Ü‰ÑÔ¤B§L¢LÐ1BÓ$L˜4œ8ÔX\Ð]hÑ]qÐryð  CJó  YKÈTÌZô  WY÷  Wcò  Wcô  di÷  doò  doð  pwó  dxð  y|ñ  d|ó  W}ð  LPô  LVô  GI÷  GSò  GSð  T_ó  Glð  ~Bô  ~Fô  vzð  {Fñ  {Rð  SZð  cjó  vkð  mqô  muô  uw÷  uBò  uBô  CE÷  CLò  CLð  MNð  OVñ  MVð  W^ó  C_ô  `b÷  `lò  `lð  mtó  `uô  vx÷  v}ò  v}ó  vó  u@ð  lpõ  ltr   c                óÔ  • U R                  [        R                  " XR                  UR	                  SU R                  R
                  S-
  5      5      /S5      5      ofU R                  -  R                  S5      [        R                  " UR                  S   5      -  owR                  U) S5      n[        R                  " US5      UR                  5       -  oˆUR                  SSS9S-   -  o†UR                  S5      -  R                  S5      o�R                  [        R                  " X�R!                  [        R                  " X@R#                  U5      /S5      5      /S5      5      $ r”   )r£   r   rK   r¸   r   r•   rv   r   r©   rª   r«   r}   r~   r(   r€   r   rw   r'   )
r8   r­   r‚   r¸   rW   rX   r¯   r°   r†   r^   s
             r   rb   ÚMasteryEventExpert.forward*   sn  € Ø
�*‰*”U—Y’Y §x¡x°·	±	¸!¸D¿H¹H×<SÑ<SÐTUÑ<UÓ0VÓ'WÐXÐY[Ó\Ó
]ˆÐdh×dnÑdnÑbn×asÑasÐtvÓawÔx|÷  yBò  yBð  CD÷  CJñ  CJð  KMñ  CNó  yOñ  bOÐ^`÷  Sañ  Sað  cgð  bgð  hló  Smð  PRô  pu÷  p}ò  p}ð  ~@ð  ABó  pCð  DH÷  DNñ  DNó  DPñ  pPð  noð  VW÷  V[ñ  V[ð  \]ð  fjð  V[ð  Vkð  lpñ  Vpñ  Sqð  QRð  wx÷  wBñ  wBð  CEó  wFñ  uF÷  tKñ  tKð  LMó  tNð  rs÷  V^ñ  V^ô  _d÷  _hò  _hð  jk÷  ltñ  ltô  uz÷  u~ò  u~ð  @G÷  HPñ  HPð  QXó  HYð  Zð  [\ó  u]ó  l^ð  i_ð  `aó  _bó  Vcð  Ocr   )rw   r£   r'   r   rv   r¸   )re   é   rg   r‰   rn   s   @r   rµ   rµ   '   s   ø† ÷@÷cð cr   rµ   c                  ó2   ^ • \ rS rSrSU 4S jjrS rSrU =r$ )ÚEvidenceExchangeé,   c                óÀ  >• [         TU ]  5         [        S[        X15      5      nX-  (       a  US-  o1U-  (       a  M  [        R
                  " X!5      U l        [        R                  " XUSS9U l        [        R                  " [        R                  " U4S5      5      U l        [        R                  " U5      U l        [        R                  " SU-  U5      U l        g )Nr!   T)r>   rs   g       Àr"   )r$   r%   rI   r1   r   r&   ÚtypesÚMultiheadAttentionÚattnr¹   r   ÚfullÚgammar	   Únormr   Úproj)r8   r<   Ú	n_expertsÚheadsr>   rA   s        €r   r%   ÚEvidenceExchange.__init__-   s2  ø€ Ü‰ÑÔ¤ Q¤s¨5Ó'9Ó!:˜5Ø�m˜E 1™H˜E�e�m‰mÜ—<’< 	Ó2ˆŒ
¼R×=RÒ=RÐSZÐipð  ~Bñ  >C°4´9ô  OQ÷  O[ò  O[ô  \a÷  \fò  \fð  hqð  gsð  txó  \yó  Ozð  DHô  DNô  EG÷  EQò  EQð  RYó  EZð  {ô  {Dô  eg÷  enò  enð  opð  qxñ  oxð  y@ó  eAð  [_õ  [dr   c           
     óð  • UR                   S   o1U R                  [        R                  " X1R                  S95      S S S 2S S 24   -   o@R                  XDXB) SSS9u  pVU R                  U[        R                  " U R                  5      S S S 2S 4   U-  -   5      opR                  U R                  [        R                  " XX-
  /S5      5      U-   5      oˆUR                  S5      R                  5       -  U4$ )Nr!   ©ÚdeviceTF)Úkey_padding_maskÚneed_weightsÚaverage_attn_weightsr{   )r«   rÆ   r   ÚarangerÒ   rÈ   rË   ÚsigmoidrÊ   rÌ   rK   r€   r(   )	r8   r^   Úavailabilityr¤   r�   Úmsgr�   ÚmixedÚtoks	            r   rb   ÚEvidenceExchange.forward1   sÒ  € Ø
�'‰'�!‰*ˆ˜Ÿ™¤E§L¢L°¿(¹(Ñ$CÓDÀTÊ!ÊAÀXÑNÑN�Q×W`ÑW`ÐabÐefð  yFð  TXð  nsÐW`ð  XtÉwÈsð  {÷  {Dñ  {Dð  EFô  GL÷  GTò  GTð  UY÷  U_ñ  U_ó  G`ð  aeò  fgð  hlð  alñ  Gmð  nqñ  Gqñ  Eqó  {rð  uz÷  w@ñ  w@ð  AE÷  AJñ  AJô  KP÷  KTò  KTð  VWð  \]ñ  \að  Ubð  ceó  Kfó  Agð  hmñ  Amó  wnð  svð  zF÷  zPñ  zPð  QSó  zT÷  zZñ  zZó  z\ñ  v\ð  ]`ð  v`ð  o`r   )rÈ   rÊ   rË   rÌ   rÆ   )é   r¢   rg   r‰   rn   s   @r   rÃ   rÃ   ,   s   ø† ÷A÷`ð `r   rÃ   c                  ó<   ^ • \ rS rSrSU 4S jjrS rSS jrSrU =r$ )ÚCollaborativeEvidenceMoEé4   c           
     ót  >• [         TU ]  5         [        U5      U l        [        U5      U l        [        XXßUUS9U l        [        X•XßUS9U l        [        X¦UUS9U l
        [        XºX}UUS9U l        [        XÈXÞUUS9U l        [        R                   " [        R"                  " 5       /[%        S5       Vs/ s H  n[        R&                  " US5      PM     sn-   5      U l        [        R                   " [%        S5       Vs/ s H  n[        R&                  " US5      PM     sn5      U l        [-        USSU5      U l        [        R0                  " UU5      U l        [        R4                  " [        R&                  " SU-  U-   U-   SU-  5      [        R6                  " 5       [        R8                  " U5      [        R&                  " SU-  S5      5      U l        [        R                   " [%        S5       Vs/ s H  n[        R&                  " Xÿ5      PM     sn5      U l        [        R4                  " [        R&                  " Xô-   U5      [        R>                  " U5      [        R6                  " 5       [        R8                  " U5      [        R&                  " US5      5      U l         g s  snf s  snf s  snf )N)r)   r>   )r>   r¢   r!   rÝ   r    )!r$   r%   r(   Ú
e0_dropoutÚexpert_dropoutr   Úe0rp   Úe1r‹   Úe2rŸ   Úe3rµ   Úe4r   Ú
ModuleListÚIdentityÚranger   Úprivate_headsÚmechanism_headsrÃ   Úexchanger&   Úgate_facr   r
   r   ÚgateÚvaluer	   Úfinal)r8   r9   Úe0_context_dimÚgate_context_dimÚfusion_context_dimÚe1_context_dimÚe2_context_dimÚe3_context_dimÚe4_context_dimÚstudent_dimr¦   Úrelation_dimÚcomponent_numeric_dimr;   r¼   r<   r>   râ   rã   Úe0_residual_boundÚgate_faculty_dimr„   rA   s                         €r   r%   Ú!CollaborativeEvidenceMoE.__init__5   sÝ  ø€ Ü‰ÑÔ¬5°Ó+<˜4œ?ÔQVÐWeÓQf¸TÔ=Pô  pOð  PXð  hsð  K\ð  elñ  pmÐgkÔgnô  vMð  NYð  itð  ELñ  vMð  nrô  nuô  Vlð  mwð  GNð  W^ñ  V_ð  NRô  NUô  h{ð  |Hð  Tbð  ovð  Fñ  hGð  `dô  `gô  Pbð  cxð  H	S	ð  f	m	ð  v	}	ñ  P~	ð  HLô  HOÜŸ=š=¬"¯+ª+«-¨ÔX]Ð^_ÔX`Ó9aÒX`ÐST¼"¿)º)ÀGÈAÖ:NÑX`Ñ9aÑ)aÓbˆÔÔxz÷  yFò  yFô  fkð  lmô  fnó  Goò  fnð  abô  HJ÷  HQò  HQð  RYð  Z[ö  H\ñ  fnñ  Goó  ypÐcgÔcwô  Oð  PWð  XYð  Z[ð  \có  dð  quô  q~ô  su÷  sò  sð  @Kð  L\ó  s]ð  eiô  erô  hj÷  huò  huô  vx÷  vò  vð  @Að  BIñ  @Ið  JZñ  @Zð  [kñ  @kð  lmð  nuñ  luó  vvô  wy÷  w~ò  w~ó  w@ô  AC÷  AKò  AKð  LSó  ATô  UW÷  U^ò  U^ð  _`ð  ahñ  _hð  ijó  Ukó  hlð  ^bô  ^gô  xz÷  xEò  xEô  kpð  qrô  ksó  Ftò  ksð  fgô  GI÷  GPò  GPð  QXö  Gañ  ksñ  Ftó  xuð  mqô  mwô  AC÷  ANò  ANô  OQ÷  OXò  OXð  Y`ñ  Ysð  t{ó  O|ô  }÷  }I	ò  }I	ð  J	Q	ó  }R	ô  S	U	÷  S	Z	ò  S	Z	ó  S	\	ô  ]	_	÷  ]	g	ò  ]	g	ð  h	o	ó  ]	p	ô  q	s	÷  q	z	ò  q	z	ð  {	B
ð  C
D
ó  q	E
ó  AF
ð  vzõ  v@ùÒ9aùò  Goùò  Fts   Â5!J+
Ä!J0Ç8 J5c           	     ón  • [         R                  " US[         R                  US9ocR                  S5      US S 2S4'   SUS S 2S4'   UR                  S5      US S 2S4'   UR                  S5      US S 2S4'   UR	                  5       nU R
                  (       a�  U R                  S:”  a0  US S 2S4==   [         R                  " XS	9U R                  :¬  -  ss'   U R                  S:”  a5  US S 2SS 24==   [         R                  " USUS	9U R                  :  ) -  ss'   UR                  S5      ) nSXhS4'   Xg4$ )
NrÝ   )ÚdtyperÒ   r!   Tr    r"   r¢   r   rÑ   )	r   ÚonesÚboolÚanyÚcloneÚtrainingrâ   Úrandrã   )	r8   ÚbrÒ   Ústudent_maskÚrelation_maskÚcomponent_maskr†   ÚbaseÚdeads	            r   Ú_availabilityÚ&CollaborativeEvidenceMoE._availability8   sS  € Ü
�*Š*�Q�qœuŸz™z°Ñ
8ˆ×@PÑ@PÐQRÓ@S¸º1¸Q¸3¹Ð[_ÐTUÒVWÐXYÐVYÑTZÐgt×gxÑgxÐyzÓg{Ð`aÒbcÐdeÐbeÑ`fð  DR÷  DVñ  DVð  WXó  DYÐ|}Ò~ð  ABð  Bñ  }Cð  _`÷  _fñ  _fó  _hð  Z^Ø�=�=Ø�‰˜qÓ  ¢1 Q 3£¬%¯*ª*°QÑ*EÀtÇÁÑ*VÑ!W£Ø×"Ñ" 1Ó$ Q¢q¨© t£W´·
²
¸1¸QÀfÑ0MÈd×NaÑNaÑ0aÐ.bÑ%b£WØ—%‘%˜“(�ˆD T˜1 !˜V™9Øˆvˆr   c                ó  • U R                  XXš5      u  nnnnU R                  X¼XY5      nU R                  XÞUUU5      nU R                  UUUX×U	5      nU R	                  UUUX‰5      n[
        R                  " UUUUU/S5      n [
        R                  " U/[        SS5       V!s/ s H1  n!U R                  U!   " U S S 2U!S S 24   5      R                  S5      PM3     sn!-   S5      n"[
        R                  " [        S5       V!s/ s H4  n!U R                  U!   " U S S 2U!S-   S S 24   5      R                  S5      PM6     sn!S5      n#U R                  [        U5      UR                  UUU5      u  n$n%Ub6  [        U5      n&SU$S S 2U&4'   SU%S S 2U&4'   U$R                  S5      ) n'SU$U'S4'   U R!                  U U$5      u  n(n)U R#                  [
        R$                  " U(R'                  [        U5      S5      X0R)                  U	5      /S5      5      R+                  U$) S5      n*[
        R,                  " U*S5      n+[
        R                  " [        S5       V!s/ s H  n!U R.                  U!   " U(S S 2U!4   5      PM!     sn!S5      n,U,U+R1                  S5      -  R3                  S5      n-U R5                  [
        R$                  " U-U/S5      5      R                  S5      n.U.U"U#UUU
R7                  S5      U+U U(U)U$U%S	.$ s  sn!f s  sn!f s  sn!f )
Nr!   rÝ   r¢   FTr   r{   r|   )Úfinal_logitÚprivate_logitsÚmechanism_logitsÚteacher_logitsÚe0_delta_logitÚcommittee_probabilityÚgate_weightsÚexpert_tokensÚcollaborative_tokensÚ	attentionrØ   Úbase_availability)rä   rå   ræ   rç   rè   r   Ústackrë   rì   rT   rí   r  ÚlenrÒ   Úintr  rî   rð   rK   Úreshaperï   r}   r~   rñ   r€   r   rò   rG   )/r8   rV   Ú
e0_contextÚgate_contextÚfusion_contextÚ
e1_contextÚ
e2_contextÚ
e3_contextÚ
e4_contextrX   rY   Ústudent_seqr	  Úcourse_targetÚcourse_neighborsÚcourse_neighbor_maskÚcourse_relation_typeÚrelation_eventsr
  Úrelation_typeÚcomponent_eventsr  Úcomponent_typeÚforce_expert_offÚh0Úl0Úteacherr`   Úh1Úh2Úh3Úh4r^   ÚiÚprivÚmechÚavailr  Újr  rÛ   r�   ÚglÚwÚvalsÚfusedrò   s/                                                  r   rb   Ú CollaborativeEvidenceMoE.forward?   s1  € Ø ŸG™G D°GÓLÑˆˆ2ˆg�eÐPT×PWÑPWÐXcÐq{ó  QEÈRð  IM÷  IPñ  IPð  Q^ð  pDð  EYð  Zdó  Ieð  FHð  im÷  ipñ  ipð  q@ð  ANð  O\ð  ]jð  v}ó  i~ð  fhð  BF÷  BIñ  BIð  JZð  [ið  jxð  yCó  BLð  Aô  OT÷  OZò  OZð  \^ð  _að  bdð  egð  hjð  [kð  lmó  Onð  MNô  ty÷  tò  tð  ACð  @Dô  zð  @Að  BCô  zDó  EEò  zDð  uvð  FJ÷  FXñ  FXð  YZò  F[ð  \]ò  ^_ð  `aò  bcð  ^cñ  \dó  Fe÷  Fmñ  Fmð  noö  Fpñ  zDñ  EEñ  @Eð  FGó  tHð  osô  NS÷  NYò  NYô  S	X	ð  Y	Z	ô  S	[	ó  Z\	ò  S	[	ð  N	O	ð  [_÷  [oñ  [oð  pqò  [rð  stò  uvð  wxð  yzñ  wzò  {|ð  u|ñ  s}ó  [~÷  [F	ñ  [F	ð  G	H	ö  [I	ñ  S	[	ñ  Z\	ð  ]	^	ó  N_	ð  IMØ×%Ñ%¤c¨$£i°·±¸LÈÐWeÓf‰
ˆˆdØÑ'ÜÐ"Ó#ˆA¨u Eª!¨A¨#¡J¸u°Tº!¸A¸#±YÈ5Ï9É9ÐUVË<È-ÀTÐfjÐX]Ð^bÐcdÐ^dÑXeØ—‘˜a Ó&‰ˆˆC¨$¯)©)´E·I²I¸s¿{¹{Ì3ÈtË9ÐUWÓ?XÐYe×fsÑfsÐt{Óf|Ð>}Ð~ó  5Aó  +B÷  +Nñ  +Nð  PUð  OUð  VZó  +[ rô  ^c÷  ^kò  ^kð  lnð  opó  ^qð  \]ô  w|÷  wBò  wBô  ejð  klô  emó  Cnò  emð  `að  DH÷  DNñ  DNð  OPò  DQð  RUò  VWð  XYð  VYñ  RZö  D[ñ  emñ  Cnð  opó  wqð  rvð  y}ð  ~÷  ~Iñ  ~Ið  JLó  ~Mñ  yM÷  xRñ  xRð  STó  xUð  rwð  \`÷  \fñ  \fô  gl÷  gpò  gpð  rwð  xFð  qGð  HIó  gJó  \K÷  \Sñ  \Sð  TUó  \Vð  V[Ø#°TÈTÐcjð  }Bð  [j÷  [oñ  [oð  pqó  [rð  BCð  TUð  mpð  }@ð  PUð  jnñ  oð  	oùò EEùò  Z\	ùò Cns   Â#8K9
Ä;K>É&L)rä   râ   rå   ræ   rç   rè   rî   rã   rò   rð   rï   rí   rì   rñ   )rd   rg   g333333Ã?gš™™™™™©?rf   re   r   )	rh   ri   rj   rk   r%   r  rb   rl   rm   rn   s   @r   rß   rß   4   s   ø† ÷F
ò÷oò or   rß   )rg   )Ú
__future__r   r©   r   r   r   r   ÚModuler   rp   r‹   rŸ   rµ   rÃ   rß   © r   r   Ú<module>rE     s–   ðå "Û Û Ý ô GÚ Hô3 b§i¡iô 3ôc˜bŸi™iô cô
f˜RŸY™Yô fô
g˜"Ÿ)™)ô gô
c˜Ÿ™ô cô
`�r—y‘yô `ôo˜rŸy™yõ or   