Ë
    �uìj6  ã                   ó  — d Z ddlZddlZddlZddlZddlZddlZddl	Z
ddlZddlZddlZddlmZ ddlmZmZ ddlmZmZ ddlmZ ddlmZmZmZ ej>                  jA                  edd	d
«      Z!d„ Z"d„ Z#d„ Z$d„ Z%d„ Z&e'dk(  r† ejP                  «       Z)e)jU                  de+dd¬«       e)jU                  ddd¬«       e)jU                  dd¬«       e)jY                  «       Z- e&e-j\                  e-j^                  e-j`                  «       yy)zåAssess diverse TRAIN schedules vs unchanged original held-out schedules.

Supports DirectNet-only and 4+4 fusion, with outer-dataset nested exclusion.
Uses the same subject group for all schedule variants when splitting stage 2.
é    N)ÚDS_KEYS)ÚEXPÚrows_of)ÚROOTÚ	pair_name)r   )r   ÚPROFILESÚswitch_maskÚresultsÚresearchÚnested_schedule_augc                 ó  — t        j                  |dt        | «       t        ¬«      }t         j                  dt        j
                  |«      f   }t        j                  t        j                  |dz
  dz  «      j                  t        «      dt        |«      «      }t        j                  t        j                  |dz  «      j                  t        «      dt        |«      «      }d||   ||   z
  z  ||z
  k(  }d| |dd…f<   | S )	z9A 50/50 time window has no preferred stream under a swap.N)Údtyper   é   é€   é   g        é   )
ÚnpÚasarrayÚlenÚfloatÚr_ÚcumsumÚclipÚroundÚastypeÚint)ÚxÚteÚstÚcÚloÚhiÚtiess          únested_schedule_eval.pyÚzero_tied_decoder_windowsr%      sÈ   € ä	‡z�z�"�W”c˜!“f�+¤EÔ*€BÜ‡e�eˆAŒb�i‰i˜‹mˆOÑ€AÜ	‡w�wŒr�x‰x˜˜A™˜s™
Ó#×*Ñ*¬3Ó/°´#°b³'Ó:€BÜ	‡w�wŒr�x‰x˜˜3™Ó×&Ñ&¤sÓ+¨A¬c°"«gÓ6€BØ	
ˆAˆb‰E�!�B‘%‰K‰˜2˜b™5Ñ	!€DØ€A€dˆ1‰2€g�JØ€Hó    c                 óp   — t        | d«      5 }t        j                  |«      cd d d «       S # 1 sw Y   y xY w)NÚrb)ÚopenÚpickleÚload)ÚpathÚfs     r$   r+   r+   %   s   € Ü	ˆd�4Œ˜A¤V§[¡[°£^��Šús   �,¬5c                 óÂ  — |dk(  rd|z   nt        ||«      }t        d«      D �cg c]8  }t        t        j                  j                  t        |d|› �||dz   «      «      ‘Œ: }}t        |«      D ]j  \  }}|d   }	|	d   |k(  r|	d   |k(  r|	d   |k(  sJ ‚|dk(  r|hn||h}
t        |	d	   «      |
k7  sŒCt        d
|›d|›d|›d|› d|	d	   › dt        |
«      › �«      ‚ |D �cg c]
  }|d   d   ‘Œ }}g }t        |«      j                  «       D �]A  \  }}|d   }|d   |   }|dd  D ]j  }||   }t        j                  |d   |d   «      rt        j                  |d   |d   «      sJ ‚|d   |d   k(  rt        j                  |d   |d   «      rŒjJ ‚ |rQt        t!        |d   «      |d   |d   «      }t#        j
                  | |||«      \  }}t%        || d   |   d   |«      }nDt        j&                  |D �cg c]  }||   d   ||   d   z
  ‘Œ c}d«      j)                  d«      }|}|j+                  t-        ||d   |d   ||¬«      «       �ŒD |S c c}w c c}w c c}w )NÚALLÚoof_r   Úseedú.pklÚinfoÚprofileÚscored_datasetÚexcluded_datasetsz$invalid excluded datasets for outer=z, ds=z
, profile=z, seed=z: z != ÚevidenceÚcausalÚkeyr   r   ÚattÚt_endÚinitial_swapÚswitch_timesÚnÚr0Úr1r-   Úsubj_uid©r   ÚyÚsubjectÚdsÚev)r   Úranger+   Úosr,   Újoinr   Ú	enumerateÚsetÚ
ValueErrorÚsortedr   Úiterrowsr   Úarray_equalr	   r   ÚFr%   Ústackr   ÚappendÚdict)ÚdecÚouterrE   r4   ÚfusionÚgroupÚiÚobjsÚobjr3   ÚexpectedÚclfÚtableÚ_ÚrÚkÚfirstÚotherÚvr   r   Úes                         r$   Úprofile_tablere   )   s·  € Ø˜e’|ˆ&�Š)¬°5¸Ó)<€EÜOTÐUVÌxÓ	XÉxÈ!Œ$Œr�w‰w�|‰|œD ¨¨a¨S z°'¸"¸V¹)ÓDÕ
EÈx€DÐ	XÜ˜4–‰ˆˆ#Ø�‰[ˆ  i¡°'Ò!9¸dÀ6¹lÈAºoÐRVÐWgÑRhÐjlÒRlÐlÐ!lØ  Eš>�B‘4°°r¨{ˆÜˆtÐ'Ñ(Ó)¨XÓ5ÜÐD¸e¸XÀVÈÀuÈKÈwÈjÐX_Ð`aÐ_bÐbdØ $Ð%8Ñ 9Ð:¸$¼vÀhÓ?OÐ>PðRó Sð Sð	 !ñ /3Ó3©d sˆˆZ‰˜Ó	"¨d€CÐ3Ø
€EÜ�r‹{×#Ñ#×%‰ˆˆ!Ø
ˆE‰(ˆ˜#˜a™& ™)�EØ˜˜“WˆEØ�A‰hˆAÜ—>‘> %¨¡,¨q°©xÔ8¼R¿^¹^ÈEÐRYÉNÐ[\Ð]dÑ[eÔ=fÐfÐfØ˜Ñ(¨!¨NÑ*;Ò;ÄÇÁÈuÐUcÑOdÐefÐguÑevÕ@wÐwÐwð ñ Üœ3˜q ™v›; u¨^Ñ'<¸UÀ>Ñ=RÓSˆBÜ—‘�s˜3˜q Ó$‰CˆAˆaô (¨¨#¨a©&°©)°GÑ*<¸RÓ@‰Aä�h‰h±sÓ;±s°!˜˜!™˜T™
 1 Q¡4¨¡:Ó-°sÑ;¸AÓ>×EÑEÀcÓJˆAÈUÈ1Ø�‰”T˜A  %¡°°:±À"ÈÔJÖKð &ð €Lùò1 
Yùò 	4ùò <s   ¤=IÃIÇ7I
c                 ó   — |rt        j                  | ||«      S t        t        t	        |«      d   t	        |«      d   «      «      }|d   j                  «       D ���ci c]\  \  }}|t        t        j                  |D �cg c]  }||   d   ||   d   z
  ‘Œ c}d«      j                  d«      |d   ||   ||¬	«      “Œ^ c}}}S c c}w c c}}}w )
Nr9   rA   r   r?   r@   r   r-   r:   rB   )	rP   Úcorpus_tablerS   Úzipr   Úitemsr   rQ   r   )rT   r\   rE   rV   Úsubsr`   rd   rc   s           r$   Úoriginal_tablerk   F   sÍ   € Ù”Q—^‘^ C¨¨BÓ/Ð/Ü	Œc”'˜"“+˜eÑ$¤W¨R£[°Ñ%<Ó=Ó	>€DàEHÈÁVÇ\Á\Ä^õUÙES¹c¸aÀð Œd”R—X‘X¹cÓB¹c¸˜q ™t D™z¨!¨A©$¨t©*Ó4¸cÑBÀ1ÓE×LÑLÈSÓQØ�u‘X d¨1¡g°°qô:ñ :ØESóUð UùÒBùô Us   Á!C	Á?CÂ(C	ÃC	c                 óü  — |dk(  }t        j                  d«       t        j                  t         j                  j	                  «       rdnd«      }t        j                  t        d¬«       t        t        j                  D �cg c]  }t        j                  |d«      ‘Œ c}Ž \  }}|r8t        t        j                  D �cg c]  }t        j                  |d«      ‘Œ c}Ž nd\  }}	t        |d	   t        d	      d
   «      }
g }|rdgnt        D �]C  }i }g }t        D ]ß  }|dk(  s||k(  r*|D �cg c]  }||   ‘Œ	 }}|r|D �cg c]  }||   ‘Œ	 c}nd }nit!        d«      D �cg c]  }t        j"                  t$        |||«      ‘Œ  }}|r3t!        d«      D �cg c]  }t        j"                  t&        |||«      ‘Œ  c}nd }t)        ||||«      ||<   ||k7  sŒ·t*        D ]   }|j-                  t/        |||||«      «       Œ" Œá t1        d||d| dt3        |«      d¬«       t5        j6                  || |«      \  }}t        j8                  t;        |j=                  «       |j?                  «       ||tA        t*        «      ¬«      t
        jB                  jE                  t        d|› d|› d| › d�«      «       t        D ��cg c]"  }||k7  sŒ	||   jG                  «       D ]  }|‘Œ Œ$ }}}|rt        jH                  |«      nd„ }i }dD ]ê  }tK        jL                  |D �cg c]K  }|dk(  rt5        jN                  ||d   ||«      n
 ||d   «      tK        jP                  |d   d	k(  dd«      z  ‘ŒM c}«      }t        |jS                  «       «      t        |jU                  «       «      }}tK        jV                  |«      r|d	k  stK        jV                  |«      r|dk  rtY        d|› d|› �«      ‚||f||<   Œì |sø|D ]ñ  }t        D �� �ci c]‚  }|||   j[                  «       D � �ci c]`  \  } }| t;        |d    |dk(  rt5        jN                  ||d   ||«      n
 ||d   «      tK        j\                  t3        |d   «      «      d¬!«      “Œb c}} “Œ„ }!} }}t        j^                  ||!|
||   t4        j`                  ¬"«      }"|jc                  t;        d;| |||d#œ|"¤Ž«       t1        |d$   d¬«       Œó �nd%D �]  }t!        d«      D �cg c]8  }te        t
        jB                  jE                  tf        d&d'd(|› d)|› d*�«      «      ‘Œ: }}|r�|d+k(  rd,nd-|› d.�}#t!        d«      D �cg c]7  }te        t
        jB                  jE                  tf        d&d'|#› d/|› d*�«      «      ‘Œ9 }}|d	   D � ci c]  } | t        jD                  ||| «      “Œ }$} nj|d	   j[                  «       D � �%�ci c]J  \  } }%| tK        jh                  |D �cg c]  }||    d0   ||    d1   z
  ‘Œ c}d2«      jk                  d3«      |%f“ŒL }$}%} }|D ]Ï  }|$j[                  «       D � �&�%ci c]V  \  } \  }&}%| t;        |%|dk(  rt5        jN                  ||&||«      n ||&«      tK        j\                  t3        |&«      «      ¬4«      “ŒX }!}&} }%tm        jn                  |!g||   ¢t4        j`                  ‘|
‘­Ž }"|jc                  t;        d;| |||d#œ|"¤Ž«       t1        |d$   d¬«       ŒÑ �Œ |rd5nd6}'tq        jr                  |«      ju                  t
        jB                  jE                  t        |› d|'› d| › d7�«      d8¬9«       �ŒF tq        jr                  |«      ju                  t
        jB                  jE                  t        |› d'› d| › d:�«      d8¬9«       y c c}w c c}w c c}w c c}w c c}w c c}w c c}}w c c}w c c}} w c c}} }w c c}w c c}w c c} w c c}w c c}}%} w c c}%}&} w )<NrV   r   ÚcudaÚcpuT)Úexist_okr8   )NNr   Úlookahead_sr/   r   Úfitr1   zdiverse-trials)Úflush)ÚstateÚscalerU   ÚvariantÚprofilesÚmodel_r^   Ú_sz.ptc                 ó$   — | j                  d«      S )Nr   )Úmean)r   s    r$   Ú<lambda>zmain.<locals>.<lambda>e   s   € ¸q¿v¹vÀa¼yr&   )ÚtransformerÚbaseliner|   r   rC   g      ð?g      ð¿g�íµ ÷Æ°>zbad emission Ú rF   )r?   r@   Úpre_switched)ÚemisÚp_stay)r1   rE   ru   Úmethodéÿÿÿÿ)ÚAASDÚ	Carta2026r
   r   Úext_clf_Ú_w10b3sw2P_evidence_sr2   r„   Úaasd_c1_bestPÚext_c1_Ú_bestPÚ_evidence_sr?   r@   r   r-   )r?   r@   ÚrealÚlodoz_partial.csvF)Úindexz.csv© );ÚtorchÚset_num_threadsÚdevicerm   Úis_availablerH   ÚmakedirsÚOUTrh   rP   ÚREFÚSÚ
load_foldsÚDECr   r   rG   Ú	load_pairÚCLF_ROOTÚDEC_ROOTrk   r   Úextendre   Úprintr   ÚTrq   ÚsaverS   Ú
state_dictÚtolistÚlistr,   rI   Úvaluesr}   r   ÚconcatenateÚpredictÚwhererz   ÚstdÚisfiniterL   ri   ÚzerosÚscore_datasetÚPrR   r+   r   rQ   r   ÚEÚscoreÚpdÚ	DataFrameÚto_csv)(r1   ru   ÚexternalrV   r’   Úexpr\   r3   rT   r^   Úlar
   rU   ÚtabÚtrainrE   rc   ÚecÚedrX   r4   Úmodelrt   ÚtÚoriginalÚ	transformr€   r‚   ÚsignedÚmuÚsdÚdr`   rF   r_   ÚdnÚdatard   r   Úlabels(                                           r$   ÚmainrÄ   M   s„  € Ø�HÑ€FœU×2Ñ2°1Ô5Ü�<‰<¤%§*¡*×"9Ñ"9Ô";™ÀÓG€FÜ‡K�K”˜TÕ"Ü¼¿ºÓ?¹°#”1—<‘<  HÕ-¸Ñ?Ð@�H€CˆÙAGŒ#´a·e²eÓ<±e¨s”—‘˜S Õ*°eÑ<Ñ
=È[�E€CˆÜˆT�!‰W”W˜Q‘ZÑ  Ñ/Ó0€B¸°Ù%�5‘'¬7Ó2ˆØˆ�RˆußˆBØ�eŠ|˜r 5šyÙ#&Ó'¡3˜a�A�b“E 3�Ð'Á6¹3Ó+?¹3°a¨A¨b«E¸3Ò+?Èt©ä>CÀA¼hÓG¹h¸”A—K‘K¤¨¨r°!Õ4¸h�ÐGÙKQ¼eÀA¼hÓG¹h¸”A—K‘K¤¨¨r°!Õ4¸hÒGÐW[�Ü" 2 b¨¨FÓ3ˆC�‰GØ�5‹yß'�G¨¯©´]À2ÀeÈBÈwÐW]Ó5^Õ(_™xð ô 	ˆe�G˜E &¨Ð.>¼sÀ5»zÐPTÕUÜ—E‘E˜%  VÓ,‰ˆˆeÜ�
‰
”4˜e×.Ñ.Ó0°u·|±|³~ÈEÐZaÜ!%¤h£ô1Ü13·±·±¼cÀFÈ7È)ÐSTÐUZÐT[Ð[]Ð^bÐ]cÐcfÐBgÓ1hô	jõ &ÔM™g˜¨¨U«¸CÀ¹G¿N¹NÖ<L°q’!Ð<L�!˜gˆÑMÙ*0”!—*‘*˜XÔ&Ñ6Hˆ	ØˆÛ0ˆFÜ—>‘>ÙIQó#SÙIQÀAð MSÐTaÒLa¤A§I¡I¨e°A°c±F¸5ÀÔ$HÑgpÐqrÐsvÑqwÓgxÜ%'§X¡X¨a°©f°a©i¸¸3Ó%?ó$@ØIQñ#Só TˆFä˜Ÿ™›Ó&¤u¨V¯Z©Z«\Ó':ˆrˆBÜ—;‘;˜r”? b¨!¢e´2·;±;¸r´?ÀbÈÂgÔT^ÐanÐoqÐnrÐrsÐtvÐswÐ_xÓTyÐNyØ˜R˜ˆD�ŠLð 1ñ Û�åovõxÙovÐjkð ØVYÐZ[ÑV\×VbÑVbÔVdôfÙVdÉsÈqÐQRð œ˜a ™gÐQWÐYfÒQf¬¯©°5¸¸3¹ÀÀfÔ)MÑluÐvwÐx{Ñv|Ól}Ü"$§(¡(¬3¨q°©v«;Ó"7ÀTôKñ KØVdòfñ fØovð ò xä—/‘/ %¨¨2°4¸±<ÄqÇsÁsÔK�Ø—‘œtÐY¨°¸wÈfÑYÐWXÑYÔZÔ[`ÐahÐikÑalÐswÖ[xò	 ô +�Üv{Ð|}Ôv~ÓÑv~Ðqr”DœŸ™Ÿ™¤c¨)°JÀÈ"ÈÐMbÐcdÐbeÐeiÐ?jÓkÕlÐv~�ÐÙØ*,¨fª*‘¸GÀBÀ4ÀvÐ:N�BÜhmÐnoÔhpÓqÑhpÐcdœœRŸW™WŸ\™\¬#¨i¸
ÀbÀTÈÐUVÐTWÐW[ÐC\Ó]Õ^Ðhp�BÐqØ57¸²UÓ;±U°˜!œAŸF™F 2 b¨›OÑ+°U�DÑ;àgiÐjkÑgl×grÑgrÔgtÕuÑgtÑ`cÐ`aÐbc˜!œRŸX™XÁbÓ&IÁbÀ q¨¡t¨D¡z°!°A±$°t±*Ó'<ÀbÑ&IÈ!ÓL×SÑSÐTWÓXÐYZÐ[Ñ[Ðgt�DÒuÛ"�FàCGÇ:Á:Ä<õQÙCO¹¸¹%¸1¸Qð œ$˜qÀvÈ}ÒG\¤A§I¡I¨e°A°e¸FÔ$CÑbkÐlmÓbnÜ"$§(¡(¬3¨q«6Ó"2ô4ñ 4ØCOð ò Qä—g‘g˜bÐ6 $ v¡,Ð6¬q¯s©sÐ6°2Ò6�AØ—N‘N¤4Ð#Z¨T°RÀÈvÑ#ZÐXYÑ#ZÔ[Ô\aÐbiÐjlÑbmÐtxÖ\yò	 #ð +ñ !‰f fˆÜ
�‰�WÓ×$Ñ$¤R§W¡W§\¡\´#¸¸	ÀÀ5À'ÈÈDÈ6ÐQ]Ð6^Ó%_ÐfkÐ$Ölð] 3ô^ ‡L�L�Ó× Ñ ¤§¡§¡¬c°W°I¸Q¸u¸gÀRÈÀvÈTÐ2RÓ!SÐZ_Ð Õ`ùòe @ùÚ<ùò (ùÒ+?ùâGùÚGùó Nùò#Sùófùô xùò @ùò rùÚ;ùâ&IùÔuùôQs�   Â^&Â?^+Ä,^0Å ^5Å#^:Æ#^?Ê5
_Ë _ÌA_
Ï;_ÐA%_Ñ<_Ó7=_Õ<_!Ö_&×_0×,_+Ø_0Ø<A_7ß_ß+_0Ú__main__z--seed)r   r   T)ÚtypeÚchoicesÚrequiredz	--variant)ÚdirectrV   )rÇ   rÈ   z
--externalÚ
store_true)Úaction)1Ú__doc__ÚargparserH   r*   Únumpyr   Úpandasr¯   r�   Úantisym_transformer_experimentrŸ   Úeval_externalr­   Únested_stack_fusionrP   r®   r—   Úcommonr   Ú
common_expr   r   Únested_stack_baser   r›   r   Únested_stack_decoderrœ   Únested_schedule_generater   r	   r,   rI   r•   r%   r+   re   rk   rÄ   Ú__name__ÚArgumentParserÚpÚadd_argumentr   Ú
parse_argsÚar1   ru   r²   r�   r&   r$   Ú<module>rÞ      sî   ðñó
 Û 	Û Û Û Û ã *Û Û Û Ý ß #ß 9Ý 1ß @Ñ @à‡G�G‡L�L��Y˜zÐ*?Ó@€òò4òò:Uò6aðr ˆZÒØ€h×ÑÓ€A §¡¨x¸SÈÐX\ Ô ]Ø‡N�N�;Ð':ÀD€NÔIØ‡N�N�< |€NÔ4°q·|±|³~°QÁdÈ1Ï6É6ÐRS×R[ÑR[Ð\]×\fÑ\fÕFgð r&   