Ë
    ósÜj8  ã                   ó¬  — d Z ddlZddlZddlZddlZddlZddlZddl	m
Z ddlZddlmZmZmZmZ ddlmZ ddlmZmZmZmZ ddlmZmZmZmZ ddlmZ ddl m!Z! ddl"Z#ejH                  jK                  ed	d
«      Z&ddddddœZ'dZ(dZ)dZ*dZ+ edddgddd¬«      Z, ejZ                  d«      Z. ejZ                  d«      Z/ejH                  jK                  ed«      Z0 e1ejd                  jg                  dd «      «      Z4d!„ Z5d(d"„Z6d#„ Z7d$„ Z8d%„ Z9d&„ Z: ejv                  «       d'„ «       Z<d7d)„Z=d*„ Z>d+„ Z?d,„ Z@d7d-„ZAd.„ ZBd/„ ZCd0„ ZDd1„ ZEd2„ ZFd8d3„ZGd4„ ZHd5„ ZId9d6„ZJy):a¦  Turn data/cnd, Broderick2018 and Fuglsang2020 into the (T, 4) logit tables
the causal transformer already trains on, and load AASD / Carta2026 the same way.

The transformer never reads EEG. Each trial is four direct-classifier logits
(one per seed) at 4 Hz. Those four networks are the published all-five
checkpoints ``all5_direct_clf_w10b3sw2P_s0..s3`` (window 10 s, 3 blocks,
targets env/onset/dom). The same weights produced
``ext_clf_{AASD,Carta2026}_w10b3sw2P_evidence_s*.pkl``, so train and test
share one front-end.

Corpus trials are read from the eaP_n5_t60 cache (built from data/cnd) plus
glimpsenorm dominance. Fuglsang2020 already has that same prep. Broderick2018
was only converted to mat_reac and has no glimpse cache: dominance is rebuilt
here from the released 128 Hz envelopes with the same causal formula as
build_glimpse.py 'norm', aligned to the trimmed 32 Hz trial.

Training trials get one synthetic-switch schedule applied to the stimulus
before the classifier, as direct_classifier.run_fold does. Corpus trials use
the challenge schedule (mean interval 60 s, minimum segment 30 s). Broderick
and Fuglsang trials are only about 50-60 s, so that schedule almost never
fires and every label would stay on column 0; they use a 20 s mean interval
and an 8 s minimum segment, in the same range as the real switches in Carta2026.
AASD and Carta2026 keep the real key-press / cue labels already stored in the
evidence pickles.
é    N)ÚbutterÚlfilterÚsosfiltÚsosfiltfilt)ÚSEED)ÚDATA_EXPÚEXPÚEXTERNAL_DATAÚFS)ÚDÚDEVÚ_targetsÚapply_overrides)Údraw_switch_times)Úzscore_trialÚcacheÚlogit_v2ÚAVGCÚDTUÚKULÚUHDÚUSTC)Ú001Ú003Ú004Ú005Ú007)r   r   r   r   r   ÚBROÚFUG)ÚAASDÚ	Carta2026Ú
_w10b3sw2Pé    é   ç      ð?g      "@Úbandpassé€   Úsos)ÚfsÚoutputg      Ô¿gš™™™™™I¿ÚBroderick2018ÚLOGIT_CHUNKÚ256c           
      ó¸   — t         j                  j                  t        j                  t        t        j                  | j                  d«      «      z   «      «      S )Nzutf-8)ÚnpÚrandomÚdefault_rngÚuint32r   ÚzlibÚcrc32Úencode)Úkeys    úm/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/eeg-thao_unzipped/eeg-thao/external_logit_adapter.pyÚ_rngr8   9   s7   € Ü�9‰9× Ñ ¤§¡¬4´$·*±*¸S¿Z¹ZÈÓ=PÓ2QÑ+QÓ!RÓSÐSó    c                 ó:  — t        t        | «      |t        t        «      z  ||¬«      }t	        j
                  |t        j                  «      }d\  }}|D ]?  }t        |dz
  t        t        t        |«      t        z  «      «      «      }	||||	 d|z
  |	}}ŒA |||d  |S )N©Úmean_intÚmin_seg)r   r   é   )
r   r8   Úfloatr   r/   ÚzerosÚint8ÚminÚintÚround)
r6   Únr<   r=   ÚtimesÚstÚcurÚprevÚttÚs0s
             r7   Ú_switch_maskrL   =   s’   € Üœd 3›i¨¬U´2«Y©ÀÐSZÔ[€EÜ	�‰�!”R—W‘WÓ	€BØ�I€CˆÛˆÜ��Q‘œœE¤%¨£)¬b¡.Ó1Ó2Ó3ˆØˆˆ4�ˆØ˜‘G˜RˆT‰ð ð €B€t€u€IØ€Ir9   c                 óv   — t        dt        z
  gdt         g| «      }t        j                  | d   g|d d g«      S )Nr%   r   éÿÿÿÿ)r   ÚMEAN_Ar/   Úconcatenate)ÚxÚruns     r7   Ú
_past_meanrS   I   s<   € Ü
�3œ‘<�. 3¬¨ .°!Ó
4€CÜ�>‰>˜A˜a™D˜6 3 s¨ 8Ð,Ó-Ð-r9   c                 ó$  — t        dt        z
  gdt         gt        j                  | d«      d¬«      }|j	                  d«      }|dd…df   |dd…df   z
  |dt        |«      z  z   z  }t        t        t        j                  || gd«      d¬«      S )zNCausal glimpsenorm dominance at 128 Hz. raw is (N, 2), non-negative envelopes.r%   g•Ö&è.>r   ©Úaxisr>   Ngš™™™™™©?)	r   ÚSMOOTH_Ar/   ÚmaximumÚsumrS   r   ÚBP128Ústack)ÚrawÚsÚtotÚgs       r7   Ú_dom_from_raw128r`   N   s†   € ä�”x‘Ð  3¬¨	Ð"2´B·J±J¸sÀDÓ4IÐPQÔR€AØ
�%‰%�‹(€CØ	
Š1ˆaˆ4‰�1’Q˜�T‘7Ñ	˜s T¬J°s«OÑ%;Ñ;Ñ<€AÜ”5œ"Ÿ(™( A¨ r 7¨AÓ.°QÔ7Ð7r9   c                  óŒ  — t        dgg «       g d¢t        d<   t        dt        z  «      t        _        t        dt        z  «      t        _        t        dt        z  «      t        _        t        j
                  t        j                  z
  t        j                  z
  t        _        t        j
                  t        z
  t        _	        y )Nzmodel_blocks=3)ÚenvÚonsetÚdomÚtargetsé
   g      Ð?g      à?)
r   r   rC   r   ÚDCÚWÚHOPÚFUTÚPOS0ÚLAB© r9   r7   Úconfigure_frontrn   V   sq   € ÜÐ%Ð&¨Ô+Ú*„A€i�LÜˆr”B‰w‹<„B„DÜ�œ‘‹^„B„FÜ�”r‘‹]„B„FÜ�d‰d”R—V‘V‰mœbŸf™fÑ$„B„GÜ�T‰T”B‰Y„B…Fr9   c                  ó&  — t        «        g } t        d«      D ]×  }t        j                  j	                  t
        dd|› d�«      }t        j                  ddd«      j                  t        «      }	 t        j                  |t        d¬	«      }|j                  |«       |j                  «        | j                  |«       t!        d|› d|› dt#        |j$                  j&                  «      › �d¬«       ŒÙ t#        | d   j$                  j&                  «      t        j(                  fk7  r?t+        dt#        | d   j$                  j&                  «      › dt        j(                  › �«      ‚| S # t        $ r  t        j                  |t        d
¬	«      }Y �Œw xY w)Né   ÚmodelsÚall5_direct_clf_w10b3sw2P_sz.pté:   é   Úvlaai_wsT)Úmap_locationÚweights_onlyFzloaded front Ú z
 temporal ©Úflushr   zcheckpoint window z != )rn   ÚrangeÚosÚpathÚjoinr   rg   Ú	DirectNetÚtor   ÚtorchÚloadÚ	ExceptionÚload_state_dictÚevalÚappendÚprintÚtupleÚtwÚshaperh   ÚRuntimeError)ÚnetsÚir}   ÚnetÚstates        r7   Ú	load_netsr�   `   s?  € ÜÔØ€DÜ�1ŽXˆÜ�w‰w�|‰|œH hÐ2MÈaÈSÐPSÐ0TÓUˆÜ�l‰l˜2˜q *Ó-×0Ñ0´Ó5ˆð	KÜ—J‘J˜t´#ÀDÔIˆEð 	×Ñ˜EÔ"Ø�‰Œ
Ø�‰�CÔÜ�˜a˜S  $  z´%¸¿¹¿¹Ó2EÐ1FÐGÈtÖTð ô ˆT�!‰W�Z‰Z×ÑÓ¤2§4¡4 'Ò)ÜÐ/´°d¸1±g·j±j×6FÑ6FÓ0GÐ/HÈÌRÏTÉTÈFÐSÓTÐTØ€Køô ò 	KÜ—J‘J˜t´#ÀEÔJ‹Eð	Kús   Á/E'Å'%FÆFc                 óF  — t        |«      }t        j                  t        j                  t        j
                  dft        j                  «      t        j                  |t        j                  «      t        j                  t        j                  t        j                  z   dft        j                  «      g«      }t        j                  t        j                  t        j
                  f|j                  dd  z   t        j                  «      t        j                  |t        j                  «      t        j                  t        j                  t        j                  z   f|j                  dd  z   t        j                  «      g«      }t        j                  d|t        j                  «      }t        j                  t        |«      t        j                  «      }t        dt        |«      t        «      D �]  }|||t        z    }	t        j                   t        j"                  |	D �
cg c]  }
||
|
t        j$                  z    ‘Œ c}
«      «      j'                  t(        d¬«      }t        j                   t        j"                  |	D �
cg c]  }
||
|
t        j$                  z    ‘Œ c}
«      «      j'                  t(        d¬«      } | ||«      j+                  «       j-                  «       j/                  «       j1                  «       |||t        |	«      z    �Œ  ||fS c c}
w c c}
w )Nrs   r>   r   T)Únon_blocking)Úlenr/   rP   r@   rg   rk   Úfloat32Úasarrayrj   ri   rŠ   ÚarangeÚemptyr{   ÚCHUNKr�   Ú
from_numpyr[   rh   r€   r   Údetachr?   ÚcpuÚnumpy)rŽ   rQ   ÚSÚTÚxpÚSpÚstartsÚoutr�   ÚaÚkÚxbÚsbs                r7   Ú_logitsr§   s   s#  € äˆA‹€AÜ	�‰Ü
�‰”"—'‘'˜2�¤§
¡
Ó+Ü
�
‰
�1”b—j‘jÓ!Ü
�‰”"—&‘&œ2Ÿ6™6‘/ 2Ð&¬¯
©
Ó3ðó 
€Bô
 
�‰Ü
�‰”"—'‘'�˜aŸg™g a b˜kÑ)¬2¯:©:Ó6Ü
�
‰
�1”b—j‘jÓ!Ü
�‰”"—&‘&œ2Ÿ6™6‘/Ð# a§g¡g¨a¨b kÑ1´2·:±:Ó>ðó 
€Bô
 �Y‰Y�q˜!œRŸV™VÓ$€FÜ
�(‰(”3�v“;¤§
¡
Ó
+€CÜ�1”c˜&“k¤5×)ˆØ�1�Qœ‘YÐˆÜ×ÑœbŸh™hÁÓ'BÁ¸1¨¨1¨Q´·±©XªÀÑ'BÓCÓD×GÑGÌÐZ^ÐGÓ_ˆÜ×ÑœbŸh™hÁÓ'BÁ¸1¨¨1¨Q´·±©XªÀÑ'BÓCÓD×GÑGÌÐZ^ÐGÓ_ˆÙ  B›K×.Ñ.Ó0×6Ñ6Ó8×<Ñ<Ó>×DÑDÓFˆˆAˆa”#�a“&‰jÒð	 *ð
 �ˆ;Ðùò (CùÚ'Bs   È&LÊL©g      N@g      >@c           
      ó2  — t        t        |«      t        |«      t        |«      t        |«      «      }|d | |d | |d | |d | f\  }}}}t        t        ||||¬«      «      }t        |t        |«      «      }|d | |d | |d | }}}t	        |||d   |d   ¬«      }	t        j                  |	d d …d d f   t        j                  |d d …d d d…f   «      |«      }
|j                  t
        j                  «      |	j                  t
        j                  «      z  j                  t
        j                  «      }g d }}| D ]#  }t        |||
«      \  }}|j                  |«       Œ% t        j                  |d«      j                  t
        j                  «      }|t        j                  |t        j                   z
  d«         j                  t
        j"                  «      }t        |«      t        |«      k7  r%t%        |› dt        |«      › dt        |«      › �«      ‚||fS )N)Úeegrb   Úattrd   r   r>   r;   rN   z: label z != logits )rB   r“   r   ÚdictrL   r/   ÚwhereÚascontiguousarrayÚastypeÚint16r§   r†   r[   r”   rX   rg   ri   rA   r‹   )rŒ   r6   rª   rb   r«   rd   ÚswitchrE   r�   rG   ÚSswÚatt_sÚcolsr¡   rŽ   Úlgr   Útruths                     r7   Údecision_rowr·   Š   sÍ  € ÜŒC�‹H”c˜#“h¤ C£¬#¨c«(Ó3€AØ˜R˜a˜ # b q '¨3¨r°¨7°C¸¸°GÐ;Ñ€Cˆˆc�3Ü”˜# 3¨C°SÔ9Ó:€AÜˆAŒs�1‹v‹€AØ�b�q�'˜3˜r ˜7 A b q Eˆaˆ€CÜ	�c˜1 v¨a¡y¸&À¹)Ô	D€BÜ
�(‰(�2’a˜˜t�mÑ$¤b×&:Ñ&:¸1ºQÁÀ"À¸W¹:Ó&FÈÓ
J€CØ�Z‰ZœŸ™Ó! B§I¡I¬b¯h©hÓ$7Ñ7×?Ñ?ÄÇÁÓI€EØ�tˆ&€DÛˆÜ˜S # sÓ+‰
ˆˆFØ�‰�B�ð ô 	�‰��qÓ× Ñ ¤§¡Ó,€AØ”"—*‘*˜V¤b§f¡f™_¨aÓ0Ñ1×8Ñ8¼¿¹ÓA€EÜ
ˆ5ƒz”S˜“VÒÜ˜c˜U (¬3¨u«:¨,°kÄ#ÀaÃ&ÀÐJÓKÐKØˆeˆ8€Or9   c                 ó  — t        j                  t         j                  j                  | «      d¬«       | dz   }t	        |d«      5 }t        j                  ||d¬«       d d d «       t        j                  || «       y # 1 sw Y   Œ xY w)NT©Úexist_okz.tmpÚwbrp   )Úprotocol)r|   Úmakedirsr}   ÚdirnameÚopenÚpickleÚdumpÚreplace)r}   ÚobjÚtmpÚfhs       r7   Ú_dumprÆ   ž   s\   € Ü‡K�K”—‘—‘ Ó%°Õ5Ø
�‰-€CÜ	ˆc�4Œ˜BÜ�‰�C˜ aÕ(÷ 
ä‡J�Jˆs�DÕ÷ 
ˆús   ÁA>Á>Bc                 óÐ   — t         j                  j                  t        | dz   «      }t	        |d«      5 }t        j                  |«      }d d d «       d   |d   fS # 1 sw Y   ŒxY w)Nú.pklÚrbÚlogitsr«   )r|   r}   r~   ÚCACHEr¿   rÀ   r‚   )Únamer}   rÅ   Úblobs       r7   Ú_load_dsrÎ   ¦   sT   € Ü�7‰7�<‰<œ˜t f™}Ó-€DÜ	ˆd�DÔ	˜RÜ�{‰{˜2‹ˆ÷ 
à�‰>˜4 ™;Ð&Ð&÷ 
Ð	ús   ´AÁA%c                 ó€  — t        j                  |D �cg c]  }||   ‘Œ	 c}«      }d}|j                  «       D ]5  }t        |«      dkD  sŒt        j                  |dd  |d d k7  «      sŒ1|dz  }Œ7 t        d| › dt        |«      › dt        |«      › dt        |dk(  j                  «       «      d›d	|› �
d
¬«       y c c}w )Nr   r>   rN   ú  ú: z	 trials, z frames, P(att=0) ú.3fz, trials with a switch Try   )r/   rP   Úvaluesr“   Úanyr‡   r?   Úmean)rÌ   rÊ   r«   r¤   ÚyÚn_swr£   s          r7   Ú
_summarizerØ   ­   s½   € Ü
�‰©Ó,© 1˜˜A›¨Ñ,Ó-€AØ€DØ�Z‰ZŽ\ˆÜˆq‹6�A‹:œ"Ÿ&™&  1 2 ¨!¨C¨R¨&¡Õ1Ø�A‰I‰Dð ô 
ˆBˆtˆf�B”s˜6“{�m 9¬S°«V¨Hð 5Ü˜Q !™VŸM™M›OÓ,¨SÐ1Ð1HÈÈðPØW[ö]ùò -s   ”B;c                 ó  — t         j                  j                  t        | dz   «      }t         j                  j	                  |«      r>t         j
                  j                  d«      dk7  rt        | «      \  }}t        | ||«       y i i }}t        j                  «       }t        |«      D ]œ  \  }	}
 ||
«      \  }}}}t        ||
|||||¬«      \  }}|||
<   |||
<   |	dz   dz  dk(  s|	dz   t        |«      k(  sŒO|	dz   t        t        j                  «       |z
  d«      z  }t        d	| › d
|	dz   › dt        |«      › d	|d›d�	d¬«       Œž t        |||dœ«       t        | ||«       t        d|› dt        j                  «       |z
  d›d�d¬«       y )NrÈ   ÚREBUILD_LOGITSÚ1©r±   r>   é   r   g�íµ ÷Æ°>rÐ   rx   Ú/z.2fz	 trials/sTry   ©rÊ   r«   z  wrote ú (z.0fús))r|   r}   r~   rË   ÚexistsÚenvironÚgetrÎ   rØ   ÚtimeÚ	enumerater·   r“   Úmaxr‡   rÆ   )rÌ   ÚkeysÚ
load_trialrŒ   r±   r}   rÊ   r«   Út0r�   r6   rª   rb   r£   rd   r   r¶   Úrates                     r7   Ú_build_datasetrì   ·   sq  € Ü�7‰7�<‰<œ˜t f™}Ó-€DÜ	‡w�w‡~�~�dÔ¤§
¡
§¡Ð/?Ó @ÀCÒ GÜ˜t“n‰ˆ�Ü�4˜ Ô%ØØ�bˆC€FÜ	�‰‹€BÜ˜D–/‰ˆˆ3Ù% c›?ÑˆˆS�!�SÜ  c¨3°°Q¸ÀFÔK‰ˆˆ5Øˆˆs‰ØˆˆC‰Ø�‰E�R‰<˜1Ò  A¡¬¨T«Ó 2Ø˜‘EœS¤§¡£¨rÑ!1°4Ó8Ñ8ˆDÜ�B�t�f˜A˜a !™e˜W A¤c¨$£i [°°4¸°*¸IÐFÈdÖSð "ô 
ˆ$˜6¨#Ñ.Ô/Üˆt�V˜SÔ!Ü	ˆH�T�F˜"œTŸY™Y›[¨2Ñ-¨cÐ2°"Ð
5¸TÖBr9   c           	      ó  — t        j                  t        j                  j	                  t
        dd| dz   «      «      }t        j                  t        j                  j	                  t
        dd| dz   «      «      }|d   |d   |d   |d   fS )	Nr   Ú
eaP_n5_t60ú.npzÚglimpsenormrª   rb   r«   rd   )r/   r‚   r|   r}   r~   r   ©r6   Úzr_   s      r7   Ú
_cnd_trialró   Ì   sk   € Ü
�‰”—‘—‘œX w°¸cÀF¹lÓKÓL€AÜ
�‰”—‘—‘œX w°¸sÀV¹|ÓLÓM€AØˆU‰8�Q�u‘X˜q ™x¨¨5©Ð1Ð1r9   c           
      ó  — t        j                  t        j                  j	                  t
        ddd| dz   «      «      }t        j                  t        j                  j	                  t
        ddd| dz   «      «      }|d   |d   |d   |d	   fS )
NÚFuglsang2020r   rî   rï   rð   rª   rb   r«   rd   )r/   r‚   r|   r}   r~   r
   rñ   s      r7   Ú
_fug_trialrö   Ò   su   € Ü
�‰”—‘—‘œ]¨N¸GÀ\ÐSVÐY_ÑS_Ó`Óa€AÜ
�‰”—‘—‘œ]¨N¸GÀ]ÐTWÐZ`ÑT`ÓaÓb€AØˆU‰8�Q�u‘X˜q ™x¨¨5©Ð1Ð1r9   c                 óº  — |j                  | |f«      }|�|S t        j                  j                  t        dddd| | › d|› d�«      }t        j                  |«      }t        t        j                  |d   «      j                  «       d   «      d	k7  rt        d
|› �«      ‚t        j                  |d   t        j                  «      j                  «       }||| |f<   |S )Nr\   zCocktail PartyÚStimuliÚ	EnvelopesÚ_z_env.matÚfsEnvr   r'   zunexpected envelope rate in Úenvelope)rä   r|   r}   r~   ÚBRO_ROOTÚsioÚloadmatrC   r/   r•   Úravelr‹   Úfloat64)ÚstoryrR   r   Úhitr}   Údr\   s          r7   Ú_broderick_rawr  Ø   sÎ   € Ø
�)‰)�U˜C�LÓ
!€CØ
€Øˆ
Ü�7‰7�<‰<œ %Ð)9¸9ÀkÐSXÐ]bÐ\cÐcdÐehÐdiÐiqÐZrÓs€DÜ�‰�DÓ€AÜ
Œ2�:‰:�a˜‘jÓ!×'Ñ'Ó)¨!Ñ,Ó-°Ò4ÜÐ9¸$¸Ð@ÓAÐAÜ
�*‰*�Q�z‘]¤B§J¡JÓ
/×
5Ñ
5Ó
7€CØ€Eˆ5�#ˆ,ÑØ€Jr9   c           	      óh  — | j                   }t        | j                  «      t        | j                  «      }}|dk  rdnd\  }}t	        j
                  t        |||«      t        |||«      gd«      }t        | j                  «      }t        t        |d¬«      ddd…   }	t        |	d| «      t        |t        z
   j                  t        j                  «      }
t	        j                  t        j                   j#                  t$        d	d
|dz   «      «      d   }|
j&                  |j&                  k7  r't)        |› d|
j&                  › d|j&                  › �«      ‚t+        t	        j,                  t	        j.                  |
|z
  «      «      «      }t1        d|› d|d›�d¬«       |dkD  rt)        d|› d�«      ‚|S )zQBand-passed envelope must match the converted npz. Dominance uses that same grid.é   ©Ú20000ÚJourney©r
  r	  r>   r   rU   Nrp   r   Úmat_reacrï   rb   z: rebuilt env z
 != cache zBroderick envelope alignment z: max abs err z.3eTry   gü©ñÒMbP?z5Broderick envelope rebuild does not match the cache (Ú))rÌ   rC   ÚsubjectrR   r/   r[   r  Ún32r   rZ   r   ÚTRIMr¯   r”   r‚   r|   r}   r~   rý   rŠ   r‹   r?   rç   Úabsr‡   )ÚrowÚ	raw_cacher6   r  rR   Ú	att_storyÚotherr\   r  ÚbpÚgotÚrefÚerrs                r7   Ú_check_broderick_alignmentr  å   sm  € à
�(‰(€CÜ�s—{‘{Ó#¤S¨¯©£\ˆS€GØ/6¸"ª}Ñ+ÐBVÑ€IˆuÜ
�(‰(”N 9¨c°9Ó=¼~ÈeÐUXÐZcÓ?dÐeÐghÓ
i€CÜ
ˆc�g‰g‹,€CÜ	”U˜C aÔ	(©¨1¨Ñ	-€BÜ
�r˜$˜3�xÓ
 ¤ c¬D¡jÐ
1×
8Ñ
8¼¿¹Ó
D€CÜ
�'‰'”"—'‘'—,‘,œx¨°*¸cÀF¹lÓKÓ
LÈUÑ
S€CØ
‡y�y�C—I‘IÒÜ˜c˜U .°·±°¸:ÀcÇiÁiÀ[ÐQÓRÐRÜ
”—‘”r—v‘v˜c C™iÓ(Ó)Ó
*€CÜ	Ð)¨#¨¨n¸SÀ¸IÐ
FÈdÕSØ
ˆT‚zÜÐRÐSVÐRWÐWXÐYÓZÐZØ€Jr9   c                 ó   ‡ ‡— ˆ ˆfd„}|S )Nc           	      ó(  •— ‰
j                   |    }t        |j                  «      t        |j                  «      }}|dk  rdnd\  }}t	        j
                  t        ||‰«      t        ||‰«      gd«      }t        |j                  «      }t	        j                  t        j                  j                  t        dd| dz   «      «      }t        |«      d d d…   d | t        |t        z
   j                  t        j                   «      }	|d	   |d
   |d   |	fS )Nr  r  r  r>   r   r  rï   rp   rª   rb   r«   )ÚlocrC   r  rR   r/   r[   r  r  r‚   r|   r}   r~   rý   r`   r  r¯   r”   )r6   r  r  rR   r  r  r\   r  rò   rd   Úindexr  s             €€r7   ré   z%_broderick_loader.<locals>.load_trialù   sñ   ø€ Ø�i‰i˜‰nˆÜ˜3Ÿ;™;Ó'¬¨S¯W©W«�ˆØ3:¸b²=Ñ/ÐFZÑˆ	�5Ü�h‰hÜ˜9 c¨9Ó5Ü˜5 # yÓ1ð
ð óˆô �#—'‘'‹lˆÜ�G‰G”B—G‘G—L‘L¤¨7°JÀÀfÁÓMÓNˆÜ˜sÓ#¡C a CÑ(¨¨#Ð.¬t°C¼$±JÐ?×FÑFÄrÇzÁzÓRˆØ�‰x˜˜5™ 1 U¡8¨SÐ0Ð0r9   rm   )r  r  ré   s   `` r7   Ú_broderick_loaderr  ø   s   ù€ õ1ð Ðr9   c                 ól  — t        j                  t        d¬«       | d u }|r
t        «       } i }t	        j
                  t         j                  j                  t        dd«      «      j                  d«      }t         j                  j                  t         j                  j                  t        d«      «      r"t         j                  j                  d«      dk(  rt        |j                  d	   |«       t        d
t!        |j"                  «      t%        ||«      | d¬«       t         j                  j                  t&        ddd«      }t)        d„ t        j*                  |«      D «       «      }t        d|t,        | d¬«       t.        j1                  «       D �ci c]  }|g “Œ }}t         j                  j                  t2        dd«      }t)        t        j*                  |«      «      D ]\  }	|	j5                  d«      sŒ|	j7                  d«      d   }
|
t.        vrt9        d|	› �«      ‚|t.        |
      j;                  |	d d «       Œ^ |j=                  «       D ]'  \  }}|st9        d|› �«      ‚t        ||t>        | «       Œ) |r3t@        jB                  dk(  rtD        jF                  jI                  «        y y y c c}w )NTr¹   r   ú	index.csvr6   zBRO.pklrÚ   rÛ   r   r   ©g      4@g       @rÜ   rõ   rî   c              3   óJ   K  — | ]  }|j                  d «      sŒ|dd –— Œ y­w©rï   Néüÿÿÿ©Úendswith©Ú.0Úfs     r7   Ú	<genexpr>zensure_train.<locals>.<genexpr>  ó$   è ø€ ÐPÑ&9 ¸Q¿Z¹ZÈÕ=O�a˜˜”fÑ&9ùó   ‚#™
#r   rï   Ú-r>   zunknown CND dataset id in r%  zno eaP_n5_t60 trials for Úcuda)%r|   r½   rË   r�   ÚpdÚread_csvr}   r~   rý   Ú	set_indexrâ   rã   rä   r  Úilocrì   Úlistr  r  r
   ÚsortedÚlistdirrö   ÚCND_IDrÓ   r   r'  Úsplitr‹   r†   Úitemsró   r   Útyper�   r/  Úempty_cache)rŒ   Úownr  r  Úfug_dirÚfug_keysÚdsÚby_dsÚcnd_dirÚfnÚdidrè   s               r7   Úensure_trainrD    s	  € Ü‡K�K” Õ%Ø
�$ˆ,€CÙ
Ü‹{ˆØ€IÜ�K‰KœŸ™Ÿ™¤X¨w¸ÓDÓE×OÑOÐPUÓV€EÜ�7‰7�>‰>œ"Ÿ'™'Ÿ,™,¤u¨iÓ8Ô9¼R¿Z¹Z¿^¹^ÐL\Ó=]ÐadÒ=dÜ" 5§:¡:¨a¡=°)Ô<Ü�5œ$˜uŸ{™{Ó+Ô->¸uÀiÓ-PÐRVÐ_jÕkÜ�g‰g�l‰lœ=¨.¸'À<ÓP€GÜÑP¤b§j¡j°Ô&9ÓPÓP€HÜ�5˜(¤J°¸[ÕIÜ$Ÿm™mœoÓ.™o˜ˆR�‰V˜o€EÐ.Ü�g‰g�l‰lœ8 W¨lÓ;€GÜ”R—Z‘Z Ó(Ö)ˆØ�{‰{˜6Ô"ØØ�h‰h�s‹m˜AÑˆØ”fÑÜÐ!;¸B¸4Ð@ÓAÐAØŒf�S‰kÑ×!Ñ! " S b 'Õ*ð *ð —K‘K–M‰ˆˆDÙÜÐ!:¸2¸$Ð?Ó@Ð@Ü�r˜4¤¨TÕ2ð "ñ Œs�x‰x˜6Ò!Ü�
‰
×ÑÕ ð "€sùò /s   Æ
J1c                  óX   — i i }} t         D ]  }t        |«      \  }}|| |<   |||<   Œ | |fS ©N)ÚTRAIN_DATASETSrÎ   )rÊ   r«   rÌ   rµ   r£   s        r7   Ú
load_trainrH  &  s@   € Ø�bˆC€FßˆÜ˜“‰ˆˆAØˆˆt‰ØˆˆDŠ	ð ð �3ˆ;Ðr9   c                  ó  — i i }} t         D �]Ý  }g }t        d«      D ]n  }t        j                  j	                  t
        ddd|› t        › d|› d�«      }t        |d«      5 }|j                  t        j                  |«      «       d d d «       Œp i i c| |<   ||<   |d   D �](  }|D �cg c]0  }||   d	   ||   d
   z
  j                  t        j                  «      ‘Œ2 }	}t        j                  |	d«      }
|d   |   }t        |
«      t        |d   «      k7  st        |
«      t        |d   «      k7  rt!        |› d|› d�«      ‚|
| |   |<   t#        t        j$                  |d   «      t        j$                  |d   t        j&                  «      t        j$                  |d   «      t)        |d   «      t)        |d   «      ¬«      ||   |<   �Œ+ t+        d|› dt        | |   «      › d�d¬«       �Œà | |fS # 1 sw Y   �ŒÞxY wc c}w )Nrp   ÚresultsÚresearchÚext_clf_Ú_evidence_srÈ   rÉ   r   Úr0Úr1r>   Út_endr«   rÞ   z&: logit length does not match evidenceÚatt128Ún128r  )r«   rP  rQ  rR  r  z  test rÑ   z trialsTry   )ÚTEST_DATASETSr{   r|   r}   r~   r   ÚEXT_TAGr¿   r†   rÀ   r‚   r¯   r/   r”   r[   r“   r‹   r¬   r•   r  rC   r‡   )rÊ   Úmetar?  Úevsr�   r}   rÅ   r6   Úevr´   r   Úe0s               r7   Ú	load_testrY  /  sè  € Ø�rˆD€FßˆmˆØˆÜ�q–ˆAÜ—7‘7—<‘<¤¨)°ZÀ8ÈBÈ4ÔPWÈyÐXcÐdeÐcfÐfjÐAkÓlˆDÜ�d˜DÔ! RØ—
‘
œ6Ÿ;™; r›?Ô+÷ "Ð!ð ð  " 2Ðˆˆr‰
�D˜‘HØ�q•6ˆCÙQTÓUÑQTÈ2�R˜‘W˜T‘] R¨¡W¨T¡]Ñ2×:Ñ:¼2¿:¹:ÕFÐQTˆDÐUÜ—‘˜˜qÓ!ˆAØ�Q‘˜‘ˆBÜ�1‹vœ˜R ™[Ó)Ò)¬S°«V´s¸2¸e¹9³~Ò-EÜ" b T¨¨3¨%Ð/UÐ#VÓWÐWØˆF�2‰J�s‰OÜ Ü—J‘J˜r %™yÓ)Ü—j‘j  G¡¬b¯j©jÓ9Ü—z‘z " X¡,Ó/Ü˜˜F™“_Ü˜B˜y™MÓ*ôˆD�‰H�S‹Mð ô 	�˜�t˜2œc &¨¡*›oÐ.¨gÐ6¸d×Cð+ ð, �4ˆ<Ð÷% "Ñ!üò Vs   Á%G0Â%5G=Ç0G:c                 ó˜  — t        «       }t        j                  t        j                  j                  t        dd«      «      j                  d«      }i }t        |j                  d   |«       t        ||«      }d|j                  d   |fg}t        j                  j                  t        ddd«      }t        d„ t        j                  |«      D «       «      }|d	| D ]  }	|j                  d
|	t         f«       Œ t        j                  j                  t"        dd«      }
t        d„ t        j                  |
«      D «       «      }|d	|  D ]  }	|j                  d|	t$        f«       Œ ddddœ}i }|D ]Ø  \  }}	} ||	«      \  }}}}t'        j&                  «       }t)        ||	||||||   ¬«      \  }}|j+                  |i i dœ«       |||   d   |	<   |||   d   |	<   t-        d|› d|	› dt/        |j0                  «      › d|j0                  › dt3        |dk(  j5                  «       «      d›dt'        j&                  «       |z
  d›d�d¬«       ŒÚ |S )zITime a handful of front-end passes and check the Broderick envelope grid.r   r!  r6   r   r   rõ   rî   c              3   óJ   K  — | ]  }|j                  d «      sŒ|dd –— Œ y­wr$  r&  r(  s     r7   r+  zprobe.<locals>.<genexpr>S  r,  r-  Nr   c              3   óJ   K  — | ]  }|j                  d «      sŒ|dd –— Œ y­w)zdataset-001-Nr%  )Ú
startswithr(  s     r7   r+  zprobe.<locals>.<genexpr>W  s$   è ø€ ÐZÑ&9 ¸Q¿\¹\È.Õ=Y�a˜˜”fÑ&9ùr-  r   r"  r¨   )r   r   r   rÜ   rß   rÊ   r«   zprobe rx   z: eeg z logits z
 P(att=0) rÒ   rà   z.1frá   Try   )r�   r0  r1  r|   r}   r~   rý   r2  r  r3  r  r  r
   r5  r6  r†   rö   r   ró   rå   r·   Ú
setdefaultr‡   rˆ   rŠ   r?   rÕ   )Ún_cndÚn_fugrŒ   r  r  Úload_broÚjobsr=  r>  r6   rA  Úcnd_keysr±   ÚbuiltrÌ   Úloaderrª   rb   r«   rd   rê   r   r¶   s                          r7   Úproberf  J  s$  € ä‹;€DÜ�K‰KœŸ™Ÿ™¤X¨w¸ÓDÓE×OÑOÐPUÓV€EØ€IÜ˜uŸz™z¨!™}¨iÔ8Ü  ¨	Ó2€HØ�E—K‘K ‘N HÐ-Ð.€DÜ�g‰g�l‰lœ=¨.¸'À<ÓP€GÜÑP¤b§j¡j°Ô&9ÓPÓP€HØ˜˜ÓˆØ�‰�U˜C¤Ð,Õ-ð  ä�g‰g�l‰lœ8 W¨lÓ;€GÜÑZ¤b§j¡j°Ô&9ÓZÓZ€HØ˜˜ÓˆØ�‰�V˜S¤*Ð-Õ.ð  à ¨¸lÑK€FØ€EÛ!Ñˆˆc�6Ù# C›[ÑˆˆS�#�sÜ�Y‰Y‹[ˆÜ  c¨3°°S¸#ÀfÈTÁlÔS‰ˆˆ5Ø×Ñ˜¨"°RÑ8Ô9Ø%&ˆˆd‰�HÑ˜cÑ"Ø"'ˆˆd‰�EÑ˜3ÑÜ��t�f˜A˜c˜U &¬¨s¯y©yÓ)9Ð(:¸(À1Ç7Á7À)ð LÜ ¨!¡× 1Ñ 1Ó 3Ó4°SÐ9¸¼D¿I¹I»KÈ"Ñ<LÈSÐ;QÐQSðUØ\`ö	bð "ð €Lr9   )r¨   rF  )r>   r>   )KÚ__doc__r|   rÀ   rå   r3   rœ   r/   Úpandasr0  Úscipy.ioÚiorþ   r�   Úscipy.signalr   r   r   r   Úcommonr   Ú
common_expr   r	   r
   r   Údecodersr   r   r   r   Ú	e1_switchr   Úprepare_datar   Údirect_classifierrg   r}   r~   rË   r7  rG  rS  rT  r  rZ   ÚexprW   rO   rý   rC   rã   rä   r˜   r8   rL   rS   r`   rn   r�   Úinference_moder§   r·   rÆ   rÎ   rØ   rì   ró   rö   r  r  r  rD  rH  rY  rf  rm   r9   r7   Ú<module>rt     sg  ðñó2 
Û Û Û ã Û Ý Û ß >Ó >å ß 7Ó 7ß 6Ó 6Ý 'Ý %Û à
�‰�‰�S˜' :Ó.€Ø ¨e¸EÈ&Ñ	Q€ØD€Ø%€Ø
€Ø	€Ùˆq�3˜�*˜j¨S¸Ô?€Øˆ2�6‰6Ð&Ó'€Ø	ˆ�‰Ð#Ó	$€Ø�7‰7�<‰<˜ Ó7€ÙˆB�J‰J�N‰N˜=¨%Ó0Ó1€òTó	ò.ò
8òòð& €×ÑÓñó ðó,ò(ò'ò]óCò*2ò2ò
òò&ó !ò<òô6r9   