Ë
    qèj«   ã                   ór  — d Z ddlZddlZddlZddlZddlZddlZddlm	c m
Z ddlmZmZ ddlmZmZ ej$                  j'                  edd«      ZdZd\  ZZed	   Zd
„ Zd„ Zd„ Z ej8                  «       dd„«       Zdd„Zd„ Z ej8                  «       d d„«       Z d„ Z!e"dk(  r“ejF                  d   Z$ e«       Z%e$dk(  r e«        e«       cZ&Z' e!e%d„ e$e«       ye$dk(  r e«        e«       cZ&Z' e!e%d„ e$d«       ye$dk(  r e«       Z& e!e%d„ e$d«       ye$dk(  r e«        e«       cZ&Z( e!e%d„ e$d«       yyy)!aÂ  Fixed foundation-model embeddings for D1: every 0.25 s, the 1-s EEG patch that ends there, alone (no later or earlier patch), through the frozen encoder.
Patch k ends at trial time t0 + (k + 1) / 4 s (32-Hz sample 8k + 7 of the cached trial). Input: cache/fm_input (64 Hz, 0.5-20 Hz, running RMS = 1) -> 200 Hz by linear
interpolation inside the patch -> x 0.15 (the model expects uV / 100; EEG sd about 15 uV). Output per step: encoder tokens averaged over the left, midline and right
electrodes (600 values), then a PCA to 32 values fitted on Fuglsang2020 only, which is no LODO test set and no real-switch set.
usage: python fm_embed.py cbramod -> cache/fm_cbramod/<key>.npy (n_hop, 32) float32, pca.npzé    N)ÚEXPÚrows_of)ÚDS_KEYSÚMONTAGESz..Úexternal_dataÚcuda)g333333Ã?é    Ú	b64ustc58c            	      ó@  — dd l } t        D �cg c]I  } | j                  d|«      rdn1t         | j                  d|«      j	                  d«      «      dz  rdnd‘ŒK }}dD �cg c]-  }t        j                  t        j                  |«      |k(  «      ‘Œ/ c}S c c}w c c}w )Nr   zZ$z(\d+)$é   é   )r   r   r   )ÚreÚMONTÚsearchÚintÚgroupÚnpÚflatnonzeroÚarray)r   ÚcÚsideÚgs       ú]/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/fm_embed.pyÚgroupsr      s�   € ÛÝkoÓpÑkoÐfg��—‘˜5 !Ô$‰A´°I°B·I±I¸iÈÓ4K×4QÑ4QÐRSÓ4TÓ0UÐXYÒ0Y©1Ð_`ÑaÐko€DÐpÙ9BÓC¹°AŒB�N‰Nœ2Ÿ8™8 D›>¨QÑ.Õ/¸ÑCÐCùò qùÚCs   �ABÁ!2Bc                  óì  — g } t         D ]`  }| t        |«      j                  «       D ��cg c]6  \  }}|d   t        j                  j                  t        dd|d   dz   «      f‘Œ8 c}}z  } Œb dD ]x  }| t        t        j                  t        j                  j                  t        |ddd«      «      «      D �cg c]&  }t        j                  j                  |«      d d |f‘Œ( c}z  } Œz | S c c}}w c c}w )NÚkeyÚcacheÚ
eaP_n5_t60z.npz)ÚFuglsang2020ÚAASDÚ	Carta2026z*.npzéüÿÿÿ)r   r   ÚiterrowsÚosÚpathÚjoinr   ÚsortedÚglobÚXTÚbasename)ÚoutÚdsÚ_ÚrÚnmÚfs         r   Útrialsr1      sÞ   € Ø
€CßˆØÔdkÐlnÓdo×dxÑdxÔdzÔ{ÑdzÑ\`Ð\]Ð_`��5‘œ2Ÿ7™7Ÿ<™<¬¨W°lÀAÀeÁHÈvÑDUÓVÒWÐdzÒ{Ñ{‰ð ã3ˆØ´v¼d¿i¹iÌÏÉÏÉÔUWÐY[Ð]dÐfrÐt{ÓH|Ó>}Ô7~ÓÑ7~°!”—‘×!Ñ! !Ó$ S bÐ)¨1Ò-Ð7~ÑÑ‰ð 4à€Jùó |ùâs   ©;C+
Â7+C1c            
      ó>  — ddl m}   | «       }|j                  t        j                  t
        j                  j                  t        ddd«      dd¬«      «       t        j                  j                  «       |_        |j                  t        «      j                  «       S )	Nr   )ÚCBraModÚfoundation_modelsÚcbramodzpretrained_weights.pthÚcpuT©Úmap_locationÚweights_only)Úfm_models.cbramodr3   Úload_state_dictÚtorchÚloadr$   r%   r&   r)   ÚnnÚIdentityÚproj_outÚtoÚDEVÚeval)r3   Úms     r   ÚmodelrE   '   sq   € Ý)Ù‹	€AØ×Ñ”e—j‘j¤§¡§¡¬bÐ2EÀyÐRjÓ!kÐzð  OSô  Tô  UÜ—‘×"Ñ"Ó$€A„JØ�4‰4”‹9�>‰>ÓÐó    c                 ó  — t        j                  |«      }t        |d   «      t        |d   «      }}t        j                  t        j
                  j                  t        dd|dz   «      «      j                  t         j                  «      }	t        j                  |t        j                  |dz  «      dz   dz  z   d	z  «      j                  t        «      }
t        j                  |
t        |	«      «      }
t        j                  t        |
«      |ft         j                  «      }t        d
t        |
«      |«      D �]8  }t        j                   |
|||z    D �cg c]9  }|d	k\  r|	t#        |d	z
  d
«      | nt        j$                  |	d | d	|z
  d
fdf«      ‘Œ; c}«      }t'        j(                  |«      j+                  t,        «      j/                  d
dd«      t0        z  }t3        j4                  |ddd¬«      d d …d d …d d d …f   } | |«      d d …d d …d
d d …f   }t'        j6                  |D �cg c]  }|d d …|f   j9                  d«      ‘Œ c}d«      j;                  «       j=                  «       ||||z    �Œ; |S c c}w c c}w )NÚeegÚt0r   Úfm_inputú.npyé   r   é   é@   r   ©r   r   r   éÈ   ÚlinearT©ÚsizeÚmodeÚalign_corners)r   r=   ÚlenÚfloatr$   r%   r&   r   ÚastypeÚfloat32ÚroundÚaranger   ÚminimumÚemptyÚrangeÚstackÚmaxÚpadr<   Ú
from_numpyrA   rB   ÚpermuteÚSCALEÚFÚinterpolateÚcatÚmeanr6   Únumpy)Únetr   Úc32ÚGÚbsÚwidthÚzÚn32rI   ÚxÚendsr+   ÚiÚeÚPÚtokr   s                    r   Úembedrw   /   s  € ä
�‰�‹€AÜ�!�E‘(‹mœU 1 T¡7›^ˆ€CÜ
�‰”—‘—‘œS '¨:°s¸V±|ÓDÓE×LÑLÌRÏZÉZÓX€AÜ�8‰8�Rœ2Ÿ9™9 S¨A¡XÓ.°Ñ2°aÑ7Ñ7¸2Ñ=Ó>×EÑEÄcÓJ€DÜ�:‰:�dœC ›FÓ#€DÜ
�(‰(”C˜“I˜uÐ%¤r§z¡zÓ
2€CÜ�1”c˜$“i ×$ˆÜ�H‰HÐhlÐmnÐopÐsuÑouÑhvÓwÑhvÐcd¨Q°"ªW�aœ˜A ™F A› qÑ)¼"¿&¹&ÀÀ2ÀAÀÈ"ÈqÉ&ÐRSÈÐV\ÐH]Ó:^Ñ^ÐhvÑwÓxˆÜ×Ñ˜QÓ×"Ñ"¤3Ó'×/Ñ/°°1°aÓ8¼5Ñ@ˆÜ�M‰M˜! #¨HÀDÔIÊ!ÊQÐPTÒVWÈ-ÑXˆÙ�!‹f’Qš˜1ša�ZÑ ˆÜŸ	™	¹aÓ"@¹a¸ 3¢q¨! t¡9§>¡>°!Õ#4¸aÑ"@À!ÓD×HÑHÓJ×PÑPÓRˆˆAˆa�"‰fŠð %ð €Jùò xùò #As   Å>I7
È)I<
c                 óì  — ddl }ddl}t        j                  j	                  t
        dd«      }t        j                  j                  t        j                  j	                  |dd«      «       |j                  d«      |j                  d«      |j                  d	«      }}}d
„ |_	        ||_
        d„ |_        |j                  d«      |j                  d«      }}d„ |_        ||_        t        j                  j                  |||||dœ«       ddlm}	  |	di |j%                  t'        t        j                  j	                  || › d�«      «      «      ¤Ž}
|
j)                  t+        j$                  t        j                  j	                  || › d�«      dd¬«      d¬«      }t-        dt/        |j0                  «      dt/        |j2                  «      d¬«       |
j5                  t6        «      j9                  «       S )z»Official code, with stubs for what is unused in inference: deepspeed.comm (distributed training), einx.get_at (plain indexing here),
    vector_quantize_pytorch.rotate_to (training only).r   Nr4   Ú	brainomniÚcodezBrainOmni-mainÚ	deepspeedúdeepspeed.commÚeinxc                   ó   — y)NF© r   rF   r   Ú<lambda>z!brainomni_model.<locals>.<lambda>H   s   €  rF   c                 ó   — ||   S ©Nr   )ÚpatternÚtableÚidxs      r   r€   z!brainomni_model.<locals>.<lambda>J   s   € ¨E°#ªJrF   Úvector_quantize_pytorchú/vector_quantize_pytorch.vector_quantize_pytorchc                 ó   — |S r‚   r   )ÚsrcÚtgts     r   r€   z!brainomni_model.<locals>.<lambda>L   s   € ¡SrF   )r{   r|   r}   r†   r‡   )Ú	BrainOmniz_model_cfg.jsonz_BrainOmni.ptr6   Tr7   F)ÚstrictzBrainOmni loaded; missingÚ
unexpected©Úflushr   )ÚjsonÚtypesr$   r%   r&   r)   ÚsysÚappendÚ
ModuleTypeÚis_initializedÚcommÚget_atÚ	rotate_tor†   ÚmodulesÚupdateÚbrainomni.modelr‹   r=   Úopenr;   r<   ÚprintrV   Úmissing_keysÚunexpected_keysrA   rB   rC   )Únamer�   r‘   Úrootr,   ÚcmÚexÚvqÚvq2r‹   rD   Úmisss               r   Úbrainomni_modelr§   @   s—  € ó ÛÜ�7‰7�<‰<œÐ/°Ó=€DÜ‡H�H‡O�O”B—G‘G—L‘L  vÐ/?Ó@ÔAØ×!Ñ! +Ó.°×0@Ñ0@ÐAQÓ0RÐTY×TdÑTdÐekÓTlˆBˆ€BÙ%€BÔØ€B„GÙ6€B„IØ×ÑÐ8Ó9¸5×;KÑ;KÐL}Ó;~ˆ€BÙ(€C„MØ!$€BÔÜ‡K�K×Ñ R¸2ÀrÐfhð  ^añ  bô  cÝ)ÙÑR�D—I‘Iœd¤2§7¡7§<¡<°¸¸¸oÐ6NÓ#OÓPÓQÑR€AØ×ÑœUŸZ™Z¬¯©¯©°T¸d¸VÀ=Ð;QÓ(RÐafÐuyÔzð  DIÐó  J€DÜ	Ð
%¤s¨4×+<Ñ+<Ó'=¸|ÌSÐQU×QeÑQeÓMfÐnrÕsØ�4‰4”‹9�>‰>ÓÐrF   c            
      óð  — t        t        j                  j                  t        ddd«      «      j                  «       j                  d«      } | j                  d«      | j                  d«      }}| |dz   | D ��cg c]Q  }|j                  «       sŒt        j                  d|j                  «       «      d	d
 D �cg c]  }t        |«      ‘Œ c}‘ŒS }}}| |dz   d
 D �cg c]1  }|j                  «       sŒ|j                  «       j                  «       ‘Œ3 }}t        t        ||«      «      }t        j                  t         D �cg c]  }||   ‘Œ	 c}t        j"                  «      S c c}w c c}}w c c}w c c}w )z^(58, 3) from MNE's standard_1005.elc (BSD), centred and scaled as factory.utils.normalize_pos.r4   ry   zstandard_1005.elcÚ
Ú	PositionsÚLabelsr   z[:\s]+éýÿÿÿN)rœ   r$   r%   r&   r)   ÚreadÚsplitÚindexÚstripr   rW   ÚupperÚdictÚzipr   r   r   rY   )	Útrs   ÚjÚlnÚvÚxyzÚlabÚdr   s	            r   Úelectrode_posr»   V   s(  € äŒR�W‰W�\‰\œ"Ð1°;Ð@SÓTÓU×ZÑZÓ\×bÑbÐcgÓh€AØ�7‰7�;Ó §¡¨Ó!2€q€AØNOÐPQÐTUÑPUÐVWÉjÔ
gÉjÈÐ\^×\dÑ\dÕ\fœbŸh™h y°"·(±(³*Ó=¸b¸cÑBÓCÑB˜ŒE�!�HÐBÓCÈj€CÑ
gØ()¨!¨a©%¨&©	Ó
@©	 "°R·X±XµZˆ2�8‰8‹:×ÑÕ¨	€CÐ
@ÜŒS��c‹]Ó€AÜ�8‰8¥4Ó(¡4˜a�Q�q“T 4Ñ(¬"¯*©*Ó5Ð5ùò DùÓ
gùÚ
@ùâ(s0   Á:E(Â)E(Â9E#ÃE(ÃE.Ã3 E.ÅE3Å#E(c                 ó–  — t        j                  |«      }t        |d   «      t        |d   «      }}t        j                  t        j
                  j                  t        dd|dz   «      «      j                  t         j                  «      }|j                  d«      dkD  }	|dz  }
t        j                  t        j                  |t        j                  d|
dz   d«      d	z   d
z  z   dz  «      j                  t        «      t        |«      «      }||	   ||	   j                  dd¬«      z
  }|t        j                   d|dz  j#                  d	«      j                  «       z  «      z  }t%        j&                  t         j(                  |t        j*                  t        |«      dft         j                  «      f   «      j-                  t.        «      }g }t1        dt        |«      |«      D �]Æ  }t        j2                  ||||z    D �cg c]@  }t        j4                  |t7        |dz
  d«      | dd…|	f   dt9        |d«      z
  dfdf«      ‘ŒB c}«      }t%        j&                  |«      j-                  t.        «      j;                  ddd	«      }||j                  d	d¬«      z
  }||j                  dd¬«      dz   z  }t=        j>                  |ddd¬«      }| jA                  ||d   jC                  t        |«      dd«      t%        j*                  |jD                  dd t$        jF                  t.        ¬«      «      }|jI                  |j;                  ddd	d«      jK                  t        |«      dz  d«      jM                  «       jO                  «       j                  t         j                  «      «       �ŒÉ t        jP                  |«      d|
 S c c}w )a  SCREENING ONLY, not causal inside the patch: consecutive 2-s patches, 256 Hz, reference and scale inside the patch, all 8 tokens (0.25 s each) of the 16 neural
    sources, so a token may use up to 2 s of later EEG. An optimistic bound, 16 times cheaper than one patch per hop.rH   rI   r   rJ   rK   r   rL   é   r   rM   rN   T)Úkeepdimsé   r   é€   NrO   )Úkeepdim)r   r   gñhãˆµøä>i   rQ   rR   éÿÿÿÿ)ÚdtypeÚdevice))r   r=   rV   rW   r$   r%   r&   r   rX   rY   Ústdr\   rZ   r[   r   rh   ÚsqrtÚsumr<   rb   Úc_ÚzerosrA   rB   r^   r_   ra   r`   Úminrc   re   rf   ÚencodeÚexpandÚshapeÚlongr“   Úreshaper6   ri   Úconcatenate)rj   r   rk   ru   rm   ro   rp   rI   rq   ÚpresÚhopsrr   Úposr+   rs   rt   ÚQr0   s                     r   Úembed_borÕ   `   s  € ô 	�‰�‹€AÜ�!�E‘(‹mœU 1 T¡7›^ˆ€CÜ
�‰”—‘—‘œS '¨:°s¸V±|ÓDÓE×LÑLÌRÏZÉZÓX€AØ�5‰5�‹8�a‰<€DØ�!‰8€DÜ�:‰:”b—h‘h ¤b§i¡i°°4¸!±8¸QÓ&?À!Ñ&CÀqÑ%HÑ HÈBÑNÓO×VÑVÔWZÓ[Ô]`ÐabÓ]cÓd€DØ
ˆD‰'�A�d‘G—L‘L ¨T�LÓ2Ñ
2€CØ
”—‘˜˜S A™XŸN™N¨1Ó-×2Ñ2Ó4Ñ4Ó5Ñ
5€CÜ
×
Ñ
œ2Ÿ5™5 ¤b§h¡h´°C³¸!¨}¼b¿j¹jÓ&IÐ!IÑJÓ
K×
NÑ
NÌsÓ
S€CØ
€CÜ�1”c˜$“i ×$ˆÜ�H‰HÐgkÐlmÐnoÐrtÑntÑguÓvÑguÐbc”b—f‘f˜Qœs 1 s¡7¨A›¨qÐ1²!°T°'Ñ:¸cÄCÈÈ3ÃKÑ>OÐQRÐ=SÐU[Ð<\Õ]ÐguÑvÓwˆÜ×Ñ˜QÓ×"Ñ"¤3Ó'×/Ñ/°°1°aÓ8ˆØ�—‘�q $�Ó'Ñ'ˆØ�—‘�v t�Ó,¨tÑ3Ñ4ˆÜ�M‰M˜! #¨HÀDÔIˆØ�J‰J�q˜#˜d™)×*Ñ*¬3¨q«6°2°rÓ:¼E¿K¹KÈÏÉÐPRÐQRÈÔ[`×[eÑ[eÔnqÔ<rÓsˆØ�
‰
�1—9‘9˜Q  1 aÓ(×0Ñ0´°Q³¸!±¸RÓ@×DÑDÓF×LÑLÓN×UÑUÔVX×V`ÑV`ÓaÖbð %ô �>‰>˜#Ó˜u Ð%Ð%ùò ws   ÈAO
c                 ó   — t         j                  j                  t        dd|z   «      }t        j                  |d¬«       | D �cg c]  }|d   j                  d«      sŒ|‘Œ }}t        j                  |D ��cg c]  \  }} |||«      d d d…   ‘Œ c}}«      }	|	j                  d«      }
t        j                  |	|
z
  d d t        dt        |	«      d	z  «      …   j                  «      }t        j                  j                  |«      \  }}|d d …d d d
…f   d d …d |…f   t        j                  t        j                   |d d d
…   d | d«      «      z  }t#        |dt        |«      dt        |	«      dt%        t'        |d d d
…   d | j)                  «       |j)                  «       z  «      d«      d¬«       t+        | «      D ]‹  \  }\  }}t        j,                  t         j                  j                  ||dz   «       |||«      |
z
  |z  j/                  t        j0                  «      «       |dz  dk(  sŒst#        |dt        | «      |d¬«       Œ� t3        t         j                  j                  |d«      d«      j5                  d«       y c c}w c c}}w )Nr   Úfm_T)Úexist_okr   ÚFUG_rL   r   i@œ  rÂ   gê-�™—q=zPCA onztrials,zpatches; variance keptr¿   rŽ   rK   iô  Ú/ÚDONEÚwzok
)r$   r%   r&   r   ÚmakedirsÚ
startswithr   rÐ   rh   Úcovr`   rV   ÚTÚlinalgÚeighrÆ   Úmaximumr�   rZ   rW   rÇ   Ú	enumerateÚsaverX   rY   rœ   Úwrite)rà   Úfnr    ÚdimÚOUTr´   ÚfitÚkr0   ÚAÚmuÚCÚevÚUÚWrs   s                   r   Úsave_pcarò   y   s$  € Ü
�'‰'�,‰,”s˜G U¨T¡\Ó
2€CÜ‡K�K�˜dÕ#ÙÓ
3‘a�˜1˜Q™4Ÿ?™?¨6Õ2Š1�a€CÐ
3Ü
�‰±#Ô6±#©$¨!¨Q™˜1˜a›¡ 1 ›°#Ò6Ó7€AØ	
�‰�‹€BÜ
�‰��B‘Ñ2œ3˜q¤# a£&¨E¡/Ó2Ð2Ñ3×5Ñ5Ó6€AÜ�I‰I�N‰N˜1Ó�E€BˆØ	Š!‰TˆrˆTˆ'‰
’1�d�s�d�7ÑœbŸg™g¤b§j¡j°±D°b°D±¸$¸3°ÀÓ&GÓHÑH€AÜ	ˆ$�œ#˜c›( I¬s°1«vÐ7OÔQVÔW\Ð]_Ñ`dÐbdÐ`dÑ]eÐfjÐgjÐ]k×]oÑ]oÓ]qÐtv×tzÑtzÓt|Ñ]|ÓW}ð  @Aó  RBð  JNõ  OÜ˜q–\‰	ˆ‰6ˆAˆqÜ
�‰”—‘—‘˜S ! f¡*Ó-±°A°q³¸B±À!Ñ0C×/KÑ/KÌBÏJÉJÓ/WÔXØˆs‰7�a‹<Ü�!�Sœ#˜a›& !¨4Ö0ð "ô 	Œ�‰�‰�c˜6Ó	" CÓ(×.Ñ.¨vÕ6ùò 4ùÛ6s   ÁJÁJÁ8J

Ú__main__r   r5   c                 ó.   — t        t        | |t        «      S r‚   ©rw   rj   rl   ©rë   r0   s     r   r€   r€   �   ó   € ¤¤s¨A¨q´!Ô!4rF   Úcbramod_nopcac                 ó.   — t        t        | |t        «      S r‚   rõ   rö   s     r   r€   r€   ’   r÷   rF   rP   Ú
cbramod_chc                 óä   — t        t        | |t        d«      D �cg c]  }t        j                  |g«      ‘Œ c}d¬«      j                  ddd«      d d …d d …d d…f   j                  dd«      S c c}w )Né:   iP-  )rn   rÂ   rP   rL   iÐ  )rw   rj   r^   r   r   rÏ   )rë   r0   r   s      r   r€   r€   •   s�   € ¤¤s¨A¨qÌ%ÐPRÌ)Ó2TÉ)ÀQ´2·8±8¸Q¸Cµ=È)Ñ2TÐ\dÔ!e×!mÑ!mÐnpÐrtÐvyÓ!zÒ{|Ò~ð  BDð  CDð  BDð  |Dñ  "E÷  "Mñ  "Mð  NPð  RXô  "YùÒ2Ts   šA-ry   c                 ó.   — t        t        | |t        «      S r‚   )rÕ   rj   ru   rö   s     r   r€   r€   ˜   s   € ¤¬#¨q°!´QÔ!7rF   rN   )é   iX  )Útiny)rÀ   ))Ú__doc__r(   r$   r   r’   ri   r   r<   Útorch.nn.functionalr>   Ú
functionalre   Ú
common_expr   r   Úcommonr   r   r%   r&   r)   rB   rd   ÚDIMr   r   r1   rE   Úno_gradrw   r§   r»   rÕ   rò   Ú__name__Úargvr    rà   rj   rl   ru   r   rF   r   Ú<module>r	     sy  ðñ`ó
 Û 	Û 	Û 
ã Û ß Ð ç #ß $à‡W�W‡\�\�#�t˜_Ó-€Ø€Ø�
€€sØ�Ñ€òDòòð €‡�ƒòó ðó ò,6ð €‡�ƒò&ó ð&ò07ð" ˆzÒØ�8‰8�A‰;€DÙ‹€AØˆyÒÙ“™&›(ˆˆˆQÙ�Ñ4°d¸CÕ@Ø	�Ò	 Ù“™&›(ˆˆˆQÙ�Ñ4°d¸CÕ@Ø	�Ò	Ù‹gˆÙ�ñ  Yð  [_ð  adõ  	eØ	�Ò	Ù Ó"¡M£OˆˆˆQÙ�Ñ7¸¸rÕBð 
ð rF   