Ë
    ¸tèjÔT  ã                   óÊ  — d dl Z d dlmZ d dlZd dlmZ d dlmc mZ d„ Z	dd„Z
dd„Zd„ Zd dlmZ dd„Z G d	„ d
ej                   «      Z G d„ dej                   «      Z G d„ dej                   «      Z G d„ dej                   «      Z G d„ dej                   «      Z G d„ dej                   «      Z G d„ dej                   «      Zedd„«       Zedd„«       Zedd„«       Zy)é    N)Úpartialc                 ó.   — t        | t        «      r| S | | fS ©N)Ú
isinstanceÚtuple)Úxs    úk/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/decoder_lodo/fm_models/labram_model.pyÚ	to_2tupler
      s   € Ü˜1œeÔ$ˆ1Ð0¨1¨a¨&Ð0ó    c                 óD   — t         j                  j                  | |¬«      S )N©Ústd)ÚnnÚinitÚtrunc_normal_)Útr   s     r	   r   r      s   € Ü�7‰7× Ñ  ¨Ð Ó,Ð,r   c                 ó  — |dk(  s|s| S d|z
  }|t        j                  | j                  d   fd| j                  dz
  z  z   | j                  | j
                  ¬«      z   }| j                  |«      |j                  «       z  S )Nç        é   r   )r   )ÚdtypeÚdevice)ÚtorchÚrandÚshapeÚndimr   r   ÚdivÚfloor)r   ÚpÚtrainingÚkÚms        r	   Ú	drop_pathr"      sp   € ØˆC‚x‘xØˆØ	ˆA‰€AØ	ŒE�J‰J˜Ÿ™ ™
�} t¨q¯v©v¸©zÑ':Ñ:À!Ç'Á'ÐRS×RZÑRZÔ[Ñ[€AØ�5‰5�‹8�a—g‘g“iÑÐr   c                 ó   — | S r   © )Úfs    r	   Ú<lambda>r&   $   s   € ™1r   )Ú	rearrangec           	      ó   — | ddd dddddœ|¥S )Néè  )é   éà   r+   gÍÌÌÌÌÌì?Úbicubic)ç      à?r-   r-   )ÚurlÚnum_classesÚ
input_sizeÚ	pool_sizeÚcrop_pctÚinterpolationÚmeanr   r$   )r.   Úkwargss     r	   Ú_cfgr6   (   s*   € àØ¨=ÀtØ¨Ø¨ñ	ð
 ðð r   c                   ó6   ‡ — e Zd ZdZdˆ fd„	Zd„ Zdefd„Zˆ xZS )ÚDropPathz^Drop paths (Stochastic Depth) per sample  (when applied in main path of residual blocks).
    c                 ó8   •— t         t        | �  «        || _        y r   )Úsuperr8   Ú__init__Ú	drop_prob)Úselfr<   Ú	__class__s     €r	   r;   zDropPath.__init__5   s   ø€ ÜŒh˜Ñ&Ô(Ø"ˆ�r   c                 óD   — t        || j                  | j                  «      S r   )r"   r<   r   ©r=   r   s     r	   ÚforwardzDropPath.forward9   s   € Ü˜˜DŸN™N¨D¯M©MÓ:Ð:r   Úreturnc                 ó8   — dj                  | j                  «      S )Nzp={})Úformatr<   ©r=   s    r	   Ú
extra_reprzDropPath.extra_repr<   s   € Ø�}‰}˜TŸ^™^Ó,Ð,r   r   )	Ú__name__Ú
__module__Ú__qualname__Ú__doc__r;   rA   ÚstrrF   Ú__classcell__©r>   s   @r	   r8   r8   2   s   ø„ ñõ#ò;ð-˜C÷ -r   r8   c                   óB   ‡ — e Zd Zddej                  dfˆ fd„	Zd„ Zˆ xZS )ÚMlpNr   c                 óò   •— t         ‰| �  «        |xs |}|xs |}t        j                  ||«      | _         |«       | _        t        j                  ||«      | _        t        j                  |«      | _        y r   )	r:   r;   r   ÚLinearÚfc1ÚactÚfc2ÚDropoutÚdrop)r=   Úin_featuresÚhidden_featuresÚout_featuresÚ	act_layerrV   r>   s         €r	   r;   zMlp.__init__A   s_   ø€ Ü‰ÑÔØ#Ò2 {ˆØ)Ò8¨[ˆÜ—9‘9˜[¨/Ó:ˆŒÙ“;ˆŒÜ—9‘9˜_¨lÓ;ˆŒÜ—J‘J˜tÓ$ˆ�	r   c                 óŽ   — | j                  |«      }| j                  |«      }| j                  |«      }| j                  |«      }|S r   )rR   rS   rT   rV   r@   s     r	   rA   zMlp.forwardJ   s=   € Ø�H‰H�Q‹KˆØ�H‰H�Q‹Kˆð �H‰H�Q‹KˆØ�I‰I�a‹LˆØˆr   )rG   rH   rI   r   ÚGELUr;   rA   rL   rM   s   @r	   rO   rO   @   s   ø„ Ø48ÀtÐWY×W^ÑW^Ðegõ %ör   rO   c                   ó,   ‡ — e Zd Z	 	 dˆ fd„	Zdd„Zˆ xZS )Ú	Attentionc
                 ó   •— t         ‰| �  «        || _        ||z  }
|	�|	}
|
| j                  z  }|xs |
dz  | _        t	        j
                  ||dz  d¬«      | _        |r[t	        j                  t        j                  |«      «      | _
        t	        j                  t        j                  |«      «      | _        nd | _
        d | _        |� ||
«      | _         ||
«      | _        nd | _        d | _        |�rõ|| _        d|d   z  dz
  d|d   z  dz
  z  dz   | _        t	        j                  t        j                  | j                  |«      «      | _        t        j"                  |d   «      }t        j"                  |d   «      }t        j$                  t        j&                  ||g«      «      }t        j(                  |d«      }|d d …d d …d f   |d d …d d d …f   z
  }|j+                  ddd«      j-                  «       }|d d …d d …dfxx   |d   dz
  z  cc<   |d d …d d …dfxx   |d   dz
  z  cc<   |d d …d d …dfxx   d|d   z  dz
  z  cc<   t        j                  |d   |d   z  dz   fdz  |j.                  ¬«      }|j1                  d	«      |dd …dd …f<   | j                  dz
  |ddd …f<   | j                  dz
  |dd …df<   | j                  dz
  |d
<   | j3                  d|«       nd | _        d | _        d | _        t	        j6                  |«      | _        t	        j
                  ||«      | _        t	        j6                  |«      | _        y )Ng      à¿r*   F)Úbiasé   r   r   )Úsizer   éÿÿÿÿ)r   r   Úrelative_position_index)r:   r;   Ú	num_headsÚscaler   rQ   ÚqkvÚ	Parameterr   ÚzerosÚq_biasÚv_biasÚq_normÚk_normÚwindow_sizeÚnum_relative_distanceÚrelative_position_bias_tableÚarangeÚstackÚmeshgridÚflattenÚpermuteÚ
contiguousr   ÚsumÚregister_bufferrd   rU   Ú	attn_dropÚprojÚ	proj_drop)r=   Údimre   Úqkv_biasÚqk_normÚqk_scalery   r{   rn   Úattn_head_dimÚhead_dimÚall_head_dimÚcoords_hÚcoords_wÚcoordsÚcoords_flattenÚrelative_coordsrd   r>   s                     €r	   r;   zAttention.__init__U   s#  ø€ ô 	‰ÑÔØ"ˆŒØ˜)Ñ#ˆØÐ$Ø$ˆHØ $§.¡.Ñ0ˆØÒ1 ¨TÑ!1ˆŒ
ä—9‘9˜S ,°Ñ"2¸Ô?ˆŒÙÜŸ,™,¤u§{¡{°<Ó'@ÓAˆDŒKÜŸ,™,¤u§{¡{°<Ó'@ÓAˆD�KàˆDŒKØˆDŒKàÐÙ! (Ó+ˆDŒKÙ! (Ó+ˆD�KàˆDŒKØˆDŒKâØ*ˆDÔØ*+¨k¸!©nÑ*<¸qÑ*@ÀQÈÐUVÉÑEWÐZ[ÑE[Ñ)\Ð_`Ñ)`ˆDÔ&Ü02·±Ü—‘˜D×6Ñ6¸	ÓBó1DˆDÔ-ô
 —|‘| K°¡NÓ3ˆHÜ—|‘| K°¡NÓ3ˆHÜ—[‘[¤§¡°¸8Ð0DÓ!EÓFˆFÜ"Ÿ]™]¨6°1Ó5ˆNØ,ªQ²°4¨ZÑ8¸>Ê!ÈTÒSTÈ*Ñ;UÑUˆOØ-×5Ñ5°a¸¸AÓ>×IÑIÓKˆOØšAšq !˜GÓ$¨°A©¸Ñ(:Ñ:Ó$ØšAšq !˜GÓ$¨°A©¸Ñ(:Ñ:Ó$ØšAšq !˜GÓ$¨¨K¸©NÑ(:¸QÑ(>Ñ>Ó$ä—‘ +¨a¡.°;¸q±>Ñ"AÀAÑ"EÐ!HÈ1Ñ!LÐTc×TiÑTiÔjð $à.=×.AÑ.AÀ"Ó.EÐ# A¡B¨© FÑ+Ø-1×-GÑ-GÈ!Ñ-KÐ# A q¡r EÑ*Ø-1×-GÑ-GÈ!Ñ-KÐ# A¡B¨ EÑ*Ø,0×,FÑ,FÈÑ,JÐ# DÑ)à× Ñ Ð!:Ð<SÕTà#ˆDÔØ04ˆDÔ-Ø+/ˆDÔ(äŸ™ IÓ.ˆŒÜ—I‘I˜l¨CÓ0ˆŒ	ÜŸ™ IÓ.ˆ�r   c                 ó  — |j                   \  }}}d }| j                  �Kt        j                  | j                  t        j                  | j
                  d¬«      | j
                  f«      }t        j                  || j                  j                  |¬«      }	|	j                  ||d| j                  d«      j                  ddddd	«      }	|	d   |	d   |	d   }}}
| j                  � | j                  |
«      j                  |«      }
| j                  � | j                  |«      j                  |«      }|
| j                   z  }
|
|j#                  d
d«      z  }| j$                  �®| j$                  | j&                  j)                  d«         j)                  | j*                  d   | j*                  d   z  dz   | j*                  d   | j*                  d   z  dz   d«      }|j                  ddd«      j-                  «       }||j/                  d«      z   }|�||z   }|j1                  d¬«      }| j3                  |«      }|r|S ||z  j#                  dd«      j                  ||d«      }| j5                  |«      }| j7                  |«      }|r||	fS |S )NF©Úrequires_grad)ÚinputÚweightr`   r*   rc   ra   r   r   é   éþÿÿÿ©r|   )r   rj   r   ÚcatÚ
zeros_likerk   ÚFÚlinearrg   rŒ   Úreshapere   ru   rl   Útype_asrm   rf   Ú	transposerp   rd   Úviewrn   rv   Ú	unsqueezeÚsoftmaxry   rz   r{   )r=   r   Úrel_pos_biasÚreturn_attentionÚ
return_qkvÚBÚNÚCr}   rg   Úqr    ÚvÚattnÚrelative_position_biass                  r	   rA   zAttention.forward‘   sZ  € Ø—'‘'‰ˆˆ1ˆaØˆØ�;‰;Ð"Ü—y‘y $§+¡+¬u×/?Ñ/?ÀÇÁÐ[`Ô/aÐcg×cnÑcnÐ!oÓpˆHä�h‰h˜Q t§x¡x§¡¸XÔFˆØ�k‰k˜!˜Q  4§>¡>°2Ó6×>Ñ>¸qÀ!ÀQÈÈ1ÓMˆØ�a‘&˜#˜a™& # a¡&ˆaˆ1ˆØ�;‰;Ð"Ø—‘˜A“×&Ñ& qÓ)ˆAØ�;‰;Ð"Ø—‘˜A“×&Ñ& qÓ)ˆAà�—
‘
‰NˆØ�A—K‘K  BÓ'Ñ'ˆà×,Ñ,Ð8à×1Ñ1°$×2NÑ2N×2SÑ2SÐTVÓ2WÑX×]Ñ]Ø×$Ñ$ QÑ'¨$×*:Ñ*:¸1Ñ*=Ñ=ÀÑAØ×$Ñ$ QÑ'¨$×*:Ñ*:¸1Ñ*=Ñ=ÀÑAÀ2óGð #ð &<×%CÑ%CÀAÀqÈ!Ó%L×%WÑ%WÓ%YÐ"ØÐ0×:Ñ:¸1Ó=Ñ=ˆDàÐ#Ø˜,Ñ&ˆDà�|‰| ˆ|Ó#ˆØ�~‰~˜dÓ#ˆáØˆKà�A‰X× Ñ   AÓ&×.Ñ.¨q°!°RÓ8ˆà�I‰I�a‹LˆØ�N‰N˜1ÓˆáØ�c�6ˆMàˆr   )é   FNNr   r   NN©NFF)rG   rH   rI   r;   rA   rL   rM   s   @r	   r^   r^   T   s   ø„ à[]Ø:>õ:/÷x*r   r^   c                   óh   ‡ — e Zd Zddddddddej                  ej
                  ddfˆ fd„	Zdd„Zˆ xZS )ÚBlockç      @FNr   c                 ó  •— t         ‰| �  «         ||«      | _        t        |||||||||¬«	      | _        |	dkD  rt        |	«      nt        j                  «       | _         ||«      | _	        t        ||z  «      }t        ||||¬«      | _        |
dkD  ret        j                  |
t        j                  |«      z  d¬«      | _        t        j                  |
t        j                  |«      z  d¬«      | _        y d\  | _        | _        y )N)re   r}   r~   r   ry   r{   rn   r€   r   )rW   rX   rZ   rV   r   Tr‰   )NN)r:   r;   Únorm1r^   r¢   r8   r   ÚIdentityr"   Únorm2ÚintrO   Úmlprh   r   ÚonesÚgamma_1Úgamma_2)r=   r|   re   Ú	mlp_ratior}   r~   r   rV   ry   r"   Úinit_valuesrZ   Ú
norm_layerrn   r€   Úmlp_hidden_dimr>   s                   €r	   r;   zBlock.__init__À   sÞ   ø€ ô 	‰ÑÔÙ “_ˆŒ
ÜØ˜9¨xÀÐS[Ø¨4¸[ÐXeôgˆŒ	ð 1:¸B²œ )Ô,ÄBÇKÁKÃMˆŒÙ “_ˆŒ
Ü˜S 9™_Ó-ˆÜ 3¸ÐR[ÐbfÔgˆŒà˜Š?ÜŸ<™<¨´e·j±jÀ#Ó6GÑ(GÐVZÔ[ˆDŒLÜŸ<™<¨´e·j±jÀ#Ó6GÑ(GÐVZÔ[ˆD�Là)3Ñ&ˆDŒL˜$�,r   c           	      óP  — |r#| j                  | j                  |«      |d¬«      S |rŠ| j                  | j                  |«      ||¬«      \  }}|| j                  | j                  |z  «      z   }|| j                  | j                  | j                  | j                  |«      «      z  «      z   }||fS | j                  €h|| j                  | j                  | j                  |«      |¬«      «      z   }|| j                  | j                  | j                  |«      «      «      z   }|S || j                  | j                  | j                  | j                  |«      |¬«      z  «      z   }|| j                  | j                  | j                  | j                  |«      «      z  «      z   }|S )NT)rš   r›   )rš   rœ   ©rš   )r¢   rª   r"   r°   r±   r®   r¬   )r=   r   rš   r›   rœ   Úyrg   s          r	   rA   zBlock.forwardÔ   s\  € ÙØ—9‘9˜TŸZ™Z¨›]¸ÐX\�9Ó]Ð]ÙØ—Y‘Y˜tŸz™z¨!›}¸<ÐT^�YÓ_‰FˆAˆsØ�D—N‘N 4§<¡<°!Ñ#3Ó4Ñ4ˆAØ�D—N‘N 4§<¡<°$·(±(¸4¿:¹:Àa»=Ó2IÑ#IÓJÑJˆAØ�c�6ˆMà�<‰<ÐØ�D—N‘N 4§9¡9¨T¯Z©Z¸«]È 9Ó#VÓWÑWˆAØ�D—N‘N 4§8¡8¨D¯J©J°q«MÓ#:Ó;Ñ;ˆAð ˆð �D—N‘N 4§<¡<°$·)±)¸D¿J¹JÀq»MÐXd°)Ó2eÑ#eÓfÑfˆAØ�D—N‘N 4§<¡<°$·(±(¸4¿:¹:Àa»=Ó2IÑ#IÓJÑJˆAØˆr   r¥   )	rG   rH   rI   r   r\   Ú	LayerNormr;   rA   rL   rM   s   @r	   r§   r§   ¾   s3   ø„ à13¸eÈTÐ\`ÐgiÐuwØ¨4¸2¿7¹7ÈrÏ|É|Ø!°õ4÷(r   r§   c                   ó*   ‡ — e Zd ZdZdˆ fd„	Zd„ Zˆ xZS )Ú
PatchEmbedú EEG to Patch Embedding
    c                 ó¸   •— t         ‰| �  «        d||z  z  }d||z  f| _        || _        || _        || _        t        j                  ||d|fd|f¬«      | _        y )Né>   r   )Úkernel_sizeÚstride)	r:   r;   Úpatch_shapeÚEEG_sizeÚ
patch_sizeÚnum_patchesr   ÚConv2drz   )r=   rÂ   rÃ   Úin_chansÚ	embed_dimrÄ   r>   s         €r	   r;   zPatchEmbed.__init__é   sh   ø€ Ü‰ÑÔð ˜H¨
Ñ2Ñ3ˆØ˜x¨:Ñ5Ð6ˆÔØ ˆŒØ$ˆŒØ&ˆÔä—I‘I˜h¨	ÀÀ:¸ÐXYÐ[eÐWfÔgˆ�	r   c                 óˆ   — |j                   \  }}}}| j                  |«      j                  d«      j                  dd«      }|S )Nra   r   )r   rz   rt   r–   )r=   r   r5   r�   rŸ   ÚHÚWs          r	   rA   zPatchEmbed.forwardõ   s=   € Ø—W‘W‰
ˆˆ1ˆa�Ø�I‰I�a‹L× Ñ  Ó#×-Ñ-¨a°Ó3ˆØˆr   )iÐ  éÈ   r   rË   ©rG   rH   rI   rJ   r;   rA   rL   rM   s   @r	   r»   r»   æ   s   ø„ ñõ
hör   r»   c                   ó*   ‡ — e Zd ZdZdˆ fd„	Zd„ Zˆ xZS )ÚTemporalConvr¼   c                 ó  •— t         ‰| �  «        t        j                  ||ddd¬«      | _        t        j
                  «       | _        t        j                  d|«      | _        t        j                  ||dd¬«      | _	        t        j
                  «       | _
        t        j                  d|«      | _        t        j                  ||dd¬«      | _        t        j                  d|«      | _        t        j
                  «       | _        y	)
z
        in_chans: in_chans of nn.Conv2d()
        out_chans: out_chans of nn.Conv2d(), determing the output dimension
        )r   é   ©r   r¤   )r   é   )r¿   rÀ   Úpaddingr�   )r   r*   )r   r   )r¿   rÓ   N)r:   r;   r   rÅ   Úconv1r\   Úgelu1Ú	GroupNormrª   Úconv2Úgelu2r¬   Úconv3Únorm3Úgelu3)r=   rÆ   Ú	out_chansr>   s      €r	   r;   zTemporalConv.__init__þ   sµ   ø€ ô
 	‰ÑÔÜ—Y‘Y˜x¨ÀÐPVÐ`fÔgˆŒ
Ü—W‘W“YˆŒ
Ü—\‘\ ! YÓ/ˆŒ
Ü—Y‘Y˜y¨)ÀÐQWÔXˆŒ
Ü—W‘W“YˆŒ
Ü—\‘\ ! YÓ/ˆŒ
Ü—Y‘Y˜y¨)ÀÐQWÔXˆŒ
Ü—\‘\ ! YÓ/ˆŒ
Ü—W‘W“Yˆ�
r   c                 ó’  — t        |d«      }|j                  \  }}}|j                  d«      }| j                  | j	                  | j                  |«      «      «      }| j                  | j                  | j                  |«      «      «      }| j                  | j                  | j                  |«      «      «      }t        |d«      }|S )NzB N A T -> B (N A) Tr   zB C NA T -> B NA (T C))r'   r   r˜   rÕ   rª   rÔ   rØ   r¬   r×   rÛ   rÚ   rÙ   )r=   r   r5   r�   ÚNAÚTs         r	   rA   zTemporalConv.forward  sš   € Ü�aÐ/Ó0ˆØ—7‘7‰ˆˆ2ˆqØ�K‰K˜‹NˆØ�J‰J�t—z‘z $§*¡*¨Q£-Ó0Ó1ˆØ�J‰J�t—z‘z $§*¡*¨Q£-Ó0Ó1ˆØ�J‰J�t—z‘z $§*¡*¨Q£-Ó0Ó1ˆÜ�aÐ1Ó2ˆØˆr   rÑ   rÌ   rM   s   @r	   rÎ   rÎ   û   s   ø„ ñõö r   rÎ   c                   óØ   ‡ — e Zd Zdddddddddd	d
d
dddej                  d
dd	d	ddfˆ fd„	Zd„ Zd„ Zd„ Ze	j                  j                  d„ «       Zd„ Zdd„Zdd„Zdd„Zdd„Zdd„Zˆ xZS )ÚNeuralTransformeri@  rË   r   r¤   r)   é   é
   r¨   FNr   Tgü©ñÒMbP?c                 óº  •— t         ‰| �  «        || _        |x| _        | _        |dk(  rt        |¬«      nt        ||||¬«      | _        ||z  | _        || _	        t        j                  t        j                  dd|«      «      | _        |r2t        j                  t        j                  dd|«      d¬«      | _        nd | _        t        j                  t        j                  dd|«      d¬«      | _        t        j"                  |¬«      | _        d | _        t        j(                  d	||«      D �cg c]  }|j+                  «       ‘Œ }}|| _        t        j.                  t1        |«      D �cg c]  }t3        |||	|
||||||   ||d ¬
«      ‘Œ c}«      | _        |rt        j6                  «       n ||«      | _        |r ||«      nd | _        |d	kD  rt        j<                  ||«      nt        j6                  «       | _        | j                  �tA        | j                  d¬«       | j                   �tA        | j                   d¬«       tA        | j                  d¬«       tC        | j>                  t        j<                  «      r!tA        | j>                  jD                  d¬«       | jG                  | jH                  «       | jK                  «        tC        | j>                  t        j<                  «      r_| j>                  jD                  jL                  jO                  |«       | j>                  jP                  jL                  jO                  |«       y y c c}w c c}w )Nr   )rÜ   )rÂ   rÃ   rÆ   rÇ   é�   Tr‰   é   )r   r   )r|   re   r²   r}   r~   r   rV   ry   r"   r´   r³   rn   ç{®Gáz”?r   ))r:   r;   r/   Únum_featuresrÇ   rÎ   r»   Úpatch_embedÚtime_windowrÃ   r   rh   r   ri   Ú	cls_tokenÚ	pos_embedÚ
time_embedrU   Úpos_droprš   ÚlinspaceÚitemÚuse_rel_pos_biasÚ
ModuleListÚranger§   Úblocksr«   ÚnormÚfc_normrQ   Úheadr   r   rŒ   ÚapplyÚ_init_weightsÚfix_init_weightÚdataÚmul_r`   )r=   rÂ   rÃ   rÆ   rÜ   r/   rÇ   Údepthre   r²   r}   r~   r   Ú	drop_rateÚattn_drop_rateÚdrop_path_rater´   r³   Úuse_abs_pos_embrñ   Úuse_shared_rel_pos_biasÚuse_mean_poolingÚ
init_scaler5   r   ÚdprÚir>   s                              €r	   r;   zNeuralTransformer.__init__  s§  ø€ ô
 	‰ÑÔØ&ˆÔØ-6Ð6ˆÔ˜DœNð
 AIÈAÂœ<°)Õ<ÔS]Ðgoð  }Gð  RZð  foô  TpˆÔØ# zÑ1ˆÔØ$ˆŒäŸ™¤e§k¡k°!°Q¸	Ó&BÓCˆŒáÜŸ\™\¬%¯+©+°a¸À)Ó*LÐ\`ÔaˆD�Nà!ˆDŒNÜŸ,™,¤u§{¡{°1°b¸)Ó'DÐTXÔYˆŒÜŸ
™
 YÔ/ˆŒà ˆÔä!&§¡°°>À5Ô!IÓJÑ!I˜Aˆq�v‰v�xÐ!IˆÐJØ 0ˆÔÜ—m‘mô
 ˜5”\ó%#ñ
 "�ô	 Ø¨¸iÐRZÐdkÐv~Ø¨.ÀCÈÁFÐWaØ'°Tö;ð "ñ%#ó $ˆŒñ &6”B—K‘K”M¹:ÀiÓ;PˆŒ	Ù0@‘z )Ô,ÀdˆŒØ9DÀqº”B—I‘I˜i¨Ô5ÌbÏkÉkËmˆŒ	à�>‰>Ð%Ü˜$Ÿ.™.¨cÕ2Ø�?‰?Ð&Ü˜$Ÿ/™/¨sÕ3Ü�d—n‘n¨#Õ.ä�d—i‘i¤§¡Ô+Ü˜$Ÿ)™)×*Ñ*°Õ4Ø�
‰
�4×%Ñ%Ô&Ø×ÑÔä�d—i‘i¤§¡Ô+Ø�I‰I×Ñ×!Ñ!×&Ñ& zÔ2Ø�I‰I�N‰N×Ñ×$Ñ$ ZÕ0ð ,ùò/ Kùò%#s   Ä1MÅ-!Mc                 ó  — d„ }t        | j                  «      D ]m  \  }} ||j                  j                  j                  j
                  |dz   «        ||j                  j                  j                  j
                  |dz   «       Œo y )Nc                 óR   — | j                  t        j                  d|z  «      «       y )Ng       @)Údiv_ÚmathÚsqrt)ÚparamÚlayer_ids     r	   Úrescalez2NeuralTransformer.fix_init_weight.<locals>.rescaleQ  s   € Ø�J‰J”t—y‘y  x¡Ó0Õ1r   r   )Ú	enumeraterô   r¢   rz   rŒ   rû   r®   rT   )r=   r  r  Úlayers       r	   rú   z!NeuralTransformer.fix_init_weightP  sd   € ò	2ô  )¨¯©Ö5‰OˆH�eÙ�E—J‘J—O‘O×*Ñ*×/Ñ/°¸A±Ô>Ù�E—I‘I—M‘M×(Ñ(×-Ñ-¨x¸!©|Õ<ñ  6r   c                 óê  — t        |t        j                  «      rjt        |j                  d¬«       t        |t        j                  «      r8|j
                  �+t        j                  j                  |j
                  d«       y y y t        |t        j                  «      rUt        j                  j                  |j
                  d«       t        j                  j                  |j                  d«       y y )Nrç   r   r   ç      ð?)	r   r   rQ   r   rŒ   r`   r   Ú	constant_r¹   )r=   r!   s     r	   rù   zNeuralTransformer._init_weightsX  s˜   € Ü�aœŸ™Ô#Ü˜!Ÿ(™(¨Õ,Ü˜!œRŸY™YÔ'¨A¯F©FÐ,>Ü—‘×!Ñ! !§&¡&¨!Õ,ð -?Ð'ä˜œ2Ÿ<™<Ô(Ü�G‰G×Ñ˜aŸf™f aÔ(Ü�G‰G×Ñ˜aŸh™h¨Õ,ð )r   c                 ó,   — t        | j                  «      S r   )Úlenrô   rE   s    r	   Úget_num_layersz NeuralTransformer.get_num_layersa  s   € Ü�4—;‘;ÓÐr   c                 ó
   — h d£S )N>   rë   rì   rí   r$   rE   s    r	   Úno_weight_decayz!NeuralTransformer.no_weight_decayd  s   € â7Ð7r   c                 ó   — | j                   S r   )r÷   rE   s    r	   Úget_classifierz NeuralTransformer.get_classifierh  s   € Ø�y‰yÐr   c                 óš   — || _         |dkD  r&t        j                  | j                  |«      | _        y t        j                  «       | _        y )Nr   )r/   r   rQ   rÇ   r«   r÷   )r=   r/   Úglobal_pools      r	   Úreset_classifierz"NeuralTransformer.reset_classifierk  s6   € Ø&ˆÔØ>IÈAºo”B—I‘I˜dŸn™n¨kÓ:ˆ�	ÔSU×S^ÑS^ÓS`ˆ�	r   c                 ó�  — |j                   \  }}}}	|	| j                  k(  r|n|	}
| j                  |«      }| j                  j	                  |dd«      }t        j                  ||fd¬«      }|�| j                  d d …|f   n| j                  }| j                  �z|d d …dd …d d …f   j                  d«      j	                  |d|
d«      j                  dd«      }t        j                  |d d …dd…d d …f   j	                  |dd«      |fd¬«      }||z   }| j                  �r|	| j                  k(  r|n|}| j                  d d …d|
…d d …f   j                  d«      j	                  ||dd«      j                  dd«      }|d d …dd …d d …fxx   |z  cc<   | j                  |«      }| j                  D ]  } ||d ¬«      }Œ | j                  |«      }| j                  �T|r| j                  |«      S |d d …dd …d d …f   }	|r| j                  |	«      S | j                  |	j                  d«      «      S |r|S |r|d d …dd …f   S |d d …df   S )Nrc   r   r�   ra   r   r·   )r   rÃ   ré   rë   Úexpandr   r�   rì   r˜   rt   rí   rî   rô   rõ   rö   r4   )r=   r   Úinput_chansÚreturn_patch_tokensÚreturn_all_tokensr5   Ú
batch_sizeÚnÚar   Úinput_time_windowÚ
cls_tokensÚpos_embed_usedrì   Úncrí   Úblks                    r	   Úforward_featuresz"NeuralTransformer.forward_featureso  s:  € ØŸg™gÑˆ
�A�q˜!Ø!" d§o¡oÒ!5™A¸1ÐØ×Ñ˜QÓˆà—^‘^×*Ñ*¨:°r¸2Ó>ˆ
ä�I‰I�z 1�o¨1Ô-ˆà;FÐ;R˜Ÿ™ª¨;¨Ò7ÐX\×XfÑXfˆØ�>‰>Ð%Ø&¢q¨!©"ªa xÑ0×:Ñ:¸1Ó=×DÑDÀZÐQSÐUfÐhjÓk×sÑsÐtuÐwxÓyˆIÜŸ	™	 >²!°A°a°Cº°'Ñ#:×#AÑ#AÀ*ÈbÐRTÓ#UÐW`Ð"aÐghÔiˆIØ�I‘ˆAØ�?‰?Ð&Ø˜4Ÿ?™?Ò*‘°ˆBØŸ™ª¨AÐ.?Ð,?ÂÐ)BÑC×MÑMÈaÓP×WÑWÐXbÐdfÐhjÐlnÓo×wÑwÐxyÐ{|Ó}ˆJØŠa�‘’Qˆh‹K˜:Ñ%‹Kà�M‰M˜!Óˆà—;”;ˆCÙ�A DÔ)‰Að ð �I‰I�a‹LˆØ�<‰<Ð#Ù Ø—|‘| A“Ð&Ø’!�Q‘Rš�(‘ˆAÙ"Ø—|‘| A“Ð&à—|‘| A§F¡F¨1£IÓ.Ð.á Ø�Ù$Øš˜A™B˜‘x�àš˜A˜‘w�r   c                 óV   —  | j                   |f|||dœ|¤Ž}| j                  |«      }|S )zÁ
        x: [batch size, number of electrodes, number of patches, patch size]
        For example, for an EEG sample of 4 seconds with 64 electrodes, x will be [batch size, 64, 4, 200]
        )r   r!  r"  )r+  r÷   )r=   r   r   r!  r"  r5   s         r	   rA   zNeuralTransformer.forward˜  sJ   € ð
 "ˆD×!Ñ! !ð  V°ÐReð  zKñ  Vð  OUñ  VˆØ�I‰I�a‹LˆØˆr   c           	      ó(  — | j                  |«      }|j                  «       \  }}}| j                  j                  |dd«      }t	        j
                  ||fd¬«      }| j                  �˜| j                  d d …dd …d d …f   j                  d«      j                  |d| j                  d«      j                  dd«      }t	        j
                  | j                  d d …dd…d d …f   j                  |dd«      |fd¬«      }||z   }| j                  �S| j                  j                  d«      j                  |ddd«      j                  dd«      }	|d d …dd …d d …fxx   |	z  cc<   | j                  |«      }| j                  �| j                  «       nd }
t        |t        «      r‡g }t        | j                   «      D ]k  \  }} |||
¬«      }||v sŒ|r;| j#                  | j%                  |d d …dd …f   «      «      }|j'                  |«       ŒR|j'                  |d d …dd …f   «       Œm |S t        |t(        «      rPt        | j                   «      D ]-  \  }}||k  r |||
¬«      }Œ||k(  r|j+                  |«      }Œ- n |d d …dd …f   S t-        d|› d	�«      ‚)
Nrc   r   r�   ra   r   r¾   r·   zNot support for layer id is z now!)ré   rb   rë   r  r   r�   rì   r˜   rê   rt   rí   rî   rš   r   Úlistr  rô   rö   rõ   Úappendr­   rª   ÚNotImplementedError)r=   r   r  Únorm_outputr#  Úseq_lenÚ_r'  rì   rí   rš   Úoutput_listÚlr*  Úx_norms                  r	   Úforward_intermediatez&NeuralTransformer.forward_intermediate¡  sb  € Ø×Ñ˜QÓˆØ!"§¡£Ñˆ
�G˜Qà—^‘^×*Ñ*¨:°r¸2Ó>ˆ
Ü�I‰I�z 1�o¨1Ô-ˆØ�>‰>Ð%ØŸ™¢q¨!©"ªa xÑ0×:Ñ:¸1Ó=×DÑDÀZÐQSÐUY×UeÑUeÐgiÓj×rÑrÐstÐvwÓxˆIÜŸ	™	 4§>¡>²!°A°a°Cº°'Ñ#:×#AÑ#AÀ*ÈbÐRTÓ#UÐW`Ð"aÐghÔiˆIØ�I‘ˆAØ�?‰?Ð&ØŸ™×2Ñ2°1Ó5×<Ñ<¸ZÈÈRÐQSÓT×\Ñ\Ð]^Ð`aÓbˆJØŠa�‘’Qˆh‹K˜:Ñ%‹KØ�M‰M˜!Óˆà.2×.?Ñ.?Ð.K�t×(Ñ(Ô*ÐQUˆÜ�h¤Ô%ØˆKÜ# D§K¡KÖ0‘��3Ù˜¨Ô5�à˜’=Ù"Ø!%§¡¨d¯i©i¸º!¸Q¹R¸%¹Ó.AÓ!B˜Ø#×*Ñ*¨6Õ2à#×*Ñ*¨1ªQ°±¨U©8Õ4ð 1ð ÐÜ˜¤#Ô&Ü# D§K¡KÖ0‘��3Ø�x’<Ù˜A¨LÔ9‘AØ˜(’]ØŸ	™	 !›‘Aáð 1ð ’Q˜™�U‘8ˆOä%Ð(DÀXÀJÈeÐ&TÓUÐUr   c                 óÀ  — | j                  |«      }|j                  «       \  }}}| j                  j                  |dd«      }t	        j
                  ||fd¬«      }| j                  �˜| j                  d d …dd …d d …f   j                  d«      j                  |d| j                  d«      j                  dd«      }t	        j
                  | j                  d d …dd…d d …f   j                  |dd«      |fd¬«      }||z   }| j                  �S| j                  j                  d«      j                  |ddd«      j                  dd«      }|d d …dd …d d …fxx   |z  cc<   | j                  |«      }g }	| j                  �| j                  «       nd }
| j                  D ]?  } |||
«      }|r!|	j                  | j                  |«      «       Œ/|	j                  |«       ŒA |	S )Nrc   r   r�   ra   r   r¾   )ré   rb   rë   r  r   r�   rì   r˜   rê   rt   rí   rî   rš   rô   r/  rõ   )r=   r   Úuse_last_normr#  r2  r3  r'  rì   rí   Úfeaturesrš   r*  s               r	   Úget_intermediate_layersz)NeuralTransformer.get_intermediate_layersÉ  s¯  € Ø×Ñ˜QÓˆØ!"§¡£Ñˆ
�G˜Qà—^‘^×*Ñ*¨:°r¸2Ó>ˆ
Ü�I‰I�z 1�o¨1Ô-ˆØ�>‰>Ð%ØŸ™¢q¨!©"ªa xÑ0×:Ñ:¸1Ó=×DÑDÀZÐQSÐUY×UeÑUeÐgiÓj×rÑrÐstÐvwÓxˆIÜŸ	™	 4§>¡>²!°A°a°Cº°'Ñ#:×#AÑ#AÀ*ÈbÐRTÓ#UÐW`Ð"aÐghÔiˆIØ�I‘ˆAØ�?‰?Ð&ØŸ™×2Ñ2°1Ó5×<Ñ<¸ZÈÈRÐQSÓT×\Ñ\Ð]^Ð`aÓbˆJØŠa�‘’Qˆh‹K˜:Ñ%‹KØ�M‰M˜!ÓˆàˆØ.2×.?Ñ.?Ð.K�t×(Ñ(Ô*ÐQUˆØ—;”;ˆCÙ�A�|Ó$ˆAÙØ—‘ §	¡	¨!£Õ-à—‘ Õ"ð ð ˆr   ©Ú r¥   )râ   F©F)rG   rH   rI   r   r¹   r;   rú   rù   r  r   ÚjitÚignorer  r  r  r+  rA   r7  r;  rL   rM   s   @r	   rá   rá     s”   ø„ Ø $°¸qÈAÐ[_ÐknÐvxØ¨°eÀTÐTXÐdfÐwyØ "¨r¯|©|ÈØ!%¸ÐW\Ø"&°5õ	41òl=ò-ò ð ‡Y�Y×Ññ8ó ð8òóaó'óRó&V÷Pr   rá   c                 ó®   — t        ddddddt        t        j                  d¬«      t        t        j                  d¬«      dœ|¤Ž}t	        «       |_        |S )	NrË   râ   rã   r�   ç�íµ ÷Æ°>©Úeps)rÃ   rÇ   rý   re   r²   r~   r´   r$   ©rá   r   r   r¹   r6   Údefault_cfg©Ú
pretrainedr5   Úmodels      r	   Úlabram_base_patch200_200rJ  ä  sU   € äð >Ø #¨R¸2ÈÔT[Ô\^×\hÑ\hÐnrÔTsÜœ2Ÿ<™<¨TÔ2ñ>à6<ñ>€Eô ›€EÔØ€Lr   c                 ó°   — t        d	ddddddt        t        j                  d¬«      t        t        j                  d¬«      dœ|¤Ž}t	        «       |_        |S )
NrË   i�  é   ræ   r�   rB  rC  ©rÃ   rÇ   rý   re   r²   rÜ   r~   r´   r$   rE  rG  s      r	   Úlabram_large_patch200_200rN  ì  ó`   € äð >Ø #¨R¸2ÈÐVXÔbiÔjl×jvÑjvð  }Aô  cBÜœ2Ÿ<™<¨TÔ2ñ>à6<ñ>€Eô ›€EÔØ€Lr   c                 ó°   — t        d
ddddddt        t        j                  d¬«      t        t        j                  d¬«      d	œ|¤Ž}t	        «       |_        |S )NrË   i   é0   ræ   r�   é    rB  rC  rM  r$   rE  rG  s      r	   Úlabram_huge_patch200_200rS  ô  rO  r   )r  )r   Fr<  r>  )r
  Ú	functoolsr   r   Útorch.nnr   Útorch.nn.functionalÚ
functionalr’   r
   r   r"   Úregister_modelÚeinopsr'   r6   ÚModuler8   rO   r^   r§   r»   rÎ   rá   rJ  rN  rS  r$   r   r	   Ú<module>r[     sê   ðó Ý ã Ý ß Ð ò1ó-ó ñ €Ý óô-ˆr�y‰yô -ôˆ"�)‰)ô ô(g�—	‘	ô gôT%ˆB�I‰Iô %ôP�—‘ô ô*�2—9‘9ô ô<H˜Ÿ	™	ô HðV òó ðð òó ðð òó ñr   