Ë
    Ï—¬jQ  ã                   ó¸   — d dl Z d dlZd dlmZ d dlmc mZ d dlZ G d„ dej                  «      Z
 G d„ dej                  «      Z G d„ dej                  «      Zy)é    Nc            
       ó’   ‡ — e Zd Zdˆ fd„	Z	 d	dej
                  dej
                  dej
                  dej
                  dz  fd„Zˆ xZS )
ÚScaledDotProductAttentionc                 óš   •— t         ‰| �  «        || _        t        j                  |«      | _        t        j                  d¬«      | _        y )Né   )Údim)ÚsuperÚ__init__ÚtemperatureÚnnÚDropoutÚdropoutÚSoftmaxÚsoftmax)Úselfr
   Úattn_dropoutÚ	__class__s      €új/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/SuperHugeAAD/superhuge/model/ssmamba/SubLayers.pyr	   z"ScaledDotProductAttention.__init__
   s6   ø€ Ü‰ÑÔØ&ˆÔÜ—z‘z ,Ó/ˆŒÜ—z‘z aÔ(ˆ�ó    NÚqÚkÚvÚmaskc                 ó  — t        j                  ||d«      }|| j                  z  }|�!|j                  |t        j
                   «      }| j                  |«      }| j                  |«      }t        j                  ||d«      }||fS )Nzb i d, b j d -> b i jzb i j, b j d -> b i d)ÚeinopsÚeinsumr
   Úmasked_fillÚnpÚinfr   r   )r   r   r   r   r   ÚattnÚoutputs          r   Úforwardz!ScaledDotProductAttention.forward   s~   € ô �}‰}˜Q Ð#:Ó;ˆØ�d×&Ñ&Ñ&ˆàÐØ×#Ñ# D¬2¯6©6¨'Ó2ˆDà�|‰|˜DÓ!ˆØ�|‰|˜DÓ!ˆÜ—‘˜t QÐ(?Ó@ˆà�tˆ|Ðr   ©gš™™™™™¹?©N©Ú__name__Ú
__module__Ú__qualname__r	   ÚtorchÚTensorr!   Ú__classcell__©r   s   @r   r   r      sM   ø„ õ)ð %)ñà�<‰<ðð �<‰<ðð �<‰<ð	ð
 �l‰l˜TÑ!÷r   r   c            
       ó’   ‡ — e Zd Zdˆ fd„	Z	 d	dej
                  dej
                  dej
                  dej
                  dz  fd„Zˆ xZS )
ÚMultiHeadAttentionc           	      ó.  •— t         ‰| �  «        || _        || _        || _        t        j                  |||z  «      | _        t        j                  |||z  «      | _        t        j                  |||z  «      | _	        t
        j                  j                  | j                  j                  dt        j                  d||z   z  «      ¬«       t
        j                  j                  | j                  j                  dt        j                  d||z   z  «      ¬«       t
        j                  j                  | j                  j                  dt        j                  d||z   z  «      ¬«       t        t        j                   |d«      ¬«      | _        t        j$                  |«      | _        t        j                  ||z  |«      | _        t
        j                  j+                  | j(                  j                  «       t        j,                  |«      | _        y )Nr   g       @)ÚmeanÚstdg      à?)r
   )r   r	   Ún_headÚd_kÚd_vr   ÚLinearÚw_qsÚw_ksÚw_vsÚinitÚnormal_Úweightr   Úsqrtr   ÚpowerÚ	attentionÚ	LayerNormÚ
layer_normÚfcÚxavier_normal_r   r   )r   r1   Úd_modelr2   r3   r   r   s         €r   r	   zMultiHeadAttention.__init__(   sb  ø€ Ü‰ÑÔàˆŒØˆŒØˆŒä—I‘I˜g v°¡|Ó4ˆŒ	Ü—I‘I˜g v°¡|Ó4ˆŒ	Ü—I‘I˜g v°¡|Ó4ˆŒ	ä
�‰�‰˜Ÿ	™	×(Ñ(¨q´b·g±g¸cÀWÈsÁ]Ñ>SÓ6TˆÔUÜ
�‰�‰˜Ÿ	™	×(Ñ(¨q´b·g±g¸cÀWÈsÁ]Ñ>SÓ6TˆÔUÜ
�‰�‰˜Ÿ	™	×(Ñ(¨q´b·g±g¸cÀWÈsÁ]Ñ>SÓ6TˆÔUä2¼r¿x¹xÈÈSÓ?QÔRˆŒÜŸ,™, wÓ/ˆŒä—)‘)˜F S™L¨'Ó2ˆŒÜ
�‰×Ñ˜tŸw™wŸ~™~Ô.ä—z‘z 'Ó*ˆ�r   Nr   r   r   r   c                 ó@  — | j                   | j                  | j                  }}}|j                  «       \  }}	}
|j                  «       \  }}}
|j                  «       \  }}}
|}| j	                  |«      }| j	                  |«      }| j	                  |«      }| j                  |«      j                  ||	||«      }| j                  |«      j                  ||||«      }| j                  |«      j                  ||||«      }|j                  dddd«      j                  «       j                  d|	|«      }|j                  dddd«      j                  «       j                  d||«      }|j                  dddd«      j                  «       j                  d||«      }| j                  |||d ¬«      \  }}|j                  |||	|«      }|j                  dddd«      j                  «       j                  ||	d«      }| j                  | j                  |«      «      }||z   }||fS )Nr   r   é   é   éÿÿÿÿ)r   )r2   r3   r1   Úsizer?   r5   Úviewr6   r7   ÚpermuteÚ
contiguousr=   r   r@   )r   r   r   r   r   r2   r3   r1   Úsz_bÚlen_qÚ_Úlen_kÚlen_vÚresidualr    r   s                   r   r!   zMultiHeadAttention.forward?   sè  € ð  Ÿ8™8 T§X¡X¨t¯{©{�&ˆSˆàŸ™›‰ˆˆe�QØŸ™›‰ˆˆe�QØŸ™›‰ˆˆe�Qàˆð �O‰O˜AÓˆØ�O‰O˜AÓˆØ�O‰O˜AÓˆà�I‰I�a‹L×Ñ˜d E¨6°3Ó7ˆØ�I‰I�a‹L×Ñ˜d E¨6°3Ó7ˆØ�I‰I�a‹L×Ñ˜d E¨6°3Ó7ˆà�I‰I�a˜˜A˜qÓ!×,Ñ,Ó.×3Ñ3°B¸¸sÓCˆØ�I‰I�a˜˜A˜qÓ!×,Ñ,Ó.×3Ñ3°B¸¸sÓCˆØ�I‰I�a˜˜A˜qÓ!×,Ñ,Ó.×3Ñ3°B¸¸sÓCˆà—~‘~ a¨¨A°D�~Ó9‰ˆ�à—‘˜V T¨5°#Ó6ˆà�N‰N˜1˜a  AÓ&×1Ñ1Ó3×8Ñ8¸¸uÀbÓIð 	ð —‘˜dŸg™g f›oÓ.ˆØ˜(Ñ"ˆà�tˆ|Ðr   r"   r#   r$   r+   s   @r   r-   r-   &   sM   ø„ õ+ð8 %)ñ'à�<‰<ð'ð �<‰<ð'ð �<‰<ð	'ð
 �l‰l˜TÑ!÷'r   r-   c                   ó@   ‡ — e Zd Zdˆ fd„	Zdej
                  fd„Zˆ xZS )ÚPositionwiseFeedForwardc                 ó  •— t         ‰| �  «        t        j                  |||d   |d   ¬«      | _        t        j                  |||d   |d   ¬«      | _        t        j                  |«      | _        t        j                  |«      | _	        y )Nr   )Úkernel_sizeÚpaddingrD   )
r   r	   r   ÚConv1dÚw_1Úw_2r>   r?   r   r   )r   Úd_inÚd_hidÚfft_conv1d_kernelÚfft_conv1d_paddingr   r   s         €r   r	   z PositionwiseFeedForward.__init__k   s~   ø€ Ü‰ÑÔä—9‘9Ø�%Ð%6°qÑ%9ÐCUÐVWÑCXô
ˆŒô
 —9‘9Ø�4Ð%6°qÑ%9ÐCUÐVWÑCXô
ˆŒô Ÿ,™, tÓ,ˆŒÜ—z‘z 'Ó*ˆ�r   Úxc                 ó  — |}| j                  |«      }|j                  dd«      }| j                  |«      }t        j                  |«      }| j                  |«      }|j                  dd«      }| j                  |«      }||z   }|S )NrD   r   )r?   Ú	transposerW   ÚFÚrelurX   r   )r   r]   rP   s      r   r!   zPositionwiseFeedForward.forwardz   sw   € àˆà�O‰O˜AÓˆØ�K‰K˜˜1ÓˆØ�H‰H�Q‹KˆÜ�F‰F�1‹IˆØ�H‰H�Q‹KˆØ�K‰K˜˜1ÓˆØ�L‰L˜‹OˆØ�‰Lˆàˆr   r"   r$   r+   s   @r   rR   rR   i   s   ø„ õ+ð˜Ÿ™÷ r   rR   )r   r(   Útorch.nnr   Útorch.nn.functionalÚ
functionalr`   Únumpyr   ÚModuler   r-   rR   © r   r   Ú<module>rh      sJ   ðÛ Û Ý ß Ð Û ô §	¡	ô ô<@˜Ÿ™ô @ôF˜bŸi™iõ r   