Ë
    ˜(èj/"  ã            
      óÀ  — d Z ddlmZ ddlmZ ddlZddlmZ ddlmZ	  ed¬«       G d	„ d
«      «       Z
 e
«        e
d¬«       e
d¬«       e
d¬«       e
d¬«       e
d¬«       e
d¬«       e
d¬«      dœZ G d„ dej                  «      Z G d„ dej                  «      Z G d„ dej                  «      Z G d„ dej                  «      Z G d „ d!ej                  «      Zy)"a  STQD v1: separate time-preserving EEG/speech encoders and speaker-conditioned EEG retrieval.

Input: eeg [B,320,58], speech [B,320,2,3] (env,onset,dom).
Output: signed logit [B], positive => column zero attended.
No dataset/subject/trial labels enter the model.
é    )Úannotations)Ú	dataclassN)Únn)Ú
functionalT)Úfrozenc                  óT   — e Zd ZU dZded<   dZded<   dZded<   dZded	<   d
Zded<   y)ÚVariantÚallÚstrÚfeaturesÚseparateÚstemsÚcrossÚfusionÚtemporalÚqueryTÚboolÚ	time_biasN)	Ú__name__Ú
__module__Ú__qualname__r   Ú__annotations__r   r   r   r   © ó    úX/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/huyle/stqd_model.pyr	   r	      s4   … à€HˆcÓØ€Eˆ3ÓØ€FˆCÓØ€Eˆ3ÓØ€IˆtÔr   r	   Újoint)r   Úenv)r   Ú	env_onsetÚenv_domF)r   Úglobal)r   Úcosine)r   )Ú	stqd_fullÚstqd_joint_stemÚstqd_envÚstqd_env_onsetÚstqd_env_domÚstqd_no_time_biasÚstqd_global_queryÚstqd_cosinec                  ó&   ‡ — e Zd Zdˆ fd„Zd„ Zˆ xZS )ÚTemporalBlockc           
     óŒ  •— t         ‰| �  «        t        j                  t        j                  ||dd|z  |¬«      t        j
                  d|«      t        j                  «       t        j                  ||d«      t        j
                  d|«      «      | _        t        j                  t        j                  d«      «      | _        y )Né   é   )ÚpaddingÚdilationé   é   gš™™™™™¹?)ÚsuperÚ__init__r   Ú
SequentialÚConv1dÚ	GroupNormÚGELUÚnetÚ	ParameterÚtorchÚtensorÚscale)ÚselfÚdimr0   Ú	__class__s      €r   r4   zTemporalBlock.__init__$   s„   ø€ Ü‰ÑÔÜ—=‘=Ü�I‰I�c˜3 ¨1¨x©<À(ÔKÜ�L‰L˜˜CÓ ¤"§'¡'£)Ü�I‰I�c˜3 Ó"¤B§L¡L°°CÓ$8ó
ˆŒô
 —\‘\¤%§,¡,¨rÓ"2Ó3ˆ�
r   c                ój   — t        j                  || j                  | j                  |«      z  z   «      S ©N)ÚFÚgelur=   r9   )r>   Úxs     r   ÚforwardzTemporalBlock.forward-   s'   € Ü�v‰v�a˜$Ÿ*™* t§x¡x°£{Ñ2Ñ2Ó3Ð3r   )r?   Úintr0   rG   ©r   r   r   r4   rF   Ú__classcell__©r@   s   @r   r+   r+   #   s   ø„ õ4ö4r   r+   c                  ó&   ‡ — e Zd Zdˆ fd„	Zd„ Zˆ xZS )Ú
EEGEncoderc                óJ  •‡— t         ‰| �  «        t        j                  t        j                  |‰d«      t        j
                  d‰«      t        j                  «       «      | _        t        j                  ˆfd„dD «       Ž | _        t        j                  ||¬«      | _
        y )Nr2   r1   c              3  ó6   •K  — | ]  }t        ‰|«      –— Œ y ­wrB   ©r+   ©Ú.0Údr?   s     €r   Ú	<genexpr>z&EEGEncoder.__init__.<locals>.<genexpr>5   ó   øè ø€ Ð%PÁZÀ¤m°C¸×&;ÁZùó   ƒ©r2   é   é   ©Úkernel_sizeÚstride)r3   r4   r   r5   r6   r7   r8   ÚinpÚblocksÚ	AvgPool1dÚdown)r>   Úchannelsr?   r[   r@   s     ` €r   r4   zEEGEncoder.__init__2   sl   ù€ Ü‰ÑÔÜ—=‘=¤§¡¨8°S¸!Ó!<¼b¿l¹lÈ1ÈcÓ>RÔTV×T[ÑT[ÓT]Ó^ˆŒÜ—m‘mÓ%PÁZÓ%PÐQˆŒÜ—L‘L¨V¸FÔCˆ�	r   c           
     ó¤   — | j                  | j                  | j                  |j                  dd«      «      «      «      }|j                  dd«      S )Nr2   r.   )r_   r]   r\   Ú	transpose)r>   ÚeegrE   s      r   rF   zEEGEncoder.forward8   s>   € Ø�I‰I�d—k‘k $§(¡(¨3¯=©=¸¸AÓ+>Ó"?Ó@ÓAˆØ�{‰{˜1˜aÓ Ð r   )é:   é@   rW   rH   rJ   s   @r   rL   rL   1   s   ø„ õDö!r   rL   c                  ó&   ‡ — e Zd Zdˆ fd„	Zd„ Zˆ xZS )ÚSpeechEncoderc                ó*  •‡— t         ‰| �  «        |dvrt        |«      ‚|dvrt        |«      ‚||c| _        | _        t        d„ t        d|dv |dv f«      D «       «      | _        |dk(  r’t        j                  t        d«      D �cg c]H  }t        j                  t        j                  d	|d
k  rdnddd¬«      t        j                  «       «      ‘ŒJ c}«      | _        t        j                  d‰d	«      | _        nWt        j                  t        j                  t!        | j                  «      ‰dd¬«      t        j                  «       «      | _        t        j                  ˆfd„dD «       Ž | _        t        j&                  ||¬«      | _        y c c}w )N>   r
   r   r   r   >   r   r   c              3  ó,   K  — | ]  \  }}|sŒ	|–— Œ y ­wrB   r   )rQ   ÚiÚalloweds      r   rS   z)SpeechEncoder.__init__.<locals>.<genexpr>E   s'   è ø€ ð  Nñ  /B¡
  7ò  FMœ!ñ  /Bùs   ‚
�T)r
   r   )r
   r   r   é   r2   r.   é   rX   é   )r/   re   c              3  ó6   •K  — | ]  }t        ‰|«      –— Œ y ­wrB   rO   rP   s     €r   rS   z)SpeechEncoder.__init__.<locals>.<genexpr>M   rT   rU   rV   rY   )r3   r4   Ú
ValueErrorr   r   ÚtupleÚ	enumerateÚmaskr   Ú
ModuleListÚranger5   r6   r8   ÚpartsÚmixÚlenr   r]   r^   r_   )r>   r?   r[   r   r   rj   r@   s    `    €r   r4   zSpeechEncoder.__init__>   s`  ù€ Ü‰ÑÔØÐAÑAÜ˜XÓ&Ð&ØÐ-Ñ-Ü˜UÓ#Ð#Ø$,¨eÐ!ˆŒ�t”zÜñ  N¬i¸¸xÐK_Ð?_ÐaiÐmÐað  9Aô  /Bó  Nó  NˆŒ	Ø�JÒäŸ™ÜKPÐQRÌ8ó(UÙKSÀaô )+¯©´b·i±iÀÈÈQÊÁ2ÐTVÐXYÐcdÔ6eÜ79·w±w³yõ)BØKSñ(Uó VˆDŒJä—y‘y  S¨!Ó,ˆD�HäŸ™¤r§y¡y´°T·Y±Y³ÀÀaÐQRÔ'SÔUW×U\ÑU\ÓU^Ó_ˆDŒJÜ—m‘mÓ%PÁZÓ%PÐQˆŒÜ—L‘L¨V¸FÔCˆ�	ùò(Us   ÂAFc           
     ó<  — |j                   \  }}}}|dk7  s|dk7  r!t        dt        |j                   «      › �«      ‚|j                  dddd«      j	                  ||z  ||«      }| j
                  dk(  r¥t        d«      D �cg c]j  }|| j                  v r! | j                  |   |d d …||dz   …f   «      n8t        j                  ||z  |dk  rdnd|f|j                  |j                  ¬	«      ‘Œl }}| j                  t        j                  |d¬
«      «      }n"| j                  |d d …| j                  f   «      }| j!                  | j#                  |«      «      j%                  dd«      }|j	                  |||j                   d   |j                   d   «      S c c}w )Nr.   rl   zspeech must be [B,T,2,3], got r   r2   r   rm   rX   )ÚdeviceÚdtype©r?   )Úshaperp   rq   ÚpermuteÚreshaper   ru   rs   rv   r;   Úzerosrz   r{   rw   Úcatr   r_   r]   rb   )	r>   ÚsÚbÚtÚnÚfrE   rj   Úzs	            r   rF   zSpeechEncoder.forwardP   st  € à—W‘W‰
ˆˆ1ˆa�Ø�Š6�Q˜!’VÜÐ=¼eÀAÇGÁG»nÐ=MÐNÓOÐOØ�I‰I�a˜˜A˜qÓ!×)Ñ)¨!¨a©%°°AÓ6ˆØ�:‰:˜Ò#ô   œ(ó$á"�Qð 01°D·I±I©~��—‘˜A‘˜q¢ A a¨¡c E ™{Ô+Ü—k‘k 1 Q¡3¨a°!ªe©¸¸QÐ"?ÈÏÉÐXY×X_ÑX_Ô`ñaà"ð ð $ð —‘œŸ™ 1¨!Ô,Ó-‰Aà—
‘
˜1šQ §	¡	˜\™?Ó+ˆAØ�I‰I�d—k‘k !“nÓ%×/Ñ/°°1Ó5ˆØ�y‰y˜˜A˜qŸw™w q™z¨1¯7©7°1©:Ó6Ð6ùò$s   ÂA/F)re   rW   r
   r   rH   rJ   s   @r   rg   rg   =   s   ø„ õDö$7r   rg   c                  ó(   ‡ — e Zd Zdˆ fd„	Zdd„Zˆ xZS )ÚSpeakerCrossAttentionc           	     ó–  •— t         ‰| �  «        ||z  dk(  sJ ‚|||z  c| _        | _        || _        t        j                  ||«      | _        t        j                  ||«      | _        t        j                  ||«      | _	        t        j                  ||«      | _
        t        j                  |«      | _        t        j                  |«      | _        t        j                  t        j                  |«      t        j                  ||dz  «      t        j                   «       t        j                  |dz  |«      «      | _        || _        y )Nr   r.   )r3   r4   ÚheadsÚdheadr   r   ÚLinearÚqÚkÚvÚoutÚ	LayerNormÚnormÚDropoutÚdropoutr5   r8   ÚffÚsampling_hz)r>   r?   r‹   r•   r   r—   r@   s         €r   r4   zSpeakerCrossAttention.__init__b   sõ   ø€ Ü‰ÑÔØ�U‰{˜aÒÐÐØ!&¨¨u©ÐˆŒ
�D”JØ"ˆŒÜ—‘˜3 Ó$ˆŒÜ—‘˜3 Ó$ˆŒÜ—‘˜3 Ó$ˆŒÜ—9‘9˜S #Ó&ˆŒÜ—L‘L Ó%ˆŒ	Ü—z‘z 'Ó*ˆŒÜ—-‘-¤§¡¨SÓ 1´2·9±9¸SÀ#ÀaÁ%Ó3HÌ"Ï'É'Ë)ÔUW×U^ÑU^Ð_bÐcdÑ_dÐfiÓUjÓkˆŒØ&ˆÕr   c                ó”  — |j                   \  }}}}|j                   d   }| j                  |«      j                  |||| j                  | j                  «      j                  ddddd«      }	| j                  |«      j                  ||| j                  | j                  «      j                  dddd«      }
| j                  |«      j                  ||| j                  | j                  «      j                  dddd«      }t        j                  d|	|
«      | j                  dz  z  }| j                  rƒ|€!t        j                  ||j                  ¬«      }t        j                  ||j                  ¬«      }|d d d …f   |d d …d f   z
  | j                  z  }|d	|d
z
  dz  j                  «       d   z  z
  }| j                  |j!                  d¬«      «      }t        j                  d||«      }|j                  ddddd«      j                  ||||«      }| j#                  || j%                  |«      z   «      }|| j'                  |«      z   S )Nr2   r   rl   r.   rW   zbnhqd,bhkd->bnhqkg      à¿©rz   g      à?gš™™™™™É?gš™™™™™á?)NNNéÿÿÿÿr|   zbnhqk,bhkd->bnhqd)r}   rŽ   r   r‹   rŒ   r~   r�   r�   r;   Úeinsumr   Úarangerz   r—   Úsquarer•   Úsoftmaxr“   r‘   r–   )r>   ÚqueriesÚmemoryÚquery_positionsrƒ   ÚspeakersÚlqrR   ÚlerŽ   r�   r�   ÚscoresÚeeg_positionsÚlag_sÚwÚhs                    r   rF   zSpeakerCrossAttention.forwardp   sö  € à$Ÿ]™]Ñˆˆ8�R˜Ø�\‰\˜!‰_ˆØ�F‰F�7‹O×#Ñ# A x°°T·Z±ZÀÇÁÓL×TÑTÐUVÐWXÐYZÐ[\Ð]^Ó_ˆØ�F‰F�6‹N×"Ñ" 1 b¨$¯*©*°d·j±jÓA×IÑIÈ!ÈAÈaÐPQÓRˆØ�F‰F�6‹N×"Ñ" 1 b¨$¯*©*°d·j±jÓA×IÑIÈ!ÈAÈaÐPQÓRˆÜ—‘Ð1°1°aÓ8¸D¿J¹JÈ#Ñ<MÑNˆØ�>Š>ØÐ&Ü"'§,¡,¨r¸&¿-¹-Ô"H�Ü!ŸL™L¨°F·M±MÔBˆMØ" 4ª 7Ñ+¨oºaÀ¸gÑ.FÑFÈ$×JZÑJZÑZˆEð ˜b U¨S¡[°CÑ$7×#?Ñ#?Ó#AÀ.Ñ#QÑQÑQˆFØ�L‰L˜Ÿ™¨B˜Ó/Ó0ˆÜ�L‰LÐ,¨a°Ó3ˆØ�I‰I�a˜˜!˜A˜aÓ ×(Ñ(¨¨H°b¸!Ó<ˆØ�I‰I�g §¡¨£Ñ+Ó,ˆØ�4—7‘7˜1“:‰~Ðr   )re   rW   g        Tg       @rB   rH   rJ   s   @r   r‰   r‰   a   s   ø„ õ'÷r   r‰   c                  ó,   ‡ — e Zd Z	 	 dˆ fd„	Zdd„Zˆ xZS )ÚSTQDNetc           	     óØ  •— t         ‰| �  «        |t        vrt        d|› dt	        t        «      › �«      ‚||z  rt        d«      ‚|| _        t        |   | _        ||c| _        | _        |€|dz
  n||z  | _	        t        |||«      | _        t        ||| j                  j                  | j                  j                  «      | _        | j                  j                   | _        | j                   dk(  r–t#        ||| j                  j$                  d|z  ¬«      | _        t)        j*                  t)        j,                  |«      t)        j.                  ||«      t)        j0                  «       t)        j.                  |d«      «      | _        y t)        j.                  ||«      | _        t)        j.                  ||«      | _        t)        j8                  t;        j<                  d«      «      | _        y )	NzUnknown variant z
; allowed z"window must be divisible by strideé    r   )r   r—   r2   g      ð?) r3   r4   ÚVARIANTSrp   ÚsortedÚvariant_nameÚvariantÚwindowr[   ÚreadoutrL   rc   rg   r   r   Úspeechr   r‰   r   r   r   r5   r’   r�   r8   ÚheadÚeeg_projectionÚspeech_projectionr:   r;   r<   Útemperature)	r>   r±   r`   Úwidthr‹   r²   r[   Útarget_indexr@   s	           €r   r4   zSTQDNet.__init__ˆ   s  ø€ ä‰ÑÔØœ(Ñ"ÜÐ/°¨y¸
Ä6Ì(ÓCSÐBTÐUÓVÐVØ�FŠ?ÜÐAÓBÐBØ#ˆÔÜ Ñ(ˆŒØ#)¨6Ð ˆŒ�T”[Ø'3Ð';˜ šÀÐRXÑXˆŒÜ˜h¨¨vÓ6ˆŒÜ# E¨6°4·<±<×3HÑ3HÈ$Ï,É,×J\ÑJ\Ó]ˆŒØ—l‘l×)Ñ)ˆŒØ�;‰;˜'Ò!Ü.¨u°eÀtÇ|Á|×G]ÑG]Ø;=À¹;ôHˆDŒJäŸ™¤b§l¡l°5Ó&9¼2¿9¹9ÀUÈEÓ;RÔTV×T[ÑT[ÓT]Ô_a×_hÑ_hÐinÐpqÓ_rÓsˆD�Iä"$§)¡)¨E°5Ó"9ˆDÔÜ%'§Y¡Y¨u°eÓ%<ˆDÔ"Ü!Ÿ|™|¬E¯L©L¸Ó,=Ó>ˆDÕr   c                óè  — |j                   dk7  s|j                  dd  | j                  dfk7  r.t        d| j                  › dt	        |j                  «      › �«      ‚|j                   dk7  s|j                  dd  | j                  ddfk7  r.t        d| j                  › d	t	        |j                  «      › �«      ‚||j                  dd
¬«      z
  |j                  dd
¬«      dz   z  }| j                  |«      }| j                  |«      }| j                  j                  dk(  rB|j                  dd
¬«      }t        j                  | j                  g|j                  ¬«      }d}n|d | j                  }}}| j                  dk(  r?| j!                  |||¬«      }	| j#                  |	d d …d d …|f   «      j%                  d«      }
n™t'        j(                  | j+                  |d d …| j                  f   «      d¬«      }t'        j(                  | j-                  |d d …d d …|f   «      d¬«      }t        j.                  d||«      | j0                  j3                  «       z  }
|
d d …df   |
d d …df   z
  }|r||fS |S )Nrl   r2   rd   zexpected EEG [B,z
,58], got rW   r.   zexpected speech [B,z,2,3], got T)r?   Úkeepdimg�íµ ÷Æ°>r    r™   r   r   )r¡   rš   r|   z
bd,bnd->bn)Úndimr}   r²   rp   rq   ÚmeanÚstdrc   r´   r±   r   r;   r<   r³   rz   r   r   rµ   ÚsqueezerC   Ú	normalizer¶   r·   r›   r¸   Úexp)r>   ÚEÚSÚfeatr    Ú	candidaterŽ   ÚqposÚpickr‡   r¥   Úer‚   Úlogits                 r   rF   zSTQDNet.forwardŸ   s  € Ø�6‰6�QŠ;˜!Ÿ'™' ! "˜+¨$¯+©+°rÐ):Ò:ÜÐ/°·±¨}¸JÄuÈQÏWÉWÃ~ÐFVÐWÓXÐXØ�6‰6�QŠ;˜!Ÿ'™' ! "˜+¨$¯+©+°q¸!Ð)<Ò<ÜÐ2°4·;±;°-¸{Ì5ÐQR×QXÑQXË>ÐJZÐ[Ó\Ð\à�—‘˜A t�Ó,Ñ,°·±¸1Àd°Ó1KÈdÑ1RÑSˆØ—‘˜!“ˆØ—K‘K “Nˆ	Ø�<‰<×Ñ Ò)Ø—‘ 1¨d�Ó3ˆAÜ—<‘< §¡ °q·x±xÔ@ˆDØ‰Dà% t¨T¯\©\�TˆtˆAØ�;‰;˜'Ò!Ø—
‘
˜1˜f°d�
Ó;ˆAØ—Y‘Y˜q¢¢A t ™}Ó-×5Ñ5°bÓ9‰Fä—‘˜D×/Ñ/°²q¸$¿,¹,°Ñ0GÓHÈbÔQˆAÜ—‘˜D×2Ñ2°1²Qº¸4°Z±=ÓAÀrÔJˆAÜ—\‘\ ,°°1Ó5¸×8HÑ8H×8LÑ8LÓ8NÑNˆFà’q˜!�t‘˜v¢a¨ d™|Ñ+ˆÙ"&��vˆÐ1¨EÐ1r   )r"   rd   re   rW   i@  rW   N)FrH   rJ   s   @r   r«   r«   ‡   s   ø„ Ø_`Ø"õ?÷.2r   r«   )Ú__doc__Ú
__future__r   Údataclassesr   r;   r   Útorch.nnr   rC   r	   r®   ÚModuler+   rL   rg   r‰   r«   r   r   r   Ú<module>rÐ      sÑ   ðñõ #Ý !Û Ý Ý $ñ �$Ô÷ð ó ðñ “Ù WÔ-Ù Ô'Ù {Ô3Ù YÔ/Ù ¨5Ô1Ù  xÔ0Ù (Ô+ñ	€ô4�B—I‘Iô 4ô	!�—‘ô 	!ô!7�B—I‘Iô !7ôH#˜BŸI™Iô #ôL02ˆb�i‰iõ 02r   