Ë
    †3ìjZC  ã                   ó  — d Z ddlZddlZddlZddlZddlZddlZddlZddl	m
Z
mZmZmZmZmZmZ ddlmZmZmZ ddlmZmZmZ ddlmZ ddlmZmZ ddlmZ  eed	   ez  «       eed
   ez  «       eed   ez  «      cZ Z!Z"e e"z
  e!z
  e ez
  cZ#Z$ e%ee
d      «      D � �cg c]  \  } }|dv sŒ| ‘Œ c}} Z&ddl'm(Z(m)Z) e(Z*d„ Z+ ejX                  «       d£d„«       Z-d¤d„Z.d„ Z/e0dk(  �rk ejb                  «       Z2e2jg                  dd¬«       e2jg                  d e4e)«      dd¬«       e2jg                  ded¬«       e2jg                  ddd ¬!«       e2jg                  d"e5d#d$¬%«       e2jg                  d&e5dd'¬%«       e2jg                  d(ed)d*¬%«       e2jg                  d+edd,¬%«       e2jg                  d-ed¬«       e2jg                  d.dd/¬!«       e2jg                  d0d1d2¬3«       e2jg                  d4d5g d6¬7«       e2jg                  d8d5g d9¬7«       e2jg                  d:dd;d<gd=¬>«       e2jg                  d?e5d@¬«       e2jg                  dAdBdC¬!«       e2jg                  dDdEdF¬!«       e2jg                  dGd1dH¬3«       e2jm                  «       Z7e7jp                  re2js                  dI«       e7jt                  dk  re2js                  dJ«       e7jt                  edK<    e;e7jt                  d)«      edL<   e7jx                  � e7jx                  dMk7  re2js                  dN«       dOe7_=        e7jx                  r# ee7jx                  ez  «      Z e e"z
  e!z
  e ez
  cZ#Z$e7j|                  j                  dP«      edQ<   i e
dR   ¥e
dS   e7j€                     ¥edT<    ej‚                  e7j„                  e7j†                  «       e7jp                  r( ejˆ                  e7jp                  e7jŠ                  ¬U«       e7jŒ                  �e7jŒ                  edV<   e7jŽ                  re7jŽ                  edW<    ej�                  dX«       e7j’                  �rÔ ej”                  dVd«      ZKeKedV<    eej˜                  j›                  edYdZe7jœ                  › d[eK› d\�«      «      ZO ed]gdBeO«      ZPePD ]  ZQ eeQ«      eQd^<   Œ  e4ePD �ch c]  }|d_   j                  d`«      d   ’Œ c}«      ZR eBej¦                  j©                  da«      j«                  eRdXdb¬c«      «      ZV eOddeK› de eWeR«      dXz
  › df e4eV«      › �«        e.ePD �cg c]  }|d_   j                  d`«      d   eVvsŒ|‘Œ  c}ePD �cg c]  }|d_   j                  d`«      d   eVv sŒ|‘Œ  c}eOe7«      \  ZXZY ej´                  ej˜                  j›                  edg«      dh¬i«       ej˜                  j›                  edgdZe7jœ                  › d[eK› dj�«      Z[ ej¸                  eXj»                  «       e[«        eOdke[› dleYdm›dn�«       e^‚doe7j¾                  › e7jœ                  › �Z` eej˜                  j›                  edYe`› d\�«      «      ZO eOdpe`› dqe7jÂ                  › dr�«       eD ]<  Zbej˜                  jÇ                   ee`eb«      «      r eOdseb› dt�«       Œ2 e/ebe`eOe7«       Œ>  edd¥i due`“dvdw“dxe7jÂ                  “dye7j¾                  “dQedQ   “dze7jÊ                  “d{e7jÌ                  “d|e7jÎ                  “d}e7jÐ                  “d~e7jz                  “d	e ez  “dV ej”                  dVe
d   «      “d€d�“dTedT   “d‚dƒe
d‚   d„   › d…�“d† ee`d†e"e!z   ez  «      “ŽZ[eD �ci c]  }|e[d†   d‡   |   dˆ   “Œ c}e[dˆ<   e[d†   d‰   Zi eOdŠeid‹   dŒ›d�eidŽ   dŒ›d�eid�   d‘›d’eid“   d‘›d”eid•   d‘›dn�«       d–D ]Y  Zj eOd—ejd˜›d™�dšj›                  d›„ eD «       «      z   dœ ejÖ                  eD �cg c]  }e[dˆ   |   ej   d�   ‘Œ c}«      d‘›�z   «       Œ[  elej˜                  j›                  edže`› dŸ�«      d «      5 Zm ejÜ                  e[emde5¬¡«       ddd«        eOd¢e`› dr�«       yyc c}} w c c}w c c}w c c}w c c}w c c}w # 1 sw Y   Œ6xY w)¦a+  huyle/v2 STQD classifier using a weight-shared VLAAI EEG encoder.

Separate EEG/speech encoders, candidate-conditioned attention, antisymmetric output.
The source-compatible LODO sampler, pretraining, augmentation, evidence and
scoring interface are retained from decoder_lodo/direct_classifier.py.
é    N)ÚCFGÚEXPÚFSÚ	fold_fileÚ
load_trialÚrows_ofÚsave_pickle)ÚDS_KEYSÚMONTAGESÚSEED)ÚDÚDEVÚ_targets)Údraw_switch_times)Úload_externalÚlog_to)Úscore_experimentÚwindow_sÚinfer_hop_sÚcausal_future_sÚmontage)ÚFP1ÚFPZÚFP2ÚAF3ÚAF4ÚF7ÚF8)ÚSTQDNetÚVARIANTSc                 ó’  — t        j                  | D �cg c]  }t        |d   «      t        z
  ‘Œ c}«      }t        j                  |d«      j                  t        «      }|j                  t        | «      |||j                  «       z  ¬«      }	|	t        _
        t        j                  |t        dft         j                  «      }
t        j                  |t        f| d   d   j                  dd  z   t         j                  «      }t        j                  |t         j                  «      }|�t        j                  d«      xs i ni }t!        |j                  dd«      «      |j                  d	d
«      |j                  dd
«      }}}t#        |	«      D �]Ø  \  }}|j%                  d||   dz   «      }| |   }|r:t!        t        j&                  ||j%                  | |dz   «      z   d||   «      «      n|}|d   ||t        z    |d   ||t        z    c|
|<   ||<   t!        |d   |t(        z      «      }|j+                  «       |k  rÝt!        |j%                  t,        dz  t        t,        dz  z
  «      «      }|||d …d d d…f   |||d …f<   |t(        k  rd|z
  n|}|r‡|j+                  «       |k  rtt        t,        dz  z
  |z
  dt,        z  kD  rWt!        |j%                  |dt,        z  z   t        t,        dz  z
  «      «      }|||d …d d d…f   |||d …f<   |t(        k  rd|z
  n|}|r<|j+                  «       |k  r)d
||d d …d d …|j%                  |j                  d   «      f<   |dk(  rdnd
||<   �ŒÛ |�|j/                  |
|«      }
|rd
|
d d  t1        j2                  |
«      t1        j2                  |«      t1        j2                  |«      fS c c}w )NÚeegr   )Úpé:   Ú_Sé   ÚaugmentÚclf_lag_jitterÚclf_p_feat_dropç        Úclf_p_switch2Úatté   éÿÿÿÿg      ð?)ÚnpÚarrayÚlenÚWÚmaximumÚastypeÚfloatÚchoiceÚsumÚwindowsÚlast_tiÚemptyÚfloat32Úshaper   ÚgetÚintÚ	enumerateÚintegersÚclipÚLABÚrandomr   Ú_augmentÚtorchÚ
from_numpy)ÚtrialsÚnÚrngÚaugÚp_swÚzero_eegÚtÚlensr#   ÚtiÚXÚSÚyÚAÚlagÚp_fdÚp_sw2ÚjÚiÚsÚtrÚs2ÚcolÚtauÚtau2s                            úb/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/huyle/v2/direct_classifier.pyr8   r8   #   sN  € Ü�8‰8±Ó7±¨1”S˜˜5™“]¤QÓ&°Ñ7Ó8€DÜ
�
‰
�4˜Ó×"Ñ"¤5Ó)€AØ	�‰”C˜“K  a¨!¯%©%«'¡kˆÓ	2€BØ„G„OÜ
�‰�!”Q˜�œRŸZ™ZÓ(€AÜ
�‰�!”Q�˜& ™) D™/×/Ñ/°°Ð3Ñ3´R·Z±ZÓ@€AÜ
�‰�”B—J‘JÓ€AØ$' OŒ�‰ˆyÓ	Ò	™R¸€AÜ˜1Ÿ5™5Ð!1°1Ó5Ó6¸¿¹Ð>OÐQTÓ8UÐWX×W\ÑW\Ð]lÐnqÓWrˆuˆ€CÜ˜"—‰ˆˆ1Ø�L‰L˜˜D ™G a™KÓ(ˆØ�A‰YˆÙJMŒS”—‘˜˜SŸ\™\¨3¨$°°a±Ó8Ñ8¸!¸TÀ!¹WÓEÔFÐSTˆØ˜‘Y˜q ¤Q¡Ð'¨¨D©°"°R¼!±VÐ)<ˆ
ˆˆ!‰ˆa�‰dÜ�"�U‘)˜A¤™GÑ$Ó%ˆØ�:‰:‹<˜$ÒÜ�c—l‘l¤2¨¡7¬A´°a±©KÓ8Ó9ˆCØ˜1˜c™d¡D b D˜=Ñ)ˆAˆa�‘ˆg‰JØ ¤CšZ�!�c’'¨SˆCÙ˜Ÿ™›¨Ò-´!´b¸A±g±+ÀÑ2CÀaÌ"ÁfÒ2LÜ˜3Ÿ<™<¨¨a´"©f©´a¼"À¹'±kÓBÓC�Ø  4¡5©$¨B¨$ Ñ/��!�T‘U�(‘Ø!%¬¢�a˜#’g°#�Ù�C—J‘J“L 4Ò'Ø47ˆAˆa’’A�s—|‘| A§G¡G¨B¡KÓ0Ð0Ñ1Ø˜Q’h‰s Cˆˆ!‹ð! ð" €Ø�L‰L˜˜CÓ ˆÙØˆ‰!ˆÜ×Ñ˜AÓ¤× 0Ñ 0°Ó 3´U×5EÑ5EÀaÓ5HÐHÐHùò= 8s   ”Or&   c                 ób  — t        |«      }t        j                  t        j                  t        dft        j
                  «      |j                  t        j
                  «      t        j                  t        t        z   dft        j
                  «      g«      }t        j                  t        j                  t        f|j                  dd z   t        j
                  «      |t        j                  t        t        z   f|j                  dd z   t        j
                  «      g«      }t        j                  d|t        |z  «      }t        j                  t        |«      t        j
                  «      }t        dt        |«      t        t        j                  dd«      «      «      D ]ý  }	||	|	t        t        j                  dd«      «      z    }
 | t!        j"                  t        j$                  |
D �cg c]  }|||t&        z    ‘Œ c}«      «      j)                  t*        «      t!        j"                  t        j$                  |
D �cg c]  }|||t&        z    ‘Œ c}«      «      j)                  t*        «      «      j-                  «       j/                  «       ||	|	t        |
«      z    Œÿ ||fS c c}w c c}w )zeCausal decisions: hop start a -> window x[a - POS0 : a + HOP + FUT] (zero padded), every `step` hops.r$   r&   Nr   Úinfer_microbatché   )r1   r/   ÚconcatenateÚzerosÚPOS0r;   r4   ÚFUTÚHOPr<   Úaranger:   Úranger>   r   r=   rE   rF   Ústackr2   Útor   ÚcpuÚnumpy)ÚnetÚxrQ   ÚstepÚTÚxpÚSpÚstartsÚoutrX   ÚaÚks               r_   Úlogitsrx   E   s  € ô 	ˆA‹€AÜ	�‰œŸ™¤4¨ *¬b¯j©jÓ9¸1¿8¹8ÄBÇJÁJÓ;OÔQS×QYÑQYÔ[^ÔadÑ[dÐfhÐZiÔkm×kuÑkuÓQvÐwÓ	x€BÜ	�‰œŸ™¤4 '¨A¯G©G°A°B¨KÑ"7¼¿¹ÓDÀaÌÏÉÔSVÔY\ÑS\ÐR^Ðab×ahÑahÐijÐikÐalÑRlÔnp×nxÑnxÓIyÐzÓ	{€BÜ�Y‰Y�q˜!œS 4™ZÓ(€FÜ
�(‰(”3�v“;¤§
¡
Ó
+€CÜ�1”c˜&“k¤3¤q§u¡uÐ-?ÀÓ'DÓ#EÖFˆØ�1�QœœQŸU™UÐ#5°rÓ:Ó;Ñ;Ð<ˆÙ¤× 0Ñ 0´·±ÑPQÓ:RÑPQÈ1¸2¸aÀÄAÁº;ÐPQÑ:RÓ1SÓ T× WÑ WÔX[Ó \Ü %× 0Ñ 0´·±ÑPQÓ:RÑPQÈ1¸2¸aÀÄAÁº;ÐPQÑ:RÓ1SÓ T× WÑ WÔX[Ó \ó^ß^aÑ^aÓ^c×diÑdiÓdkð 	ˆAˆa”#�a“&‰jÑð Gð �ˆ;Ðùò ;SùÚ:Rs   Ç/J'ÉJ,c                 ó0  — | d   d   j                   d   }t        j                  dt        d   «      }t	        j
                  |«       t        |j                  dt        t        ¬«      j                  t        «      }|r5|j                  t	        j                  |t        ¬«      «        |d	|› �«       t        j                  j!                  t        j                  «      }t        t"        t$        df\  |_        |_        |_        |_        t,        j.                  j1                  |«      }	t3        |t        d
   |	d|j4                  |j6                  «      \  }
}}ddt9        |j;                  «       «      }}}t        j                  d«      r¥t        j<                  | t        d   «      \  }}t        j>                  |j@                  jB                  |«      j                  t        «      }|t9        |j;                  «       «      z  } |dt        d   › d|› dt        j                  dd«      › �«       t        jD                  jG                  |t        d   t        d   ¬«      }t        jD                  jH                  jK                  |ddt        d   ¬«      }t        jL                  jN                  jP                  }t,        jR                  dd}}}tU        t        d   «      D �]ô  }tW        jV                  «       g g }}}|jY                  «        tU        t        d   «      D �]o  }t3        | t        d   |	||j4                  |j6                  «      D �cg c]  }|j                  t        «      ‘Œ c}\  }}} t[        dt]        t        j                  dd«      «      «      }!|j_                  d¬ «       d!}"tU        dta        | «      |!«      D ]{  }#tc        |#|!z   ta        | «      «      }$|$|#z
  ta        | «      z  }%|€ | |||#|$ ||#|$ «      | |#|$ «      }&nte        d"«      ‚|&|%z  jg                  «        |"|&ji                  «       |%z  z  }"Œ} |jk                  |"«       t        jL                  jl                  jo                  |d#«       |jq                  «        �Œr |js                  «        t	        jt                  «       5  t[        dt]        t        j                  dd«      «      «      }'t	        jv                  tU        dta        |
«      |'«      D �(cg c]K  }( ||
|(|(|'z    j                  t        «      ||(|(|'z    j                  t        «      «      jy                  «       ‘ŒM c}(«      })ddd«        |)|«      ji                  «       |)dkD  j{                  «       |k(  j{                  «       j}                  «       ji                  «       }+}*||j~                  k\  r|jq                  |*«        |d$|d%›d&t-        j|                  |«      d'›d(|*d'›d)|+d*›d+tW        jV                  «       |z
  d,›d-t        j                  dd«      › d.�|rd/t-        j|                  |«      d*›�nd0z   «       |*|d1z
  k  rS|*d|j�                  «       jƒ                  «       D �,�-ci c]$  \  },}-|,|-j…                  «       j‡                  «       “Œ& }},}-}}�ŒÑ||j~                  k\  s�Œâ|dz  }|t        d2   k\  s�Œõ n |j                  |«       |js                  «        ||fS c c}w c c}(w # 1 sw Y   �Œ¬xY wc c}-},w )3zlTrain a DirectNet (binary cross-entropy, early stopping on the validation windows). Returns (net, best val).r   r%   r.   Ú
train_seedÚseedr$   )ÚvariantÚchannelsÚwindowÚtarget_index)Úmap_locationz  initialised from Úval_windowsNÚadvz  adversarial z loss: z classes, lambda Ú
adv_lambdaçš™™™™™©?ÚlrÚweight_decay)r…   r†   Úminç      à?Úlr_patience)ÚmodeÚfactorÚpatienceÚ
max_epochsÚsteps_per_epochÚ
batch_sizer&   Ú
microbatchrb   T)Úset_to_noner*   z/v2 does not implement adversarial microbatchingg      @z
    epoch Ú02dz train ú.4fz	 val BCE z acc ú.3fz (ú.0fzs; microbatch Ú)z | adversary acc Ú g-Cëâ6?rŒ   )Dr<   r   r=   r   rE   Úmanual_seedÚ	DirectNetr|   r2   rB   rk   r   Úload_state_dictÚloadÚdecodersÚDNNDecÚ__new__rf   rg   ÚfutÚhopÚCr/   rC   Údefault_rngr8   Úp_switchrL   ÚlistÚ
parametersÚ
domain_idsÚAdvHeadÚheadÚin_featuresÚoptimÚAdamWÚlr_schedulerÚReduceLROnPlateauÚnnÚ
functionalÚ binary_cross_entropy_with_logitsÚinfri   ÚtimeÚtrainÚmaxr>   Ú	zero_gradr1   r‡   ÚRuntimeErrorÚbackwardÚitemÚappendÚutilsÚclip_grad_norm_rp   ÚevalÚno_gradÚcatrl   r5   ÚmeanÚ
min_epochsÚ
state_dictÚitemsÚdetachÚclone).r³   ÚvalÚlogrv   Ú	init_fromÚFsr{   rn   rJ   ÚrsÚXvÚSvÚyvr‚   rp   ÚparamsÚdomÚn_domÚoptÚschÚbceÚbestÚbadÚstateÚepÚt1ÚtlÚdaÚ_ÚzrP   rQ   rR   ÚmicroÚsumlossÚstÚedÚfracÚpartÚmbrX   ÚlvÚvlÚvarw   Úvs.                                                 r_   Úfitrç   T   sò  € à	ˆq‰�$‰×	Ñ	˜bÑ	!€BÜ�5‰5�œs 6™{Ó+€DÜ	×Ñ�dÔÜ
˜AŸI™I°¼1Ì3Ô
O×
RÑ
RÔSVÓ
W€CÙØ×ÑœEŸJ™J y¼sÔCÔDÙÐ! ) Ð-Ô.Ü
�/‰/×
!Ñ
!¤(§/¡/Ó
2€CÜ%&¬¬S°" _Ñ"€C„Eˆ3Œ7�C”G˜SœUÜ	�‰×	Ñ	˜tÓ	$€BÜ˜œa Ñ.°°D¸!¿*¹*ÀaÇjÁjÓQ�J€BˆˆBØ˜a¤ c§n¡nÓ&6Ó!7ˆvˆ€CÜ‡u�uˆU„|Ü×(Ñ(¨´°%±Ó9‰
ˆˆUÜ×Ñ˜sŸx™x×3Ñ3°UÓ;×>Ñ>¼sÓCˆØ”$�s—~‘~Ó'Ó(Ñ(ˆÙˆnœQ˜u™X˜J g¨e¨WÐ4EÄaÇeÁeÈLÐZ^ÓF_ÐE`ÐaÔbÜ
�+‰+×
Ñ
˜F¤q¨¡w¼Q¸~Ñ=NÐ
Ó
O€CÜ
�+‰+×
"Ñ
"×
4Ñ
4°S¸uÈSÔ[\Ð]jÑ[kÐ
4Ó
l€CÜ
�(‰(×
Ñ
×
>Ñ
>€CÜ—v‘v˜q $ˆuˆ#€DÜ”A�l‘O×$ˆÜ—Y‘Y“[ " b�ˆBˆØ�	‰	ŒÜ”qÐ*Ñ+×,ˆAÜ*1°%¼¸<¹È"ÈcÐST×S]ÑS]Ð_`×_iÑ_iÔ*jÓkÑ*j Q�q—t‘tœC•yÐ*jÑk‰GˆAˆq�!ô ˜œ3œqŸu™u \°2Ó6Ó7Ó8ˆEØ�M‰M dˆMÔ+ØˆGÜ˜Aœs 1›v uÖ-�Ü˜˜e™¤S¨£VÓ,�Ø˜R™¤3 q£6Ñ)�Ø�;Ù™s 1 R¨ 8¨Q¨r°"¨XÓ6¸¸"¸R¸ÓA‘Dô 'Ð'XÓYÐYØ˜‘×&Ñ&Ô(Ø˜4Ÿ9™9›;¨Ñ-Ñ-‘ð .ð �I‰I�gÔÜ�H‰H�N‰N×*Ñ*¨6°3Ô7Ø�H‰HŽJð' -ð( 	�‰Œ
Ü�]‰]�_Ü�QœœAŸE™E ,°Ó3Ó4Ó5ˆBÜ—‘Ô[`ÐabÔdgÐhjÓdkÐmoÔ[pÓqÑ[pÐVW™C  1 Q¨¡V §¡´Ó 4°b¸¸1¸r¹6°l·o±oÄcÓ6JÓK×OÑOÕQÐ[pÑqÓrˆB÷ ñ �R˜“×!Ñ!Ó# r¨A¡v§n¡nÓ&6¸"Ñ&<×%CÑ%CÓ%E×%JÑ%JÓ%L×%QÑ%QÓ%SˆBˆØ�—‘ÒØ�H‰H�RŒLÙˆj˜˜C˜ ¬¯©°«°CÐ'8¸	À"ÀSÀÈÈrÐRUÈhÐVXÔY]×YbÑYbÓYdÐgiÑYiÐjmÐXnÐn|Ô}~÷  ~Cñ  ~Cð  DPð  QSó  ~Tð  }Uð  UVð  WÙ8:Ð"¤2§7¡7¨2£;¨sÐ"3Ñ4ÀñDô 	Eà��t‘ÒØ! 1ÈÏÉÓIY×I_ÑI_ÔIaÔ&bÑIaÁÀÀA q¨!¯(©(«*×*:Ñ*:Ó*<Ñ'<ÐIa�uÑ&b�#ŠDØ�1—<‘<ÔØ�1‰HˆCØ”a˜
‘mÔ#ÙðK %ðL ×Ñ˜ÔØ‡H�H„JØ�ˆ9ÐùòI lùò, r÷ ‰_üó 'cs,   Í[;Ò3A\ÔA\ Õ\Ù?)\Ü \Ü\	c                 óÄ  — t         j                  j                  t        d   t	        j
                  | «      z   «      }g g }}t        D ]�  }|| k(  rŒ	t        |«      }|j                  t        |j                  j                  «       «      «      }	|j                  «       D ]7  \  }
}|d   |	k(  r|n|j                  t        |j                  |d   «      «       Œ9 Œ‘ |t        dg|j                  |«      z  }||z   D ]  }t!        |«      |d<   Œ  |d| › dt#        |«      › dt#        |«      › d	|d
   d   j$                  d   › d|j&                  › �
«       t)        j(                  «       }t+        |||||j,                  «      \  }}t)        j(                  «       |z
  }~~t         j                  j                  t.        t	        j
                  | «      z   «      }i dD �ci c]  }|i “Œ }}}t        | «      j                  «       D �]�  \  }
}t        |j                  |d   «      }t!        |«      |d   |d   j1                  t2        «      t3        |d   «      f\  }}}}t5        ||dz  «      }|j7                  d
d«       t        j8                  |t:        «      dd
}}}|D ]0  }t=        |dz
  t3        t?        |dz  «      «      «      }|||| | |}}Œ2 |||d  |t        j@                  |dz
  t        j>                  t        jB                  t#        |«      «      tD        z  |d   z   dz  «      j1                  t2        «      «         }t        jF                  |d d …d d f   |d d …d d d…f   |«      } |jH                  rt        jJ                  |«      n|}!tM        ||!| «      \  }"}#||z  t        jN                  |#tP        z
  d
«         }$t#        |"«      dz  }%tS        |"dz  |" dz  |$j1                  t         jT                  «      |#tD        z  |d   z   j1                  t         jV                  «      |"d |%dz   jY                  |%d«      j[                  d«      dz  |"d |%dz   jY                  |%d«      j[                  d«       dz  |$d |%dz   jY                  |%d«      j[                  d«      dkD  j1                  t         jT                  «      d¬«      ||d   <   |j]                  «       }&d|&d d …t^        f<   d|!fdt        jJ                  |«      fdt        j`                  |!t#        |«      dz  d
«      fd|&ffD ]e  \  }'}(tM        ||(|d¬ «      \  })}*||'   jc                  |d!   g «      j                  |)d
kD  |t        jN                  |*tP        z
  d
«         d
k(  k(  «       Œg �Œ“ |je                  «       D ��+�,ci c]Ï  \  }}+|tS        tg        t        jZ                  t        jh                  |+jk                  «       D �,cg c]  },t        jh                  |,«      ‘Œ c},«      «      «      tg        t        jl                  |+jk                  «       D �,cg c]*  },t        jZ                  t        jh                  |,«      «      ‘Œ, c},«      «      ¬"«      “ŒÑ }-}+}},tS        d#|j&                  |j                  | |t)        j(                  «       |z
  tn        tP        z   tD        z  |d$|-¬%«
      }.tq        tS        d&|i|.¬'«      ts        || «      «        |d| › d(|.d)   d*›d+�d,ju                  d-„ |-je                  «       D «       «      z   «       ~tv        jx                  j{                  «        y c c}w c c},w c c},w c c},}+}w ).Nr{   ÚsubjectÚkeyÚFuglsang2020r%   ú  fold held-out=ú: z	 train / z val trials, r   r.   z' stimulus features per stream, STQD v2 ©ÚnormalrL   Ú	shift_eegÚ
no_frontalr"   r,   rH   é€   r-   Fr&   Út0é(   rˆ   T)Úr0Úr1r,   Út_endÚr0_10Úr1_10Úatt10Úpre_switchedr*   rï   rL   rð   rñ   é   )rp   Úsubj_uid)ÚpooledÚsubject_medianÚ
direct_clfr$   )
Údecoderr|   ÚprepÚheld_outÚfit_sÚtotal_sÚlookahead_sÚbest_valr}   ÚcontrolsÚcausal)ÚevidenceÚinfoz	 done in r  r•   z-s: controls (5-s decisions, pooled accuracy) ú  c              3   ó8   K  — | ]  \  }}|› d |d   d›�–— Œ y­w)Ú rþ   r”   N© )Ú.0rw   ræ   s      r_   Ú	<genexpr>zrun_fold.<locals>.<genexpr>Ê   s)   è ø€ ÐJÑ9I±°°A�q�c˜˜1˜X™; sÐ+Ô,Ñ9Iùs   ‚)>r/   rC   r¢   r   r
   Úindexr   r6   Úsortedré   ÚuniqueÚiterrowsr¹   r   r  r   r   r1   r<   r|   r²   rç   rÇ   r   r4   r>   r   r@   rd   Úboolr‡   ÚroundÚminimumrh   r   ÚwhererL   Ú
zeros_likerx   r3   rg   ÚdictÚint8r;   Úreshaper¿   ÚcopyÚFRONTALÚrollÚ
setdefaultrÂ   r5   rc   ÚvaluesÚmedianrf   r	   r   ÚjoinrE   ÚcudaÚempty_cache)/ÚheldÚexprÆ   rv   rI   r³   rÅ   ÚdsÚrowsÚvsrÚ   ÚrrZ   ró   rn   rÓ   Út_fitÚsrngrw   ÚevÚctlrQ   ro   r,   ÚT128ÚtimesÚst128ÚcurÚprevÚttÚs0rÞ   ÚSswÚxeÚlgrt   ÚtruthÚn10ÚxfÚnameÚxcÚl1Ús1Údræ   r  r  s/                                                  r_   Úrun_foldrC  –   sÿ  € Ü
�)‰)×
Ñ
¤ F¡¬g¯m©m¸DÓ.AÑ AÓ
B€CØ�Rˆ3€EßˆØ�Š:ØÜ�r‹{ˆØ�Z‰Zœ˜tŸ|™|×2Ñ2Ó4Ó5Ó6ˆØ—M‘M–O‰DˆAˆqØ�i‘L BÒ&‰S¨E×9Ñ9¼*ÀQÇVÁVÈQÈuÉXÓ:VÕWñ $ð ð 
Œ]˜NÐ+¨Q¯V©V°SÓ9Ñ9€EØ�cŒkˆÜ˜B“<ˆˆ4Šð áÐ
˜4˜& ¤3 u£: ,¨i¼¸C»°zÀÈuÐUVÉxÐX\É~×OcÑOcÐdfÑOgÐNhð  iPð  QR÷  QZñ  QZð  P[ð  	\ô  ]Ü	�‰‹€BÜ�E˜3  Q¨¯©Ó4�I€CˆÜ�I‰I‹K˜"Ñ€EØˆsä�9‰9× Ñ ¤¬¯©°dÓ(;Ñ!;Ó<€DØÑ"SÓTÑ"S˜Q�1�b‘5Ð"SˆÐT€BÜ˜“×&Ñ&×(‰ˆˆ1Ü˜Ÿ™  %¡Ó)ˆÜ" 2›,¨¨5©	°2°e±9×3CÑ3CÄCÓ3HÌ#ÈaÐPSÉfË+ÐU‰ˆˆ1ˆc�4Ü! $¨¨s©
Ó3ˆØ�‰�a˜ÔÜŸ8™8 D¬$Ó/°¸�DˆsˆÛˆBÜ�T˜A‘Xœs¤5¨¨c©£?Ó3Ó4ˆBØ ˆE�$�rˆNØ˜ �‰Cð ð ˆˆdˆeˆØ”2—:‘:˜d Q™h¬¯©´"·)±)¼CÀ»FÓ2CÄbÑ2HÈ2ÈdÉ8Ñ2SÐWZÑ1ZÓ([×(bÑ(bÔcfÓ(gÓhÑiˆÜ�h‰h�rš!˜T 4˜-Ñ(¨!ªA©t°¨t¨G©*°aÓ8ˆØ!"§¢ŒR�]‰]˜1Ô°ˆÜ˜C  SÓ)‰
ˆˆFØ�r‘œ2Ÿ:™: f¬s¡l°AÓ6Ñ7ˆÜ�"‹g˜‰mˆÜ˜r A™v¨2¨#°©'°u·|±|ÄBÇGÁGÓ7LÐU[Ô^`ÑU`ÐceÐfjÑckÑUk×TsÑTsÔtv×t~Ñt~ÓTØ"$ Y c¨B¡h -×"7Ñ"7¸¸RÓ"@×"EÑ"EÀaÓ"HÈ1Ñ"LÐUWÐXaÐY\Ð_aÑYaÐUb×UjÑUjÐknÐprÓUs×UxÑUxÐyzÓU{ÐT{Ð~ÑTØ#(¨¨#°©(Ð#3×#;Ñ#;¸CÀÓ#D×#IÑ#IÈ!Ó#LÈsÑ#R×"ZÑ"ZÔ[]×[bÑ[bÓ"cÐrvôxˆˆ1ˆU‰8‰ð �V‰V‹XˆØˆŠ1Œgˆ:‰Ø" B˜¨*´b·m±mÀAÓ6FÐ)GÈ+ÔWY×W^ÑW^Ð_aÔcfÐghÓciÐmnÑcnÐpqÓWrÐIsð  wCð  EGð  vHó  I‰HˆD�"Ü˜C  Q¨QÔ/‰FˆB�Ø�‰I× Ñ   :¡°Ó3×:Ñ:¸BÀ¹FÈÌBÏJÉJÐWYÔ\_ÑW_ÐabÓLcÑHdÐhiÑHiÑ;jÕkò Ið- )ð4 x{÷  xAñ  xAô  xCõDñ xCÑosÐopÐrsð ”4œu¤R§W¡W¬R¯^©^ÐXY×X`ÑX`ÔXbÓ<cÑXbÐST¼R¿^¹^ÈAÕ=NÐXbÑ<cÓ-dÓ%eÓfÜ',¬R¯Y©YÐ\]×\dÑ\dÔ\fÓ7gÑ\fÐWX¼¿¹ÄÇÁÈqÓ@QÕ8RÐ\fÑ7gÓ-hÓ'iôkñ kð xCð ò Dä˜¨a¯i©i¸a¿f¹fÈtÐ[`Ôjn×jsÑjsÓjuÐxzÑjzô  JMô  PSñ  JSô  WYñ  IYØ¨°Xô?€Dä”˜x¨˜n°4Ô8¼)ÀCÈÓ:NÔOÙÐ
˜4˜& 	¨$¨y©/¸#Ð)>Ð>kÐlØ
�)‰)ÑJ¸¿¹Ô9IÓJÓ
Jñ	Kô LàÜ	‡J�J×ÑÕùòE Uùò4 =dùÚ7gùôDs+   Ç
]Ö'A]×*] Ø4]Ø:/]Ù)]Ý
]Ú__main__z--tagr—   )Údefaultz	--variantÚv2_fullzSTQD v2 architectural ablation)ÚchoicesrE  Úhelpz--train-seed)ÚtyperE  z	--targetszenv,onset,domz'stimulus features given for each stream)rE  rH  z
--p-switchg333333Ó?z8share of training windows with a synthetic switch inside)rI  rE  rH  z
--window-szŽclassifier window in s (default config dnn.window_s = 5); the read-out timing (0.75 s lookahead, label 1 s before the window end) is unchangedz--microbatchrb   zNPer-forward activation batch; gradient accumulation preserves D[batch_size]=64z--min-epochsz=epochs without LR decay / early stopping (training stability)z--max-epochsz--init-fromz-DirectNet state_dict to start every fold fromz--pretrain-spkÚ
store_truezòpretrain on SparrKULee (single talker): stream A = the presented speech, stream B = its mismatched (half-run shifted) envelope, i.e. match-mismatch; saves models/pretrain_spk_direct_clf_s<seed>.pt. Needs GLIMPSE_THR=onorm (dom for SparrKULee))ÚactionrH  z--setÚ*z6hyper-parameter overrides of config dnn: key=value ...)ÚnargsrE  rH  z	--aug-setz5overrides of the augmentation settings: key=value ...z--advÚdatasetré   zfadversarial loss (gradient reversal) removing dataset / subject information from the backbone features)rE  rG  rH  z--adv-lambdar„   z--prepÚmat_reacz·mat_reac (EA state carried across a subject's trials) | mat_rea (EA restarts in every trial: needs no subject / trial ID at test time); the SparrKULee pretraining always uses mat_reacz--aug-variantÚclusterz9EEG augmentation: dnn_augment + config aug_variants[NAME]z
--zero-eegz5envelope-only model (EEG zeroed in training and test)z@--adv is not supported in v2; use a controlled future experimentz--microbatch must be positiver�   ra   g      $@z6STQD v2 is specified for the 10 s window (320 samples)ÚstqdÚ,ÚtargetsÚdnn_augmentÚaug_variantsr'   )r‚   rƒ   rz   r�   rü   ÚlogsÚpretrain_spk_direct_clfÚ_sz.logÚ
SparrKULeer%   rê   rÚ   iÒ  F)Úreplacezpretrain direct_clf seed z on SparrKULee: z train subjects, val ÚmodelsT)Úexist_okz.ptzsaved z (best val BCE r“   r–   Údirect_clf__z=== experiment z
, variant z ===rì   z: cachedÚ
experimentr  r   r|   r  rL   r£   rÇ   rÀ   Úbackboner{   Úextra_trainrë   ÚswitchzHMM p_stay=Úp_stayzJ per 0.25-s step, SYNTHETIC switches applied to the classifier INPUT, LODOr	  r  r  r¿   z#  MEAN over held-out datasets: Acc ÚAccz.2fz  SDT ÚSDTz  L ÚLr”   z  H ÚHz  (window acc Úacc1rî   z
  control Ú10srí   r  c              #   óT   K  — | ]   }|› d t         d   |   t           d   d›�–— Œ" y­w)r  r  rþ   r”   N)ru   rw   )r  rB  s     r_   r  r     s6   è ø€ Ð.mÑelÐ`a°!°°A´c¸*±oÀaÑ6HÌÑ6KÈHÑ6UÐVYÐ5ZÔ/[Ñelùs   ‚&(z	  | mean rþ   Úresultsz.jsonÚw)ÚindentrE  z	=== done )r&   )Nr  )oÚ__doc__ÚargparseÚjsonÚosr²   rm   r/   rE   rœ   Ú
common_expr   r   r   r   r   r   r	   Úcommonr
   r   r   r   r   r   Ú	e1_switchr   Úrun_experimentr   r   Úscorer   r>   r2   rg   rf   re   rB   r?   r  Ú
stqd_modelr   r    r™   r8   r½   rx   rç   rC  Ú__name__ÚArgumentParserÚapÚadd_argumentr  r5   Ú
parse_argsrv   r‚   Úerrorr�   r‡   r   r_  rS  ÚsplitÚaug_variantÚapply_overridesÚsetÚaug_setÚupdaterƒ   rz   r�   Úset_num_threadsÚpretrain_spkr=   r{   Úpathr$  ÚtagrÆ   rZ   rM   ÚsubsrC   r¢   r6   r+  r1   rn   rÓ   Úmakedirsru   ÚsaverÁ   Ú
SystemExitr  r(  r|   r'  Úexistsr  rL   r£   rÇ   rÀ   Úmrw   r¿   ÚopenÚfhÚdump)rX   ÚcrM   rB  s   0000r_   Ú<module>r‘     s–	  ðñó Û Û 	Û ã Û ã ß P× PÑ Pß *Ñ *ß %Ñ %Ý 'ß 0Ý "á�!�J‘- "Ñ$Ó%¡s¨1¨]Ñ+;¸bÑ+@Ó'AÁ3ÀqÐIZÑG[Ð^`ÑG`ÓCa€€€3ˆØ�‰G�c‰M˜1˜r™6€	€€cÙ" 8¨C°	©NÑ#;Ô<Ô
uÑ<‘��AÀÐEtÒ@tŠ1Ð<Ò
u€÷ )ð €	òIðD €‡�ƒòó ðó?òD6ðr ˆzÓØ	 ˆ×	 Ñ	 Ó	"€BØ‡O�O�G R€OÔ(Ø‡O�O�K©°Ó)9À9ÐSs€OÔtØ‡O�O�N¨°d€OÔ;Ø‡O�O�K¨Ð?h€OÔiØ‡O�O�L u°cÐ@z€OÔ{à‡O�O�L u°dð Bk€Oô là‡O�O�N¨°bð  @P€Oô  QØ‡O�O�N¨°aÐ>}€OÔ~Ø‡O�O�N¨°d€OÔ;Ø‡O�O�M¨4Ð6e€OÔfØ‡O�OÐ$¨\ð At€Oô uð ‡O�O�G 3°Ð9q€OÔrØ‡O�O�K s°BÐ=t€OÔuØ‡O�O�G T°I¸yÐ3Ið QO€Oô Pà‡O�O�N¨¸€OÔ=Ø‡O�O�H jð 8A€Oô Bà‡O�O�O¨YÐ=x€OÔyØ‡O�O�L¨Ð<s€OÔtØ
�‰‹€AØ‡u‚uØ
�‰ÐSÔTØ‡|�|�aÒØ
�‰Ð0Ô1Ø—l‘l€A€l�OÙ §¡¨bÓ1€AÐÑØ‡z�zÐ !§*¡*°Ò"4Ø
�‰ÐIÔJØ€A„JØ‡z‚zÙ�—
‘
˜R‘Ó ˆØ˜‘G˜c‘M 1 r¡6ˆ	ˆˆcØ—9‘9—?‘? 3Ó'€A€i�LØO�c˜-Ñ(ÐO¨C°Ñ,?ÀÇÁÑ,NÐO€A€i�LØ€H×Ñ˜QŸU™U A§I¡IÔ.Ø‡u‚uØˆ�‰�Q—U‘U q§|¡|Õ4Ø‡|�|ÐØŸ,™,ˆˆ,‰Ø‡|‚|ØŸ,™,ˆˆ,‰Ø€E×Ñ˜!ÔØ‡~ƒ~Øˆq�u‰u�\ 1Ó%ˆØˆˆ,‰Ù�R—W‘W—\‘\ # vÐ1HÈÏÉÈÈrÐRVÐQWÐW[Ð/\Ó]Ó^ˆÙ˜L˜>¨:°sÓ;ˆÛˆAÙ˜q“kˆAˆdŠGð á±rÓ:±r°!�q˜‘x—~‘~ cÓ*¨1Ó-°rÑ:Ó;ˆÙ�—‘×&Ñ& tÓ,×3Ñ3°D¸!ÀUÐ3ÓKÓLˆÙÐ'¨ vÐ-=¹cÀ$»iÈ!¹m¸_ÐLaÑbhÐikÓblÐamÐnÔoÙ¡BÓK¡B˜q¨!¨E©(¯.©.¸Ó*=¸aÑ*@ÈÒ*Jš BÑKÑY[ÓM|ÑY[ÐTUÐ_`ÐafÑ_g×_mÑ_mÐnqÓ_rÐstÑ_uÐy{Ò_{ÊaÐY[ÑM|ð  Bð  DEó  F‰	ˆˆTØˆ�‰�B—G‘G—L‘L  hÓ/¸$Õ?Ø�g‰g�l‰l˜3 Ð,CÀAÇEÁEÀ7È"ÈTÈFÐRUÐ*VÓWˆØˆ�
‰
�3—>‘>Ó# SÔ)Ùˆf�S�E˜¨¨c¨
°!Ð4Ô5ØÐØ˜Ÿ™˜ §¡ Ð
(€CÙ
�—‘—‘˜c 6¨c¨U°$¨<Ó8Ó
9€CÙˆ/˜#˜˜j¨¯©¨°4Ð8Ô9ÛˆØ�7‰7�>‰>™) C¨Ó.Ô/ÙÐ" 4 &¨Ð1Ô2ØÙ��s˜C Õ#ð	 ñ
 ò I™#ð I¡|ð I¸Q¿YºYð IÈQÏVÊVð IÐ]^Ð_hÒ]ið IÐtu×t~Òt~ð Ið  JK÷  JTò  JTð Ið  `a÷  `kò  `kð Ið  xy÷  xDò  xDð Ið  OP÷  OYò  OYð Ið  deð  hjò  djð IØ˜!Ÿ%™% ¨c°&©kÔ:ðIÙHVðIØ`aÐbkÒ`lðIà# C¨¡M°(Ñ$;Ð#<ð  =Gñ  HðIñ ' s¨H°s¸S±yÀBÑ6FÔGðI€Cñ IPÓPÉÀ1�q˜#˜h™-¨Ñ/°Ñ2°:Ñ>Ñ>ÈÑP€Cˆ
�OØˆH‰�fÑ€AÙÐ
-¨a°©h°s¨^¸6À!ÀEÁ(È3ÀÈtÐTUÐVYÑTZÐ[^ÐS_Ð_cÐdeÐfiÑdjÐknÐcoÐo}Ð~ð  AGñ  Hð  ILð  ~Mð  MNð  	Oô  PÛ>ˆÙˆj˜˜3˜˜rÐ" T§Y¡YÑ.mÑelÓ.mÓ%mÑmØ˜'˜"Ÿ'™'ÉGÓ"TÉGÀq 3 z¡?°1Ñ#5°aÑ#8¸Ó#BÈGÑ"TÓUÐVYÐZÐ[ñ\õ 	]ð ?ñ 
ˆb�g‰g�l‰l˜3 	¨c¨U°%¨=Ó9¸3Ô	?À2Øˆ�	‰	�#�r !¨UÕ3÷ 
@áˆ)�C�5˜ÐÕðk ùóm vùò\ ;ùò LùÒM|ùò$ Qùò
 #Uß	?Ð	?úsB   Â#aÂ0aÒaÔa!Ô<a!Õa&
Õ%a&
Ýa+ßa0à)a5á5a>