Ë
     §êjN˜  ã                   óú  — d Z ddlZddlZddlZddlZddlZddlZddlZddl	m
Z
mZmZmZmZmZmZ ddlmZmZmZ ddlmZmZmZ ddlmZ ddlmZmZ ddlmZ  eed	   ez  «       eed
   ez  «       eed   ez  «      cZ Z!Z"e e"z
  e!z
  e ez
  cZ#Z$ e%ee
d      «      D � �cg c]  \  } }|dv sŒ| ‘Œ c}} Z& G d„ dejN                  jP                  «      Z)d„ Z* G d„ dejN                  jP                  «      Z+d›d„Z,dœd„Z-d„ Z.d„ Z/d„ Z0dœd„Z1d„ Z2 ejf                  «       d�d„«       Z4dœd„Z5d„ Z6e7dk(  �r› ejp                  «       Z9e9ju                  dd ¬!«       e9ju                  d"ed¬#«       e9ju                  d$d%d&¬'«       e9ju                  d(e;d)d*¬+«       e9ju                  d,d-g d.¢d/¬0«       e9ju                  d1e;dd2¬+«       e9ju                  d3edd4¬+«       e9ju                  d5ed¬#«       e9ju                  d6dd7¬'«       e9ju                  d8d9d:¬;«       e9ju                  d<d=g d>¬?«       e9ju                  d@d=g dA¬?«       e9ju                  dBddCdDgdE¬0«       e9ju                  dFe;dG¬#«       e9ju                  dHdIdJ¬'«       e9ju                  dKdLdM¬'«       e9ju                  dNd9dO¬;«       e9ju                  dPd dQ¬'«       e9jy                  «       Z=e=j|                  r# ee=j|                  ez  «      Z e e"z
  e!z
  e ez
  cZ#Z$e=j~                  j�                  dR«      edS<   i e
dT   ¥e
dU   e=j‚                     ¥edV<    ej„                  e=j†                  e=jˆ                  «       e=jŠ                  r( ejŒ                  e=jŠ                  e=jŽ                  ¬W«       e=j�                  �e=j�                  edX<   e=j’                  re=j’                  edY<    ej”                  dZ«       e=j–                  �rÔ ej˜                  dXd«      ZMeMedX<    eejœ                  jŸ                  ed[d\e=j                   › d]eM› d^�«      «      ZQ ed_gdIeQ«      ZReRD ]  ZS eeS«      eSd`<   Œ  eTeRD �ch c]  }|da   j�                  db«      d   ’Œ c}«      ZU eCej¬                  j¯                  dc«      j±                  eUdZdd¬e«      «      ZY eQdfeM› dg eZeU«      dZz
  › dh eTeY«      › �«        e5eRD �cg c]  }|da   j�                  db«      d   eYvsŒ|‘Œ  c}eRD �cg c]  }|da   j�                  db«      d   eYv sŒ|‘Œ  c}eQe=«      \  Z[Z\ ejº                  ejœ                  jŸ                  edi«      dj¬k«       ejœ                  jŸ                  edid\e=j                   › d]eM› dl�«      Z^ ej¾                  e[jÁ                  «       e^«        eQdme^› dne\do›dp�«       ea‚dqe=jÄ                  › e=j                   › �Zc eejœ                  jŸ                  ed[ec› d^�«      «      ZQ eQdrec› ds�«       eD ]<  Zdejœ                  jË                   eeced«      «      r eQdted› du�«       Œ2 e6edeceQe=«       Œ>  efecdve=jÄ                  edS   e=jÎ                  e=jÐ                  e=jÒ                  e=jÔ                  e=jÖ                  e ez   ej˜                  dXe
dw   «      dxedV   dye
dz   d{   › d|� eecd}e"e!z   ez  «      ¬~«      Z^eD �ci c]  }|e^d}   d   |   d€   “Œ c}e^d€<   e^d}   d�   Zl eQd‚eldƒ   d„›d…eld†   d„›d‡eldˆ   d‰›dŠeld‹   d‰›dŒeld�   d‰›dp�«       dŽD ]Y  Zm eQd�emd�›d‘�d’jŸ                  d“„ eD «       «      z   d” ejÜ                  eD �cg c]  }e^d€   |   em   d•   ‘Œ c}«      d‰›�z   «       Œ[  eoejœ                  jŸ                  ed–ec› d—�«      d˜«      5 Zp ejâ                  e^epde;¬™«       ddd«        eQdšec› ds�«       yyc c}} w c c}w c c}w c c}w c c}w c c}w # 1 sw Y   Œ6xY w)ža}  A2: DIRECT attention classifier (EEG + the two streams' stimulus features -> stream A or B), LODO, with shortcut controls.

Model  logit = g(EEG, A, B) - g(EEG, B, A): g = vlaai_ws backbone on the channel-concatenated input (58 EEG + 2 x F
       stimulus features: env, onset, dom, z-scored per window), linear read-out, learned temporal pooling. Exactly
       ANTISYMMETRIC in (A, B), so a constant preference for one column cannot be learned (column 0 is the majority-
       attended stream in the corpus).
Train  same preprocessing / augmentation / data as the best reconstruction decoder (prep mat_reac, aug 'cluster',
       + Fuglsang). 5-s windows; label = attended stream 1 s before the window end (the first sample the decision may
       label under the 1-s rule); in a fraction of the windows the two streams swap roles at a random time (synthetic
       switch inside the window). Binary cross-entropy; early stopping on one validation subject per dataset.
Score  identical synthetic-switch schedules and scorer as every other experiment: the schedule of score.py is replayed,
       the stimulus columns are swapped at the switch times, the classifier runs causally every 0.25 s on windows
       ending 0.75 s after the decision time, logit -> HMM (score.py, evidence flagged pre_switched).
Controls on the held-out dataset (no synthetic switch, one decision per second), fold info['controls']:
  normal      accuracy of the 5-s decisions
  zero_eeg    EEG set to 0: must be 50 %; above = the label leaks through the envelopes alone
  shift_eeg   EEG circularly shifted by half the trial: destroys the time-locking to the speech but keeps everything
              that is constant over the trial (gaze direction / EOG, subject, session): must be 50 %; above = shortcut
  no_frontal  frontal channels (Fp, AF, F7/F8: strongest ocular artefacts) set to 0: should stay close to normal
--zero-eeg trains an ENVELOPE-ONLY model (EEG zeroed in training and test): how much of the label is predictable from
the stimuli alone under LODO.
usage: python direct_classifier.py [--train-seed 1] [--tag _x] [--zero-eeg]  -> folds/, results/direct_clf__mat_reac<tag>.jsoné    N)ÚCFGÚEXPÚFSÚ	fold_fileÚ
load_trialÚrows_ofÚsave_pickle)ÚDS_KEYSÚMONTAGESÚSEED)ÚDÚDEVÚ_targets)Údraw_switch_times)Úload_externalÚlog_to)Úscore_experimentÚwindow_sÚinfer_hop_sÚcausal_future_sÚmontage)ÚFP1ÚFPZÚFP2ÚAF3ÚAF4ÚF7ÚF8c                   ó*   ‡ — e Zd ZdZdˆ fd„	Zd„ Zˆ xZS )ÚLoRAzDFrozen linear layer + trainable low-rank update that starts at zero.c                 ó„  •— t         ‰| �  «        |||z  c| _        | _        t        j
                  j                  |j                  |d¬«      | _        t        j
                  j                  ||j                  d¬«      | _
        t        j
                  j                  j                  | j                  j                  «       y )NF©Úbias)ÚsuperÚ__init__ÚbaseÚscaleÚtorchÚnnÚLinearÚin_featuresÚAÚout_featuresÚBÚinitÚzeros_Úweight)Úselfr&   ÚrÚalphaÚ	__class__s       €údirect_classifier.pyr%   zLoRA.__init__/   s€   ø€ Ü‰ÑÔØ $ e¨a¡iÐˆŒ	�4”:Ü—‘—‘ ×!1Ñ!1°1¸5�ÓAˆŒÜ—‘—‘  D×$5Ñ$5¸E�ÓBˆŒÜ�‰�‰×Ñ˜TŸV™VŸ]™]Õ+ó    c                 ó€   — | j                  |«      | j                  | j                  | j                  |«      «      z  z   S ©N)r&   r'   r.   r,   )r2   Úxs     r6   ÚforwardzLoRA.forward6   s/   € Ø�y‰y˜‹|˜dŸj™j¨4¯6©6°$·&±&¸³)Ó+<Ñ<Ñ<Ð<r7   )é   g      0@)Ú__name__Ú
__module__Ú__qualname__Ú__doc__r%   r;   Ú__classcell__©r5   s   @r6   r    r    ,   s   ø„ ÙNõ,ö=r7   r    c           
      óŽ  — ddl }ddlm}  |«       }| dk(  rQ|j                  t	        j
                  t        j                  j                  |j                  ddd«      dd	¬
«      «       t        j                  j                  «       |_        | dk(  ry|j                  «       D ]  }|j                  d«       Œ |j                  j                   dd D ]7  }t#        |j$                  «      t#        |j&                  «      c|_        |_        Œ9 ||j)                  «       D �cg c]  }t	        j*                  |t,        ¬«      ‘Œ c}fS c c}w )z�CBraMod. mode 1: pretrained, frozen, LoRA on the feed-forward layers of the last 3 blocks (D2). mode 2: random start, everything trainable (D3).r   N)ÚCBraModé   Úfoundation_modelsÚcbramodzpretrained_weights.pthÚcpuT)Úmap_locationÚweights_onlyFéýÿÿÿ)Údevice)Úfm_embedÚfm_models.cbramodrD   Úload_state_dictr(   ÚloadÚosÚpathÚjoinÚXTr)   ÚIdentityÚproj_outÚ
parametersÚrequires_grad_ÚencoderÚlayersr    Úlinear1Úlinear2ÚgroupsÚ	as_tensorr   )ÚmoderM   rD   ÚmÚpÚlyÚgs          r6   Ú
fm_encoderrd   :   s  € ãÝ)Ù‹	€AØˆq‚yØ	×Ñœ%Ÿ*™*¤R§W¡W§\¡\°(·+±+Ð?RÐT]Ð_wÓ%xð  HMð  \`ô  aô  	bÜ—‘×"Ñ"Ó$€A„JØˆq‚yØ—‘–ˆAØ×Ñ˜UÕ#ð  à—)‘)×"Ñ" 2 3Ó'ˆBÜ%)¨"¯*©*Ó%5´t¸B¿J¹JÓ7GÐ"ˆBŒJ˜�
ð (à°x·±Ô7HÓIÑ7H°!Œu�‰˜q¬Ö-Ð7HÑIÐIÐIùÒIs   Ä"Ec                   óH   ‡ — e Zd Zdˆ fd„	Zd„ Zd	d„Zd„ Zd„ Zd„ Zd	d„Z	ˆ xZ
S )
Ú	DirectNetc           
      óÀ  •— t         ‰| �  «        t        j                  d«      r"t	        j
                  t        d   |t        «      nd | _        | j                  �| j                  j                  }t	        j                  ||d|z  z   t        «      | _
        t        j                  «       5  | j                  t        j                  dt        |d|z  z   «      «      }d d d «       t        j                  j!                  j"                  d   d«      | _        t        j                  j'                  t        j                  t        «      «      | _        t        j                  d«      rèt        j                  j!                  t+        t        d   «      |d¬«      | _        t        j                  j.                  j1                  | j,                  j2                  «       t        j                  d«      r_t5        t+        t        d   «      «      \  | _        | _        t        j                  j!                  d	t+        t        d   «      d¬«      | _        t        j                  d
«      rmt        j                  j!                  |j"                  d   d«      | _        t        j                  j'                  t        j                  t        «      «      | _        t        j                  d«      rnt        j                  j!                  |j"                  d   d«      | _         t        j                  j'                  t        j                  t        «      «      | _!        y y # 1 sw Y   �ŒzxY w)NÚfm_fronté   rE   éÿÿÿÿÚfm_dimFr"   Ú	fm_onlineiX  Úaux_swÚaux_rate)"r$   r%   r   ÚgetÚdecodersÚFMFrontÚWÚfrontÚout_dimÚbuild_backboneÚbbr(   Úno_gradÚ_bbÚzerosr)   r*   ÚshapeÚheadÚ	ParameterÚtwÚintÚfm_projr/   r0   r1   rd   Úfm_encÚ	fm_groupsÚfm_poolÚhead_swÚtw_swÚ	head_rateÚtw_rate)r2   ÚCÚFsÚbackboneÚor5   s        €r6   r%   zDirectNet.__init__K   s  ø€ Ü‰ÑÔÜ>?¿e¹eÀJÔ>O”X×%Ñ%¤a¨
¡m°Q¼Ô:ÐUYˆŒ
Ø�:‰:Ð!Ø—
‘
×"Ñ"ˆAÜ×)Ñ)¨(°A¸¸B¹±JÄÓBˆŒÜ�]‰]�_Ø—‘œŸ™ Q¬¨1¨q°2©v©:Ó6Ó7ˆA÷ ä—H‘H—O‘O A§G¡G¨B¡K°Ó3ˆŒ	Ü—(‘(×$Ñ$¤U§[¡[´£^Ó4ˆŒÜ�5‰5�Œ?Ü Ÿ8™8Ÿ?™?¬3¬q°©{Ó+;¸QÀU˜?ÓKˆDŒLÜ�H‰H�M‰M× Ñ  §¡×!4Ñ!4Ô5Ü�u‰u�[Ô!Ü.8¼¼Q¸{¹^Ó9LÓ.MÑ+�”˜Tœ^Ü$Ÿx™xŸ™¨s´C¼¸(¹Ó4DÈ5˜ÓQ�”Ü�5‰5�Œ?Ü Ÿ8™8Ÿ?™?¨1¯7©7°2©;¸Ó:ˆDŒLÜŸ™×+Ñ+¬E¯K©K¼«NÓ;ˆDŒJÜ�5‰5�ÔÜ"ŸX™XŸ_™_¨Q¯W©W°R©[¸!Ó<ˆDŒNÜ Ÿ8™8×-Ñ-¬e¯k©k¼!«nÓ=ˆD�Lð ÷ ‰_ús   Â*1MÍMc                 ó^   — | j                  |«      }t        |t        t        f«      r|d   S |S )Nr   )rv   Ú
isinstanceÚtupleÚlist)r2   r:   Úys      r6   rx   zDirectNet._bbb   s+   € Ø�G‰G�A‹JˆÜ! !¤e¬T ]Ô3ˆq�‰tÐ:¸Ð:r7   c                 óî   — | j                  t        j                  |||gd«      «      }| j                  |«      d   }|t        j                  | j
                  d«      z  j                  d«      }|r||fS |S )Nrj   ©.r   r   rE   )rx   r(   Úcatr{   Úsoftmaxr}   Úsum)r2   ÚEr,   r.   ÚfeatÚfÚhÚouts           r6   rc   zDirectNet.gf   sh   € Ø�H‰H”U—Y‘Y  1 a˜y¨"Ó-Ó.ˆØ�I‰I�a‹L˜Ñ ˆØ”5—=‘= §¡¨!Ó,Ñ,×1Ñ1°!Ó4ˆÙ��QˆxÐ( SÐ(r7   c                 óª  — ||j                  dd¬«      z
  |j                  dd¬«      dz   z  }| j                  ||d d …d d …df   |d d …d d …df   d«      \  }}| j                  ||d d …d d …df   |d d …d d …df   d«      \  }}| j                  d||z   z  «      d   t	        j
                  | j                  d«      z  j                  d«      }||z
  |fS )NrE   T©Úkeepdimç�íµ ÷Æ°>r   ç      à?r‘   )ÚmeanÚstdrc   rƒ   r(   r“   r„   r”   )r2   r•   ÚSÚaÚfaÚbÚfbÚsws           r6   Úforward_bothzDirectNet.forward_bothl   sÒ   € Ø�—‘˜ 4�Ó(Ñ(¨Q¯U©U°1¸d¨UÓ-CÀdÑ-JÑKˆØ—‘�q˜!šAšq !˜G™* aªª1¨a¨¡j°$Ó7‰ˆˆ2Ø—‘�q˜!šAšq !˜G™* aªª1¨a¨¡j°$Ó7‰ˆˆ2Ø�l‰l˜3 " r¡'™?Ó+¨FÑ3´e·m±mÀDÇJÁJÐPQÓ6RÑR×WÑWÐXYÓZˆØ�1‰u�bˆyÐr7   c                 óª  — ||j                  dd¬«      z
  |j                  dd¬«      dz   z  }| j                  ||dd…dd…df   |dd…dd…df   d«      \  }}| j                  ||dd…dd…df   |dd…dd…df   d«      \  }}| j                  d||z   z  «      d   t	        j
                  | j                  d«      z  j                  d«      }||z
  |fS )	zEAttention is odd and the training-only rate estimate is even on swap.rE   Tr›   r�   Nr   rž   r‘   )rŸ   r    rc   r…   r(   r“   r†   r”   )r2   r•   r¡   r¢   r£   r¤   r¥   Úrates           r6   Úforward_ratezDirectNet.forward_rates   sÒ   € à�—‘˜ 4�Ó(Ñ(¨Q¯U©U°1¸d¨UÓ-CÀdÑ-JÑKˆØ—‘�q˜!šAšq !˜G™* aªª1¨a¨¡j°$Ó7‰ˆˆ2Ø—‘�q˜!šAšq !˜G™* aªª1¨a¨¡j°$Ó7‰ˆˆ2Ø—‘˜s b¨2¡g™Ó/°Ñ7¼%¿-¹-ÈÏÉÐVWÓ:XÑX×]Ñ]Ð^_Ó`ˆØ�1‰u�dˆ{Ðr7   c           
      óø  — |j                   dd \  }}t        j                  j                  j	                  |j                  ||z  dd«      j                  ddd«      dz  dd	d
¬«      dd…dd…ddd…f   }| j                  |«      dd…dd…ddd…f   }| j                  t        j                  | j                  D �cg c]  }|dd…|f   j                  d«      ‘Œ c}d«      «      j                  ||d«      S c c}w )z9P (B, N, 64, 58): 1-s patches at 64 Hz -> (B, N, fm_dim).Nri   é@   é:   r   rE   g333333Ã?éÈ   ÚlinearT)Úsizer_   Úalign_cornersrj   )rz   r(   r)   Ú
functionalÚinterpolateÚreshapeÚpermuter€   r‚   r’   r�   rŸ   )r2   ÚPr.   ÚNr:   Útokrc   s          r6   Ú	fm_encodezDirectNet.fm_encode{   s  € à�w‰w�r˜ˆ{‰ˆˆ1Ü�H‰H×Ñ×+Ñ+¨A¯I©I°a¸!±e¸RÀÓ,D×,LÑ,LÈQÐPQÐSTÓ,UÐX\Ñ,\ÐcfÐmuð  FJÐ+ó  Kò  LMò  OPð  RVò  XYð  LYñ  ZˆØ�k‰k˜!‹nšQ¢ 1¢a˜ZÑ(ˆØ�|‰|œEŸI™IÀ$Ç.Â.Ó&QÁ.¸Q sª1¨a¨4¡y§~¡~°aÕ'8À.Ñ&QÐSTÓUÓV×^Ñ^Ð_`ÐbcÐegÓhÐhùÒ&Qs   Â;C7c           	      ól  — | j                   �| j                  |«      }t        j                  d«      r"|dd d…f   | j                  |ddd …f   «      z   }||j	                  dd¬«      z
  |j                  dd¬«      dz   z  }|rc| j                  ||d d …d d …df   |d d …d d …df   d«      \  }}| j                  ||d d …d d …df   |d d …d d …df   d«      \  }}||z
  d	||z   z  fS | j                  ||d d …d d …df   |d d …d d …df   «      | j                  ||d d …d d …df   |d d …d d …df   «      z
  S )
Nrk   .r­   rE   Tr›   r�   r   rž   )rs   r   ro   r   rŸ   r    rc   )r2   r•   r¡   r–   r¢   r£   r¤   r¥   s           r6   r;   zDirectNet.forward‚   s;  € Ø�:‰:Ð!Ø—
‘
˜1“ˆAÜ�5‰5�Œ?Ø�#�s˜�s�(‘˜dŸl™l¨1¨S°"±#¨X©;Ó7Ñ7ˆAØ�—‘˜ 4�Ó(Ñ(¨Q¯U©U°1¸d¨UÓ-CÀdÑ-JÑKˆÙØ—F‘F˜1˜a¢¢1 a ™j¨!ªAªq°!¨G©*°dÓ;‰EˆAˆrØ—F‘F˜1˜a¢¢1 a ™j¨!ªAªq°!¨G©*°dÓ;‰EˆAˆrØ�q‘5˜#  b¡™/Ð)Ð)Ø�v‰v�a˜š1ša ˜7™ Q¢qª!¨Q w¡ZÓ0°4·6±6¸!¸QºqÂ!ÀQ¸w¹ZÈÊ1ÊaÐQRÈ7ÉÓ3TÑTÐTr7   )Úvlaai_ws)F)r=   r>   r?   r%   rx   rc   r§   rª   r¹   r;   rA   rB   s   @r6   rf   rf   J   s(   ø„ õ>ò.;ó)òòòi÷
Ur7   rf   c                 óH  — |dk  r| |d…ddd…f   | |d yt        j                  t        j                  t        | «      «      ||dz  z
  z
  |z  dd«      }|j	                  | j
                  «      dd…ddf   }| j                  «       }d|z
  |z  ||dd…ddd…f   z  z   | dd y)a   Swap the two feature streams, optionally cross-fading about tau.

    The fade is training augmentation on already-computed features, not a
    reconstruction of the original audio or its derived features. The hard
    attention label switches at tau, the midpoint of the transition.
    r   Nrj   ç       @ç        ç      ð?)ÚnpÚclipÚarangeÚlenÚastypeÚdtypeÚcopy)r¡   ÚtauÚfade_samplesr4   Úoriginals        r6   Ú_swap_streamsrÊ   �   s®   € ð �qÒØ�C‘D™$˜B˜$�J‘-ˆˆ#ˆ$ˆØÜ�G‰G”R—Y‘Yœs 1›vÓ&¨#°¸sÑ0BÑ*BÑCÀ|ÑSÐUXÐZ]Ó^€EØ�L‰L˜Ÿ™Ó!¢! T¨4 -Ñ0€EØ�v‰v‹x€HØ�%‰K˜8Ñ# e¨h²q¹$¸B¸$°wÑ.?Ñ&?Ñ?€A�a�Dr7   c                 ór  — t        j                  d«      syt        j                  d«      sGd| vrBt        j                  t        j
                  j                  t        dd| d   dz   «      «      | d<   yd	| vrDt        j                  t        j
                  j                  t        dd
| d   dz   «      d¬«      | d	<   |�êt        j                  t        | d   «      dz  «      dz  dz   }t        j                  «       5  t        dt        |«      d«      D �cg c]k  }|j                  t        j                  t        | |||dz    «      d   «      j!                  t"        «      «      d   j%                  «       j'                  «       ‘Œm }}ddd«       t        j(                  «      | d<   yyc c}w # 1 sw Y   Œ(xY w)zìD1: embeddings of the trial, one per 0.25 s: k = embedding of the 1-s EEG patch ending after 32-Hz sample 8k + 7.
    D2 / D3: the 64-Hz input (memory-mapped) for training; with net: the embeddings of the trained encoder, for inference.rk   Nrl   Ú_ZÚcacheÚ
fm_cbramodÚkeyz.npyÚ_PÚfm_inputr3   )Ú	mmap_modeÚeegr<   é   r   é   )r   ro   rÀ   rP   rQ   rR   rS   r   rÂ   rÃ   r(   rw   Úranger¹   Ú
from_numpyÚ
fm_patchesÚtor   rH   ÚnumpyÚconcatenate)ÚtrÚnetÚendsÚiÚZs        r6   Ú	fm_attachrá   Ÿ   sŠ  € ô �5‰5�Œ?ØÜ�5‰5�ÔØ�r‰>Ü—w‘wœrŸw™wŸ|™|¬C°¸,ÈÈ5É	ÐTZÑHZÓ[Ó\ˆBˆt‰HØØ�2�~Ü—7‘7œ2Ÿ7™7Ÿ<™<¬¨W°jÀ"ÀUÁ)ÈfÑBTÓUÐadÔeˆˆ4‰Ø
€Ü�y‰yœ˜R ™Y›¨1Ñ,Ó-°Ñ1°AÑ5ˆÜ�]‰]�_Üzð  ABô  DGð  HLó  DMð  ORô  {Só  Tñ  {SÐuv�—‘œu×/Ñ/´
¸2¸tÀAÀaÈ#Ág¸Ó0OÐPTÑ0UÓV×YÑYÔZ]Ó^Ó_Ð`aÑb×fÑfÓh×nÑnÕpð  {SˆAð  T÷ ä—>‘> !Ó$ˆˆ4Šð	 ùò T÷ ˆ_ús   Ã;F-ÄA0F(ÆF-Æ(F-Æ-F6c                 óâ  — | d   }t        j                  t        |«      ddft         j                  «      }t	        t        j
                  | d   t        j                  |«      dz   dz  z   dz  «      j                  t        «      «      D ]c  \  }}t        |t        |«      «      }t        j                  |t        |dz
  d«      | t         j                  «      }|||dt        |«      z
  d…f<   Œe |S )	zd1-s patches (len(ends), 64, 58) ending after the 32-Hz samples `ends`; before the data start: zeros.rÐ   r¬   r­   Út0rE   é    r   N)rÀ   ry   rÃ   Úfloat32Ú	enumerateÚroundÚasarrayrÄ   r~   ÚminÚmax)rÜ   rÞ   r:   r™   ÚjÚera   s          r6   rØ   rØ   ±   sÇ   € à
ˆ4‰€AÜ
�(‰(”C˜“I˜r 2Ð&¬¯
©
Ó
3€CÜœ"Ÿ(™( B t¡H´·
±
¸4Ó0@À1Ñ0DÈÑ/JÑ$JÈbÑ#PÓQ×XÑXÔY\Ó]Ö^‰ˆˆ1Ü�”3�q“6‹NˆÜ�J‰J�qœ˜Q ™V Q›¨Ð*¬B¯J©JÓ7ˆØ ˆˆAˆr”C˜“F‰{‰|ˆOÒð _ð €Jr7   c                 óü   — | j                  |«      j                  dd«      }t        j                  t        j                  |dd…dd…f   «      |dd…dt
        dz
  …f   gd«      }t        j                  ||gd«      S )z†D2 / D3: encode the 10 patches of each window; every 32-Hz sample sees the latest patch that has ended (sample 31 = end of the first).rä   rE   Né   rj   )r¹   Úrepeat_interleaver(   r’   Ú
zeros_likerr   )rÝ   ÚXr¶   rà   s       r6   Úfm_addrò   ¼   sn   € à�‰�aÓ×*Ñ*¨2¨qÓ1€AÜ�	‰	”5×#Ñ# A¢a¨¨"¨ f¡IÓ.°²!°W´a¸"±f°W°*±Ð>ÀÓB€AÜ�9‰9�a˜�V˜RÓ Ð r7   c                 ó  — t        j                  |||z   «      dz   dz  dz
  }| d   }|t        j                  |dt        |«      dz
  «         j	                  «       }d||dk  <   |j                  t         j                  «      S )z|Embedding seen by 32-Hz samples s .. s + n - 1: the latest patch ending at or before each sample; no patch yet = 0 (causal).rE   r<   rÌ   r   r¾   )rÀ   rÂ   rÁ   rÃ   rÆ   rÄ   rå   )rÜ   ÚsÚnÚkÚZtÚzs         r6   Úfm_slicerù   Ã   sv   € ä	�‰�1�a˜!‘eÓ	˜qÑ	  QÑ&¨Ñ*€AØ	ˆD‰€BØ
Œ2�7‰7�1�aœ˜R› 1™Ó%Ñ&×+Ñ+Ó-€AØ€A€aˆ!�e�HØ�8‰8”B—J‘JÓÐr7   c           
      óš   — |€| d   n|}t        j                  d«      r,t        j                  |t	        | dt        |«      «      gd«      S |S )z-EEG with the embedding columns, for logits().rÓ   rk   r   rE   )r   ro   rÀ   rÛ   rù   rÃ   )rÜ   r:   s     r6   Úwiderû   Ì   sD   € à�Yˆˆ5Š	 A€AÜ>?¿e¹eÀH¼oŒ2�>‰>˜1œh r¨1¬c°!«fÓ5Ð6¸Ó:ÐTÐSTÐTr7   c                 ó°&  — t        j                  | D �cg c]  }t        |d   «      t        z
  ‘Œ c}«      }t        j                  |d«      j                  t        «      }|�t        j                  d«      xs i ni }	|	j                  d«      }
|
€/|j                  t        | «      |||j                  «       z  ¬«      }nðt        j                  | D �cg c]  }t        |j                  d«      «      ‘Œ c}«      }|j                  |«      |
k  }t        j                  |t         j                  «      }||f| | ffD ]p  \  }}|j                  «       sŒt        j                   |«      }|j                  |t#        |j                  «       «      ||   ||   j                  «       z  ¬«      ||<   Œr |t$        _        t        t        j                  d«      «      }t        j(                  |t         j*                  «      }t        j(                  |t         j*                  «      }t        j                  |t        dft         j*                  «      }t        j                  |t        f| d   d	   j,                  d
d  z   t         j*                  «      }t        j                  |t         j*                  «      }|�t        j                  d«      xs i ni }t#        |j                  dd«      «      |j                  dd«      |j                  dd«      }}}t        |j                  dd«      «      }t        |j                  d|«      «      }|dk  s||k  s
|dk(  r|dkD  rt/        d«      ‚t        |j                  dd«      «      }t        |j                  dd«      «      t        |j                  dd«      «      }}t        |j                  dd«      «      } |r%|dk  s||k  s|t0        z  t        k\  rt/        d«      ‚t        |j                  dd«      «      }!t        |j                  dd«      «      t        |j                  dd«      «      }#}"t#        |j                  dd«      «      }$t3        t        j                  dg «      «      }%|!rd |%vrt/        d!«      ‚|s|!r||j                  «       z  nd }&t        |j                  d"d«      «      }'t        |j                  d#d$«      «      t        |j                  d%d&«      «      })}(t        |j                  d'd«      «      }*t        |j                  d(d«      «      }+|+r|'s|*s|s|s|
�t/        d)«      ‚t        j(                  |t         j                  «      },t5        |«      D �]/  \  }-}.|j7                  d||.   d
z   «      }/| |.   }0|
d uxr |0j                  d«      }1|1rú|	j                  d*d«      dkD  rå|j                  «       |	d*   k  rÏd+|0vrGt        j                   t        j8                  |0d,   j                  t"        «      «      dk7  «      d
z   |0d+<   t        |0d+   «      rvt#        t        j:                  |0d+   |j7                  t        |0d+   «      «         |j7                  t0        d-z  t        t0        d-z  z
  «      z
  dt=        ||.   d«      «      «      }/|r:t#        t        j:                  |/|j7                  | |d
z   «      z   d||.   «      «      n|/}2|0d   |/|/t        z    |0d	   |2|2t        z    c||-<   ||-<   |/|,|-<   |!�r»|j                  «       |!k  �r§t        j(                  t        t         j*                  «      }3|j                  t        | «      |$|&¬«      D ]s  }4| |4   d	   }5t#        |j7                  dt        |5«      t        z
  d
z   «      «      }6|3|5|6|6t        z   …t#        |j7                  d-«      «      |%j?                  d «      f   z  }3Œu |3|3jA                  «       z
  |3jC                  «       d.z   z  }3d/|jE                  |"|#«       d0z  z  }7|%j?                  d «      }8||-d d …d d …|8f   |7|3d d …d f   z  z   t        jF                  d|7|7z  z   «      z  ||-d d …d d …|8f<   d1|%v rV||-d d …d d …|8f   }9t        j                  dt        j8                  |9d|9d d
 ¬2«      «      ||-d d …d d …|%j?                  d1«      f<   |/tH        z   }:|'�rw|j                  «       |'k  �rct#        tK        t        |jE                  |(|)«      z  «      «      };tM        |/t        |0d   «      |;z
  «      }<|<dk\  �rt        jN                  d|;d
z
  t        «      }=t        jP                  |=«      j                  t"        «      |=t        jP                  |=«      z
  j                  t         j*                  «      }?}>t        jR                  |>d
z   |;d
z
  «      }@|0d   |<|<|;z    |0d	   |<|<|;z    }A}9|9|>   d
|?d d …d f   z
  z  |9|@   |?d d …d f   z  z   ||-<   |A|>   d
|?d d …d d f   z
  z  |A|@   |?d d …d d f   z  z   ||-<   |<t#        tK        |=tH           «      «      z   }:t#        |0d,   |:   «      }Bd }C|�ä|0j                  d«      rÓ|	j                  d3d«      dkD  r¾t#        t        j:                  |/tH        z   tK        |	d3   t0        z  «      z
  dt        |0d,   «      d
z
  «      «      }Dt#        |0d,   |D   «      }BtK        |	j                  d4d«      t0        z  «      }E|EdkD  r:t        t        j@                  |0d,   t=        DEz
  d«      |D|Ez   d
z    dk(  «      «      }CB}F|r¤|0j                  d«      r“d+|0vrGt        j                   t        j8                  |0d,   j                  t"        «      «      dk7  «      d
z   |0d+<   t        t        j                  |0d+   |/tH        z   d5t0        z  z
  kD  |0d+   |/tH        z   k  z  «      «      ||-<   |+�rÐt        |j7                  dd-«      «      }G|0d,   |/|/t        z    j                  t         jT                  «      jW                  «       }H|Gr||-d d …d d d6…f   ||-<   Hd
z  }Ht        |j                  g d7¢«      «      }It        |jY                  |I«      «      }JJt        t0        z  k  rˆtM        t        d
z
  t#        tK        Jt0        z  «      «      «      }Kt[        ||-   |K«       H|Kd xxx d
z  ccc |Jt=        dt0        z  t        |jY                  I«      «      «      z  }J|Jt        t0        z  k  rŒˆt#        HtH           «      }Bt=        dtH        d8t0        z  z
  «      }Lt        j\                  t        j8                  |H|LtH        d
z    «      «      }Mt        j^                  d9|Mz  t=        tH        |Lz
  t0        z  d.«      z  «      ||-<   �nB|j                  «       |1r||	j                  d:d«      z  n|k  �rt#        |j7                  t0        d-z  t        t0        d-z  z
  «      «      }K|r,t=        d
tK        |jE                  ||«      t0        z  «      «      nd}Nt[        ||-   tM        K|*r"tK        |jE                  d|*«      t0        z  «      ndz   t        «      N«       KtH        k  rd
Bz
  nB}Bt=        ||-   t        tH        d5t0        z  z
  Kcxk  xr	 tH        k  nc «      «      ||-<   |�r$|j                  «       |k  �rt        t0        d-z  z
  Kz
  d-t0        z  kD  rót#        |j7                  Kd-t0        z  z   t        t0        d-z  z
  «      «      }O|r,t=        d
tK        |jE                  ||«      t0        z  «      «      nd}Pt[        ||-   tM        O|*r"tK        |jE                  d|*«      t0        z  «      ndz   t        «      P«       OtH        k  rd
Bz
  nB}Bt=        ||-   t        tH        d5t0        z  z
  Ocxk  xr	 tH        k  nc «      «      ||-<   d}Q|�r!|j                  «       |k  �rt=        d
tK        |jE                  ||«      t0        z  «      «      }Rt#        |j7                  dt        |Rz
  d
z   «      «      }S| t#        |j                  t        | «      |&¬«      «         d	   }5t        |5«      |RkD  rƒt#        |j7                  dt        |5«      Rz
  d
z   «      «      }6|5|6|6|Rz    ||-S|S|Rz   …f<   | rEdt=        dtM        SRz   tH        «      t=        |StH        d5t0        z  z
  «      z
  «      d5t0        z  z  z
  }Q|r<|j                  «       |k  r)d||-d d …d d …|j7                  |j,                  d6   «      f<   C�BFk7  rdCz
  nC||-<   nBdk(  rdnd||-<   Qdk  s�Œd;||-   d;z
  Qz  z   ||-<   �Œ2 ta        jb                  |«      t$        _2        ta        jb                  |«      t$        _3        |�|ji                  ||«      }|rd|d d  t        j                  d<«      rta        jb                  t        jj                  tm        ||,«      D �.�Tcg c]7  \  }.}Tto        | |.   |Td=z   d>t        jp                  t        d>z  «      z  z   «      ‘Œ9 c}T}.«      «      t$        _9        nqt        j                  d?«      r\t        jj                  tm        ||,«      D �.�Tcg c]  \  }.}Ttu        | |.   |Tt        «      ‘Œ c}T}.«      }Ut        jv                  ||Ugd6«      }ta        jb                  |«      ta        jb                  |«      ta        jb                  |«      fS c c}w c c}w c c}T}.w c c}T}.w )@NrÓ   r   ÚaugmentÚclf_real_frac)ra   Ú_realrm   r­   Ú_SrE   Úclf_lag_jitterÚclf_p_feat_dropr¾   Úclf_p_switch2Úclf_xfade_min_sÚclf_xfade_max_szDcross-fade bounds must both be positive and min <= max, or both zeroÚclf_p_lapseÚclf_lapse_min_sr¿   Úclf_lapse_max_sç      @Úclf_lapse_softz1lapse bounds must satisfy 0 < min <= max < windowÚclf_p_babbleÚclf_babble_snr_min_dbÚclf_babble_snr_max_dbg      .@Úclf_babble_talkersé   ÚtargetsÚenvzC4 needs the env featureÚ
clf_p_warpÚclf_warp_mingÍÌÌÌÌÌì?Úclf_warp_maxgš™™™™™ñ?Úclf_label_delay_max_sÚrecipe_var_switchzErecipe_var_switch cannot be mixed with warp/delay/fade/lapse/real-mixÚclf_real_straddleÚ_swÚattri   r�   g      $@g      4@Úonset)ÚaxisÚprependÚclf_real_lagÚclf_real_softé   rj   )g      (@g      >@ç      N@r<   r   Úclf_real_synthrž   rl   rî   rä   rk   )<rÀ   ÚarrayrÃ   rr   ÚmaximumrÄ   Úfloatr   ro   Úchoicer”   ÚboolÚrandomÚemptyÚint64ÚanyÚflatnonzeror~   ÚwindowsÚlast_tiry   rå   rz   Ú
ValueErrorr   rŽ   ræ   ÚintegersÚdiffrÁ   rê   ÚindexrŸ   r    ÚuniformÚsqrtÚLABrç   ré   ÚlinspaceÚfloorÚminimumÚint8rÆ   ÚexponentialrÊ   Úcount_nonzeroÚlog1pr(   r×   Úlast_swÚ	last_rateÚ_augmentÚstackÚziprØ   rÂ   Úlast_Prù   rÛ   )VÚtrialsrõ   ÚrngÚaugÚp_swÚzero_eegÚtÚlensra   ÚA0ÚrfÚtiÚrealÚ	from_realÚselÚpoolÚidxÚauxÚyswÚyraterñ   r¡   r�   r,   ÚlagÚp_fdÚp_sw2Úfade_minÚfade_maxÚp_lapseÚlap_minÚlap_maxÚlap_softÚp_babÚsnr_loÚsnr_hiÚn_babÚtgÚpnÚp_warpÚwarp_loÚwarp_hiÚdly_maxÚrate_recipeÚstartsrë   rß   rô   rÜ   Úis_realÚs2ÚbabÚi2ÚSxÚb0rc   Úierì   Úlab_tÚLrÚs3ÚtqÚt0_ÚfrÚt1_r—   ÚcolÚsoftÚcÚhwÚcol_inÚswapÚ	label_seqÚmean_sÚtime_srÇ   ÚleftÚcountÚfadeÚtau2Úfade2ÚkeepÚn_lÚa0Ústrà   sV                                                                                         r6   r,  r,  Ò   sŠ  € Ü�8‰8±Ó7±¨1”S˜˜5™“]¤QÓ&°Ñ7Ó8€DÜ
�
‰
�4˜Ó×"Ñ"¤5Ó)€AØ%( _Œ!�%‰%�	Ó
Ò
 ™b¸"€BØ	�‰�Ó	 €BØ	€zØ�Z‰Zœ˜F› Q¨!¨a¯e©e«g©+ˆZÓ6‰ä�x‰x±vÓ>±v°!œ˜aŸe™e G›nÕ-°vÑ>Ó?ˆØ—J‘J˜q“M BÑ&ˆ	Ü�X‰X�aœŸ™Ó"ˆØ$ dÐ+¨y¨j¸4¸%Ð-@ÓA‰IˆC�Ø�w‰w�yÜ—n‘n TÓ*�ØŸ*™* S¬#¨c¯g©g«i«.¸A¸c¹FÀQÀsÁVÇZÁZÃ\Ñ<Q˜*ÓR��3’ð Bð „G„OÜ
Œq�u‰u�X‹Ó
€CÜ
�(‰(�1”b—j‘jÓ
!€CÜ�H‰H�QœŸ
™
Ó#€EÜ
�‰�!”Q˜�œRŸZ™ZÓ(€AÜ
�‰�!”Q�˜& ™) D™/×/Ñ/°°Ð3Ñ3´R·Z±ZÓ@€AÜ
�‰�”B—J‘JÓ€AØ$' OŒ�‰ˆyÓ	Ò	™R¸€AÜ˜1Ÿ5™5Ð!1°1Ó5Ó6¸¿¹Ð>OÐQTÓ8UÐWX×W\ÑW\Ð]lÐnqÓWrˆuˆ€CÜ�Q—U‘UÐ,¨cÓ2Ó3€HÜ�Q—U‘UÐ,¨hÓ7Ó8€HØ�!‚|�x (Ò*¨x¸1ª}ÀÈAÂÜÐ_Ó`Ð`Ü�A—E‘E˜-¨Ó-Ó.€GÜ˜QŸU™UÐ#4°cÓ:Ó;¼UÀ1Ç5Á5ÐIZÐ\_ÓC`Ó=aˆW€GÜ�A—E‘EÐ*¨AÓ.Ó/€HÙ�G˜q’L G¨gÒ$5¸Ä2¹ÌÒ9JÜÐLÓMÐMÜ�!—%‘%˜¨Ó,Ó-€EÜ˜1Ÿ5™5Ð!8¸#Ó>Ó?ÄÀqÇuÁuÐMdÐfjÓGkÓAlˆF€FÜ�—‘Ð*¨BÓ/Ó0€EÜ	Œa�e‰e�I˜rÓ"Ó	#€BÙ�˜b‘ÜÐ3Ó4Ð4Ù ¡EˆˆQ�U‰U‹WŠ°€BÜ�1—5‘5˜ sÓ+Ó,€FÜ˜QŸU™U >°3Ó7Ó8¼%ÀÇÁÀnÐVYÓ@ZÓ:[ˆW€GÜ�A—E‘EÐ1°3Ó7Ó8€GÜ�q—u‘uÐ0°!Ó4Ó5€KÙ™¡'©X¹ÀBÀNÜÐ`ÓaÐaÜ�X‰X�aœŸ™Ó"€FÜ˜"—‰ˆˆ1Ø�L‰L˜˜D ™G a™KÓ(ˆØ�A‰YˆØ˜D�.Ò4 R§V¡V¨G£_ˆÙ�r—v‘vÐ1°1Ó5¸Ò9¸c¿j¹j»lÈRÐPcÑMdÒ>dØ˜B‰ÜŸN™N¬2¯7©7°2°e±9×3CÑ3CÄCÓ3HÓ+IÈQÑ+NÓOÐRSÑS��5‘	Ü�2�e‘9Œ~ÜœŸ™  5¡	¨#¯,©,´s¸2¸e¹9³~Ó*FÑ GÈ#Ï,É,ÔWYÐ]^ÑW^Ô`aÔdfÐjkÑdkÑ`kÓJlÑ lÐnoÔqtÐuyÐz{Ñu|Ð~ó  rAó  Bó  C�ÙJMŒS”—‘˜˜SŸ\™\¨3¨$°°a±Ó8Ñ8¸!¸TÀ!¹WÓEÔFÐSTˆØ˜‘Y˜q ¤Q¡Ð'¨¨D©°"°R¼!±VÐ)<ˆ
ˆˆ!‰ˆa�‰dØˆˆq‰	Ú�S—Z‘Z“\ EÓ)Ü—(‘(œ1œbŸj™jÓ)ˆCØ—j‘j¤ V£¨e°r�jÖ:�Ø˜B‘Z Ñ%�Ü˜Ÿ™ a¬¨R«´1©°q©Ó9Ó:�Ø�r˜"˜R¤!™V˜)¤S¨¯©°a«Ó%9¸2¿8¹8ÀE»?ÐJÑKÑK‘ð ;ð ˜Ÿ™›Ñ#¨¯©«	°DÑ(8Ñ9ˆCØ˜#Ÿ+™+ f¨fÓ5Ð5¸Ñ<Ñ=ˆAØ—‘˜%“ˆBØ ¢1¢a¨ ™n¨q°3²q¸$°w±<Ñ/?Ñ?Ä2Ç7Á7È3ÐQRÐUVÑQVÉ;ÓCWÑWˆAˆa’’A�rˆk‰NØ˜"‰}Ø�aššA˜r�k‘N�Ü02·
±
¸3ÄÇÁÈÐPQÐ[\Ð]_Ð^_Ð[`Ô@aÓ0b��!’Qš˜2Ÿ8™8 GÓ,Ð,Ñ-Ø”C‘ˆÚ�c—j‘j“l VÓ+Ü”Uœ1˜sŸ{™{¨7°GÓ<Ñ<Ó=Ó>ˆBÜ�Qœ˜B˜u™I›¨Ñ+Ó,ˆBØ�Q‹wÜ—[‘[  B¨¡F¬AÓ.�ÜŸ(™( 2›,×-Ñ-¬cÓ2°R¼"¿(¹(À2»,Ñ5F×4NÑ4NÌrÏzÉzÓ4Z�R�Ü—j‘j  q¡¨"¨q©&Ó1�Ø˜%‘y  B¨¡GÐ,¨b°©h°r¸"¸r¹'Ð.B�1�Ø˜‘v  Rª¨4¨¡[¡Ñ1°A°c±F¸RÂÀ4À¹[Ñ4HÑH��!‘Ø˜‘v  Rª¨4°¨Ñ%6Ñ!6Ñ7¸!¸C¹&À2ÂaÈÈtÀmÑCTÑ:TÑT��!‘ØœS¤ r¬#¡w£Ó0Ñ0�Ü�"�U‘)˜EÑ"Ó#ˆØˆØˆ?˜rŸv™v gœ°2·6±6¸.È!Ó3LÈqÒ3PÜ”B—G‘G˜A¤™G¤e¨B¨~Ñ,>ÄÑ,CÓ&DÑDÀaÌÈRÐPUÉYËÐZ[ÑI[Ó\Ó]ˆAÜ�b˜‘i ‘lÓ#ˆCÜ�r—v‘v˜o¨qÓ1´BÑ6Ó7ˆBØ�AŠvÜœRŸW™W R¨¡Y¬s°1°r±6¸1«~¸aÀ"¹fÀq¹jÐ%IÈQÑ%NÓOÓP�ØˆÙ�2—6‘6˜'”?Ø˜B‰ÜŸN™N¬2¯7©7°2°e±9×3CÑ3CÄCÓ3HÓ+IÈQÑ+NÓOÐRSÑS��5‘	Üœ2Ÿ6™6 2 e¡9¨q´3©w¸¼R¹Ñ/?Ñ#?ÀBÀuÁIÐQRÔUXÑQXÑDXÑ"YÓZÓ[ˆC�‰FÚô ˜Ÿ™ Q¨Ó*Ó+ˆDØ˜5™	 ! A¬¡EÐ*×1Ñ1´"·'±'Ó:×?Ñ?ÓAˆIÙØ˜šA™t ˜t˜‘}��!‘Ø˜Q‘�	Ü˜3Ÿ:™:Ò&8Ó9Ó:ˆFÜ˜3Ÿ?™?¨6Ó2Ó3ˆFØœ1œr™6’/Üœ!˜a™%¤¤U¨6´B©;Ó%7Ó!8Ó9�Ü˜a ™d CÔ(Ø˜#˜$“ 1Ñ$“Øœ#˜c¤B™h¬¨c¯o©o¸fÓ.EÓ(FÓGÑG�ð	 œ1œr™6“/ô
 �i¤‘nÓ%ˆCä�qœ# ¤B¡™,Ó'ˆDÜ×$Ñ$¤R§W¡W¨Y°t¼CÀ!¹GÐ-DÓ%EÓFˆEÜ—x‘x  u¡¬s´C¸$±JÄ"Ñ3DÀdÓ/KÑ KÓLˆE�!‹HØ�Z‰Z‹\ÁW˜T B§F¡FÐ+;¸SÓ$AÒAÐRVÓWÜ�c—l‘l¤2¨¡7¬A´°a±©KÓ8Ó9ˆCÙJR”3�qœ% §¡¨H°hÓ ?Ä"Ñ DÓEÔFÐXYˆDÜ˜!˜A™$¤ CÑRY¬5°·±¸QÀÓ1HÌ2Ñ1MÔ+NÐ_`Ñ$aÔcdÓ eÐgkÔlØ ¤CšZ�!�c’'¨SˆCÜ˜˜Q™¤¤s¨Q´©V¡|°cÖ'@¼SÔ'@Ó!AÓBˆC�‰FÚ˜Ÿ™›¨Ó-´!´b¸A±g±+ÀÑ2CÀaÌ"ÁfÒ2LÜ˜3Ÿ<™<¨¨a´"©f©´a¼"À¹'±kÓBÓC�ÙOWœ˜Aœu S§[¡[°¸8Ó%DÄrÑ%IÓJÔKÐ]^�Ü˜a ™d¤C¨ÑW^´°c·k±kÀ!ÀWÓ6MÔPRÑ6RÔ0SÐdeÑ(fÔhiÓ$jÐlqÔrØ!%¬¢�a˜#’g°#�Ü˜S ™V¤U¬3°´R±©<¸$Ö+EÄ#Ô+EÓ%FÓG��A‘ØˆÚ�s—z‘z“| gÓ-Ü�aœ˜sŸ{™{¨7°GÓ<¼rÑAÓBÓCˆCÜ�S—\‘\ !¤Q¨¡W¨q¡[Ó1Ó2ˆBØœ˜CŸJ™J¤s¨6£{°b˜JÓ9Ó:Ñ;¸DÑAˆBÜ�2‹w˜Š}Ü˜Ÿ™ a¬¨R«°3©¸Ñ):Ó;Ó<�Ø$& r¨"¨s©( O��!�R˜˜S™�[�.Ñ!ÙØ¤ Q¬¨B°©H´cÓ(:¼SÀÄSÈ1ÌrÉ6Á\Ó=RÑ(RÓ!SÐWXÔ[]ÑW]Ñ!^Ñ^�DÙ�C—J‘J“L 4Ò'Ø47ˆAˆa’’A�s—|‘| A§G¡G¨B¡KÓ0Ð0Ñ1ØÐØ!$¨¢�3˜’:°DˆAˆaŠDà š(‘3¨ˆAˆa‰DØ�#Œ:Ø˜!˜A™$ ™*¨Ñ,Ñ,ˆAˆa‹DðI ôJ ×&Ñ& sÓ+„G„OÜ×(Ñ(¨Ó/„GÔØ
€Ø�L‰L˜˜CÓ ˆÙØˆ‰!ˆÜ‡u�uˆ[ÔÜ×)Ñ)¬"¯(©(Ôz}ð  Að  CIô  {Jô  4Kñ  {JÑqvÐqrÐtv´J¸vÀa¹yÈ"ÈrÉ'ÐTVÔY[×YbÑYbÔcdÐhjÑcjÓYkÑTkÑJkÕ4lð  {Jò  4Kó  +Ló  MŒ�Ü	
�‰ˆxŒÜ�H‰H¼cÀ"Àf¼oÔN¹o±U°Q¸”h˜v a™y¨"¬aÕ0¸oÒNÓOˆÜ�N‰N˜A˜q˜6 2Ó&ˆÜ×Ñ˜AÓ¤× 0Ñ 0°Ó 3´U×5EÑ5EÀaÓ5HÐHÐHùò} 8ùò ?ùóf 4KùãNs   ”AMÃ!AMÁI<AMÁKAM
rE   c           
      óÖ  ‡— t        |«      }t        j                  d«      r^|j                  d   dk(  rLt	        j
                  |t	        j                  |t        t        d   «      ft        j                  «      gd«      }|j                  d   }t	        j
                  t	        j                  t        |ft        j                  «      |j                  t        j                  «      t	        j                  t        t        z   |ft        j                  «      g«      }t	        j
                  t	        j                  t        f|j                  dd z   t        j                  «      |t	        j                  t        t        z   f|j                  dd z   t        j                  «      g«      }t	        j                  d|t        |z  «      }t	        j                  t        |«      t        j                  «      }	t        t        j                  d«      «      xr t!        | d«      }
|
r-t	        j                  t        |«      t        j                  «      nd}t        t        j                  dd	«      «      }t#        dt        |«      |«      D ]Ô  }||||z    Šˆfd
„||fD «       \  }}|
r„| j%                  ||«      \  }}|j'                  «       j)                  «       t+        j,                  |«      j'                  «       j)                  «       c|	||t        ‰«      z    |||t        ‰«      z    Œ¡ | ||«      j'                  «       j)                  «       |	||t        ‰«      z    ŒÖ |t.        _        |	|fS )zeCausal decisions: hop start a -> window x[a - POS0 : a + HOP + FUT] (zero padded), every `step` hops.rk   rE   r­   Nr   rm   rƒ   Úinfer_bsi   c              3   óÎ   •K  — | ]W  }t        j                  t        j                  ‰D �cg c]  }|||t        z    ‘Œ c}«      «      j                  t        «      –— ŒY y c c}w ­wr9   )r(   r×   rÀ   r?  rr   rÙ   r   )Ú.0rø   rö   r¢   s      €r6   Ú	<genexpr>zlogits.<locals>.<genexpr>„  sP   øè ø€ Ð`ÑW_ÐRS”%×"Ñ"¤2§8¡8ÁÓ,CÁ¸A¨Q¨q°´Q±ªZÀÑ,CÓ#DÓE×HÑHÌ×MÑW_ùÒ,Cùs   ƒ'A%ªA ½(A%)rÃ   r   ro   rz   rÀ   rÛ   ry   r~   rå   ÚPOS0rÄ   ÚFUTÚHOPrÂ   r(  r&  ÚhasattrrÖ   r§   rH   rÚ   r(   ÚsigmoidÚlogitsr<  )rÝ   r:   r¡   ÚstepÚTr‡   ÚxpÚSprh  r™   rQ  ÚoutswÚbsrß   ÚxbÚsbÚlgr¦   r¢   s                     @r6   r“  r“  t  s†  ø€ ô 	ˆA‹€AÜ‡u�uˆX„˜1Ÿ7™7 1™:¨Ò+Ü�N‰N˜AœrŸx™x¨¬C´°(±Ó,<Ð(=¼r¿z¹zÓJÐKÈQÓOˆØ	�‰�‰
€AÜ	�‰œŸ™¤4¨ )¬R¯Z©ZÓ8¸!¿(¹(Ä2Ç:Á:Ó:NÔPR×PXÑPXÔZ]Ô`cÑZcÐefÐYgÔik×isÑisÓPtÐuÓ	v€BÜ	�‰œŸ™¤4 '¨A¯G©G°A°B¨KÑ"7¼¿¹ÓDÀaÌÏÉÔSVÔY\ÑS\ÐR^Ðab×ahÑahÐijÐikÐalÑRlÔnp×nxÑnxÓIyÐzÓ	{€BÜ�Y‰Y�q˜!œS 4™ZÓ(€FÜ
�(‰(”3�v“;¤§
¡
Ó
+€CÜ
Œq�u‰u�X‹Ó
Ò
;¤G¨C°Ó$;€CÙ14ŒB�H‰H”S˜“[¤"§*¡*Ô-¸$€EÜ	ŒQ�U‰U�:˜tÓ$Ó	%€BÜ�1”c˜&“k 2Ö&ˆØ�1�Q˜‘VÐˆÛ`ÐXZÐ\^ÑW_Ó`‰ˆˆBÙØ×%Ñ% b¨"Ó-‰FˆB�Ø57·V±V³X·^±^Ó5EÄuÇ}Á}ÐUWÓGX×G\ÑG\ÓG^×GdÑGdÓGfÐ2ˆC��!”c˜!“f‘*Ð˜u Q q¬3¨q«6¡zÑ2á # B¨£§¡Ó 1× 7Ñ 7Ó 9ˆC��!”c˜!“f‘*Ñð 'ð „F„NØ�ˆ;Ðr7   c                 óv  — | d   d   j                   d   }t        j                  dt        d   «      }t	        j
                  |«       t        d||j                  «      j                  t        «      }|ry|j                  t	        j                  |t        ¬«      t        j                  d«      xs, t        j                  d	«      xs t        j                  d
«       ¬«        |d|› �«       t        j                  j                  t        j                  «      }t        t         t"        df\  |_        |_        |_        |_        t*        j,                  j/                  |«      }	t1        |t        d   |	d|j2                  |j4                  «      \  }
}}t        j                  d«      rt0        j6                  nd}ddt9        |j;                  «       «      }}}t        j                  d«      r¥t        j<                  | t        d   «      \  }}t        j>                  |j@                  jB                  |«      j                  t        «      }|t9        |j;                  «       «      z  } |dt        d   › d|› dt        j                  dd«      › �«       t        jD                  jG                  t        jH                  ||«      t        d   t        d   ¬«      }t        jD                  jJ                  jM                  |ddt        d   ¬«      }t        jN                  |«      }d}t        jP                  jR                  jT                  }t*        jV                  dd}}}tY        t        d   «      D �]  }t[        jZ                  «       g g }}}|j]                  «        tY        t        d   «      D �]d  }t        j^                  ||«       |dz  }t1        | t        d    |	||j2                  |j4                  «      D � cg c]  } | j                  t        «      ‘Œ c} \  }!}"}#t        j                  d«      r.ta        ||!t0        j6                  j                  t        «      «      }!|�€$t        j                  d	«      �rg|jc                  |!|"«      \  }$}%t        j                  d!«      xs i }&|&j                  d"d«      r2te        |&d"   «      }'|$d#|'z
  d$|'z  t	        jf                  |$«      z  z   z  }$|&j                  d%d«      r'|$te        |&d%   «      t	        jh                  |$«      z  z   }$|&j                  d&d«      r4|$jk                  t	        jf                  |$«      te        |&d&   «      k  d'«      }$ ||$|#«      te        t        j                  d(d)«      «      t        jP                  jR                  jm                  |%t0        jn                  j                  t        «      «      z  z   }(n†t        j                  d«      ra|jq                  |!|"«      \  }$}) ||$|#«      t        j                  d*d«       ||)t0        jr                  j                  t        «      «      z  z   }(n | ||!|"«      |#«      }(|ju                  |(jw                  «       «       �n
 ||!|"d+¬,«      \  }$}* ||$|#«      }(|ju                  |(jw                  «       «        ||*t        jx                  |«      «      }+t	        jz                  t0        j|                     «      j                  t        «      },|(t        jP                  jR                  j                  |+|,«      z   }(|ju                  |+j�                  d«      |,k(  je                  «       jƒ                  «       jw                  «       «       |dz  }|j…                  «        |(j‡                  «        t        jP                  jˆ                  j‹                  |t        j                  d-d.«      «       |j�                  «        |€�ŒU|j�                  «        �Œg |j�                  «        t	        j�                  «       5  t“        t        j                  d/d0«      «      }-t	        j”                  tY        dt—        |
«      |-«      D �.cg c]Œ  }. ||�?ta        ||
|.|.|-z    j                  t        «      ||.|.|-z    j                  t        «      «      n|
|.|.|-z    j                  t        «      ||.|.|-z    j                  t        «      «      j™                  «       ‘ŒŽ c}.«      }/ddd«        |/|«      jw                  «       |/dkD  je                  «       |k(  je                  «       jƒ                  «       jw                  «       }1}0||jš                  k\  r|€|j�                  |0«        |d1|d2›d3t+        j‚                  |«      d4›d5|0d4›d6|1d7›d8t[        jZ                  «       |z
  d9›d:�|rd;t+        j‚                  |«      d7›�nd<z   «       |0|d=z
  k  rS|0d|j�                  «       jŸ                  «       D �2�3ci c]$  \  }2}3|2|3j¡                  «       j£                  «       “Œ& }}2}3}}�Œè||jš                  k\  s�Œù|dz  }|t        d>   k\  s�Œ n |j                  |«       |j�                  «        ||fS c c} w c c}.w # 1 sw Y   �Œ—xY wc c}3}2w )?zlTrain a DirectNet (binary cross-entropy, early stopping on the validation windows). Returns (net, best val).r   r   rj   Ú
train_seedÚseedr­   )rI   rm   rn   rk   )Ústrictz  initialised from Úval_windowsNrl   Úadvz  adversarial z loss: z classes, lambda Ú
adv_lambdaçš™™™™™©?ÚlrÚweight_decay)r¥  r¦  ré   rž   Úlr_patience)r_   ÚfactorÚpatienceÚ
max_epochsÚsteps_per_epochrE   Ú
batch_sizerý   Úrecipe_logit_gainr¿   r½   Úrecipe_logit_noiseÚrecipe_logit_drop_pr¾   Úaux_rate_weightgš™™™™™¹?Ú
aux_lambdaT)r–   rÁ   r	  rŠ  é€   z
    epoch Ú02dz train ú.4fz	 val BCE z acc ú.3fz (ú.0fzs)z | adversary acc Ú g-Cëâ6?r©  )Rrz   r   ro   r   r(   Úmanual_seedrf   r‰   rÙ   r   rO   rP   rp   ÚDNNDecÚ__new__rr   r�  r�  ÚfutÚhopr‡   rÀ   r'  Údefault_rngr,  Úp_switchrF  rA  rŽ   rW   Ú
domain_idsÚAdvHeadr{   r+   ÚoptimÚAdamWÚfm_param_groupsÚlr_schedulerÚReduceLROnPlateauÚcosine_schedr)   r²   Ú binary_cross_entropy_with_logitsÚinfrÖ   ÚtimeÚtrainÚfm_lpftrò   rª   r$  Ú	rand_likeÚ
randn_likeÚmasked_fillÚmse_lossr=  r§   r<  ÚappendÚitemr£  r×   r-  Úcross_entropyÚargmaxrŸ   Ú	zero_gradÚbackwardÚutilsÚclip_grad_norm_r”  Úevalrw   r~   r’   rÃ   rH   Ú
min_epochsÚ
state_dictÚitemsÚdetachÚclone)4rÊ  ÚvalÚlogr¢   Ú	init_fromrˆ   rŸ  rÝ   rD  ÚrsÚXvÚSvÚyvÚPvr¢  r”  ÚparamsÚdomÚn_domÚoptÚschÚcosÚn_stepÚbceÚbestÚbadÚstateÚepÚt1ÚtlÚdaÚ_rø   rñ   r¡   r�   rœ  r©   r,   rc   Úlossr¦   r—   ÚdlÚdtÚvbrß   ÚlvÚvlÚvarö   Úvs4                                                       r6   Úfitrþ  Ž  s	  € à	ˆq‰�$‰×	Ñ	˜bÑ	!€BÜ�5‰5�œs 6™{Ó+€DÜ	×Ñ�dÔÜ
�B˜˜AŸJ™JÓ
'×
*Ñ
*¬3Ó
/€CÙØ×ÑœEŸJ™J y¼sÔCÔQR×QVÑQVÐW_ÓQ`ò  RIÔde×diÑdiÐjtÓduò  RIÔyz×y~Ñy~ð  @Hó  zIð  MJÐô  	KÙÐ! ) Ð-Ô.Ü
�/‰/×
!Ñ
!¤(§/¡/Ó
2€CÜ%&¬¬S°" _Ñ"€C„Eˆ3Œ7�C”G˜SœUÜ	�‰×	Ñ	˜tÓ	$€BÜ˜œa Ñ.°°D¸!¿*¹*ÀaÇjÁjÓQ�J€BˆˆBÜŸ5™5 Ô-Œ�Š°4€BØ˜a¤ c§n¡nÓ&6Ó!7ˆvˆ€CÜ‡u�uˆU„|Ü×(Ñ(¨´°%±Ó9‰
ˆˆUÜ×Ñ˜sŸx™x×3Ñ3°UÓ;×>Ñ>¼sÓCˆØ”$�s—~‘~Ó'Ó(Ñ(ˆÙˆnœQ˜u™X˜J g¨e¨WÐ4EÄaÇeÁeÈLÐZ^ÓF_ÐE`ÐaÔbÜ
�+‰+×
Ñ
œH×4Ñ4°S¸&ÓAÄaÈÁgÔ\]Ð^lÑ\mÐ
Ó
n€CÜ
�+‰+×
"Ñ
"×
4Ñ
4°S¸uÈSÔ[\Ð]jÑ[kÐ
4Ó
l€CÜ
×
Ñ
 Ó
$€CØ€FÜ
�(‰(×
Ñ
×
>Ñ
>€CÜ—v‘v˜q $ˆuˆ#€DÜ”A�l‘O×$ˆÜ—Y‘Y“[ " b�ˆBˆØ�	‰	ŒÜ”qÐ*Ñ+×,ˆAÜ×Ñ˜S &Ô)Ø�a‰KˆFÜ*1°%¼¸<¹È"ÈcÐST×S]ÑS]Ð_`×_iÑ_iÔ*jÓkÑ*j Q�q—t‘tœC•yÐ*jÑk‰GˆAˆq�!Ü�u‰u�[Ô!Ü˜3 ¤7§>¡>×#4Ñ#4´SÓ#9Ó:�Ø‰{Ü—5‘5˜Õ$Ø"×/Ñ/°°1Ó5‘H�B˜ô Ÿ™˜iÓ(Ò.¨B�AØ—u‘uÐ0°!Ô4Ü! !Ð$7Ñ"8Ó9˜Ø 3¨¡7¨S°1©W´u·±ÀrÓ7JÑ-JÑ#JÑK˜Ø—u‘uÐ1°1Ô5Ø¤%¨Ð*>Ñ(?Ó"@Ä5×CSÑCSÐTVÓCWÑ"WÑW˜Ø—u‘uÐ2°AÔ6ØŸ^™^¬E¯O©O¸BÓ,?Ä%ÈÐJ_ÑH`ÓBaÑ,aÐcfÓg˜Ù˜r 1›:¬¬a¯e©eÐ4EÀsÓ.KÓ(LÌuÏxÉx×ObÑOb×OkÑOkÐlpÔry÷  sDñ  sD÷  sGñ  sGô  HKó  sLó  PMñ  )Mñ  M‘DÜ—U‘U˜8”_Ø ×-Ñ-¨a°Ó3‘F�B˜Ù˜r 1›:¬¯©¨l¸CÓ(@Á3ÀrÌ7Ï?É?×K]ÑK]Ô^aÓKbÓCcÑ(cÑc‘Dá™s 1 a›y¨!Ó,�DØ—	‘	˜$Ÿ)™)›+Ö&á˜A˜q tÔ,‘��AÙ˜2˜q“z�Ø—	‘	˜$Ÿ)™)›+Ô&Ù˜œH×/Ñ/°Ó5Ó6�Ü×%Ñ% c¬'¯/©/Ñ&:Ó;×>Ñ>¼sÓC�ØœeŸh™h×1Ñ1×?Ñ?ÀÀBÓGÑG�Ø—	‘	˜2Ÿ9™9 Q›<¨2Ñ-×4Ñ4Ó6×;Ñ;Ó=×BÑBÓDÔEØ˜‘	�Ø�M‰MŒOØ�M‰MŒOÜ�H‰H�N‰N×*Ñ*¨6´1·5±5¸ÀÓ3EÔFØ�H‰HŒJØŠØ—‘–
ðQ -ðR 	�‰Œ
Ü�]‰]�_Ü”Q—U‘U˜: sÓ+Ó,ˆBÜ—‘Ü%*¨1¬c°"«g°rÔ%:ó<Ù%: ñ  Ð[]Ð[i¤ s¨B¨q°°R±¨L¯O©O¼CÓ,@À"ÀQÀqÈ2ÁvÀ,Ç/Á/ÔRUÓBVÔ WÐoqÐrsÐtuÐxzÑtzÐo{×o~Ño~ô  @Có  pDð  FHð  IJð  KLð  OQñ  KQð  FR÷  FUñ  FUô  VYó  FZó  [÷  _ñ  _õ  aØ%:ñ<ó =ˆB÷ ñ �R˜“×!Ñ!Ó# r¨A¡v§n¡nÓ&6¸"Ñ&<×%CÑ%CÓ%E×%JÑ%JÓ%L×%QÑ%QÓ%SˆBˆØ�—‘Ò # +Ø�H‰H�RŒLÙˆj˜˜C˜ ¬¯©°«°CÐ'8¸	À"ÀSÀÈÈrÐRUÈhÐVXÔY]×YbÑYbÓYdÐgiÑYiÐjmÐXnÐnpÐqÙ8:Ð"¤2§7¡7¨2£;¨sÐ"3Ñ4ÀñDô 	Eà��t‘ÒØ! 1ÈÏÉÓIY×I_ÑI_ÔIaÔ&bÑIaÁÀÀA q¨!¯(©(«*×*:Ñ*:Ó*<Ñ'<ÐIa�uÑ&b�#ŠDØ�1—<‘<ÔØ�1‰HˆCØ”a˜
‘mÔ#Ùðw %ðx ×Ñ˜ÔØ‡H�H„JØ�ˆ9Ðùòq lùòR<÷ ‰_üó 'cs,   Ï4jà4Aj(á;Bj#äj(è")j5ê#j(ê(j2	c                 óº  — | t         d<   t        j                  j                  t        d   t        j                  | «      z   «      }g g }}t
        D ]�  }|| k(  rŒ	t        |«      }|j                  t        |j                  j                  «       «      «      }	|j                  «       D ]7  \  }
}|d   |	k(  r|n|j                  t        |j                  |d   «      «       Œ9 Œ‘ t        j                   d«      s|t#        dg|j                  |«      z  }|j$                  j'                  d«      D �cg c]  }|sŒ|‘Œ	 c}D ]�  }t#        |g|j                  |«      }|j                  t        |D �ch c]  }|d   j'                  d«      d	   ’Œ c}«      «      }	|D ]4  }d
|d<   |d   j'                  d«      d	   |	k(  r|n|j                  |«       Œ6 Œ’ ||z   D ]  }t)        |«      |d<   t+        |«       Œ  |d| › dt-        |«      › dt-        |«      › d|d   d   j.                  d   › d�	«       t1        j0                  «       }t3        |||||j4                  «      \  }}t1        j0                  «       |z
  }~~t        j                  j                  t6        t        j                  | «      z   «      }i dD �ci c]  }|i “Œ }}}t        | «      j                  «       D �]Ã  \  }
}t        |j                  |d   «      }t+        ||«       t)        |«      |d   |d   j9                  t:        «      t;        |d   «      f\  }}}}t=        ||dz  «      }|j?                  dd«       t        j@                  |tB        «      dd}}}|D ]0  } tE        |d	z
  t;        tG        | dz  «      «      «      }!||||! | |!}}Œ2 |||d  |t        jH                  |d	z
  t        jF                  t        jJ                  t-        |«      «      tL        z  |d   z   dz  «      j9                  t:        «      «         }"t        jN                  |"d d …d d f   |d d …d d d…f   |«      }#|jP                  rt        jR                  |«      n|}$tU        |tW        ||$«      |#«      \  }%}&tT        jX                  }'||"z  t        jZ                  |&t\        z
  d«         }(t-        |%«      dz  })t_        |%dz  |% dz  |(j9                  t        j`                  «      |&tL        z  |d   z   j9                  t        jb                  «      |%d |)dz   je                  |)d«      jg                  d	«      dz  |%d |)dz   je                  |)d«      jg                  d	«       dz  |(d |)dz   je                  |)d«      jg                  d	«      dkD  j9                  t        j`                  «      d
¬«      ||d   <   |'�|'||d      d<   |ji                  «       }*d |*d d …tj        f<   d!|$fd"t        jR                  |«      fd#t        jl                  |$t-        |«      dz  d«      fd$|*ffD ]e  \  }+},tU        ||,|d%¬&«      \  }-}.||+   jo                  |d'   g «      j                  |-dkD  |t        jZ                  |.t\        z
  d«         dk(  k(  «       Œg �ŒÆ |jq                  «       D ��/�0ci c]Ï  \  }}/|t_        ts        t        jf                  t        jt                  |/jw                  «       D �0cg c]  }0t        jt                  |0«      ‘Œ c}0«      «      «      ts        t        jx                  |/jw                  «       D �0cg c]*  }0t        jf                  t        jt                  |0«      «      ‘Œ, c}0«      «      ¬(«      “ŒÑ }1}/}}0t_        d)|j                  | |t1        j0                  «       |z
  tz        t\        z   tL        z  |d*|1¬+«	      }2t}        t_        d,|i|2¬-«      t        || «      «        |d| › d.|2d/   d0›d1�d2j�                  d3„ |1jq                  «       D «       «      z   «       t‚        j„                  j!                  d4«      rNt‡        jˆ                  |j‹                  «       t‚        jŒ                  j�                  tŽ        d5d6|› d7| › d8�«      «       ~t†        j�                  j“                  «        y c c}w c c}w c c}w c c}0w c c}0w c c}0}/}w )9NÚfm_heldrŸ  ÚsubjectrÏ   Úno_fuglsangÚFuglsang2020Ú,rõ  rE   Trÿ   r   ú  fold held-out=ú: z	 train / z val trials, r   rj   z stimulus features per stream©ÚnormalrF  Ú	shift_eegÚ
no_frontalrÓ   r  rõ   r²  ri   Frã   é(   rž   )Úr0Úr1r  Út_endÚr0_10Úr1_10Úatt10Úpre_switchedr¦   r¾   r  rF  r	  r
  é   )r”  Úsubj_uid)ÚpooledÚsubject_medianÚ
direct_clfr­   )	ÚdecoderÚprepÚheld_outÚfit_sÚtotal_sÚlookahead_sÚbest_valÚchannelsÚcontrolsÚcausal)ÚevidenceÚinfoz	 done in r  r¶  z-s: controls (5-s decisions, pooled accuracy) ú  c              3   ó8   K  — | ]  \  }}|› d |d   d›�–— Œ y­w)Ú r  rµ  N© )rŒ  rö   rý  s      r6   r�  zrun_fold.<locals>.<genexpr>*  s)   è ø€ ÐJÑ9I±°°A�q�c˜˜1˜X™; sÐ+Ô,Ñ9Iùs   ‚ÚSAVE_FOLD_WEIGHTSÚmodelsÚfold_Ú__ú.pt)Jr   rÀ   r'  r½  r   r
   r1  r   r%  Úsortedr  ÚuniqueÚiterrowsrÐ  r   r  ro   r   Ú
extra_realÚsplitr   rá   rÃ   rz   rÉ  rþ  rà  r   rÄ   r~   r   r/  ry   r&  ré   rç   r7  rÂ   r   ÚwhererF  rð   r“  rû   r<  r#  r�  Údictr8  rå   r´   rŸ   rÆ   ÚFRONTALÚrollÚ
setdefaultrÛ  r$  rÛ   ÚvaluesÚmedianr�  r	   r   rS   rQ   Úenvironr(   ÚsaverÚ  rR   r   ÚcudaÚempty_cache)3ÚheldÚexprß  r¢   rC  rÊ  rÞ  ÚdsÚrowsÚvsrõ  r3   r:   ÚnmÚextrG  rÜ   rã   rÝ   rî  Út_fitÚsrngrö   ÚevÚctlr¡   r  ÚT128ÚtimesÚst128ÚcurÚprevÚttÚs0rˆ  ÚSswÚxerœ  rh  Úsw_pÚtruthÚn10ÚxfÚnameÚxcÚl1Ús1Údrý  r   r#  s3                                                      r6   Úrun_foldrZ  é  s!  € Ø„A€i�LÜ
�)‰)×
Ñ
¤ F¡¬g¯m©m¸DÓ.AÑ AÓ
B€CØ�Rˆ3€EßˆØ�Š:ØÜ�r‹{ˆØ�Z‰Zœ˜tŸ|™|×2Ñ2Ó4Ó5Ó6ˆØ—M‘M–O‰DˆAˆqØ�i‘L BÒ&‰S¨E×9Ñ9¼*ÀQÇVÁVÈQÈuÉXÓ:VÕWñ $ð ô �5‰5�ÔØ” Ð/°·±¸Ó=Ñ=ˆØŸ,™,×,Ñ,¨SÔ1Ó7Ñ1�Q²QŠqÐ1Ô7ˆÜ˜R˜D !§&¡&¨#Ó.ˆØ�Z‰ZœÁÓDÁ¸1  %¡§¡¨sÓ 3°AÓ 6ÀÑDÓEÓFˆÛˆAØˆAˆg‰JØ�e‘H—N‘N 3Ó'¨Ñ*¨bÒ0‰S°e×CÑCÀAÕFñ ð 8ð �cŒkˆÜ˜B“<ˆˆ4‰Ü�"�ð ñ Ð
˜4˜& ¤3 u£: ,¨i¼¸C»°zÀÈuÐUVÉxÐX\É~×OcÑOcÐdfÑOgÐNhð  iFð  	Gô  HÜ	�‰‹€BÜ�E˜3  Q¨¯©Ó4�I€CˆÜ�I‰I‹K˜"Ñ€EØˆsä�9‰9× Ñ ¤¬¯©°dÓ(;Ñ!;Ó<€DØÑ"SÓTÑ"S˜Q�1�b‘5Ð"SˆÐT€BÜ˜“×&Ñ&×(‰ˆˆ1Ü˜Ÿ™  %¡Ó)ˆÜ�"�cÔÜ" 2›,¨¨5©	°2°e±9×3CÑ3CÄCÓ3HÌ#ÈaÐPSÉfË+ÐU‰ˆˆ1ˆc�4Ü! $¨¨s©
Ó3ˆØ�‰�a˜ÔÜŸ8™8 D¬$Ó/°¸�DˆsˆÛˆBÜ�T˜A‘Xœs¤5¨¨c©£?Ó3Ó4ˆBØ ˆE�$�rˆNØ˜ �‰Cð ð ˆˆdˆeˆØ”2—:‘:˜d Q™h¬¯©´"·)±)¼CÀ»FÓ2CÄbÑ2HÈ2ÈdÉ8Ñ2SÐWZÑ1ZÓ([×(bÑ(bÔcfÓ(gÓhÑiˆÜ�h‰h�rš!˜T 4˜-Ñ(¨!ªA©t°¨t¨G©*°aÓ8ˆØ!"§¢ŒR�]‰]˜1Ô°ˆÜ˜C¤ b¨"£¨sÓ3‰
ˆˆFÜ�~‰~ˆØ�r‘œ2Ÿ:™: f¬s¡l°AÓ6Ñ7ˆÜ�"‹g˜‰mˆÜ˜r A™v¨2¨#°©'°u·|±|ÄBÇGÁGÓ7LÐU[Ô^`ÑU`ÐceÐfjÑckÑUk×TsÑTsÔtv×t~Ñt~ÓTØ"$ Y c¨B¡h -×"7Ñ"7¸¸RÓ"@×"EÑ"EÀaÓ"HÈ1Ñ"LÐUWÐXaÐY\Ð_aÑYaÐUb×UjÑUjÐknÐprÓUs×UxÑUxÐyzÓU{ÐT{Ð~ÑTØ#(¨¨#°©(Ð#3×#;Ñ#;¸CÀÓ#D×#IÑ#IÈ!Ó#LÈsÑ#R×"ZÑ"ZÔ[]×[bÑ[bÓ"cÐrvôxˆˆ1ˆU‰8‰ð ÐØ!%ˆBˆq�‰x‰L˜ÑØ�V‰V‹XˆØˆŠ1Œgˆ:‰Ø" B˜¨*´b·m±mÀAÓ6FÐ)GÈ+ÔWY×W^ÑW^Ð_aÔcfÐghÓciÐmnÑcnÐpqÓWrÐIsð  wCð  EGð  vHó  I‰HˆD�"Ü˜C  Q¨QÔ/‰FˆB�Ø�‰I× Ñ   :¡°Ó3×:Ñ:¸BÀ¹FÈÌBÏJÉJÐWYÔ\_ÑW_ÐabÓLcÑHdÐhiÑHiÑ;jÕkò Ið5 )ð< x{÷  xAñ  xAô  xCõDñ xCÑosÐopÐrsð ”4œu¤R§W¡W¬R¯^©^ÐXY×X`ÑX`ÔXbÓ<cÑXbÐST¼R¿^¹^ÈAÕ=NÐXbÑ<cÓ-dÓ%eÓfÜ',¬R¯Y©YÐ\]×\dÑ\dÔ\fÓ7gÑ\fÐWX¼¿¹ÄÇÁÈqÓ@QÕ8RÐ\fÑ7gÓ-hÓ'iôkñ kð xCð ò Dä˜¨1¯6©6¸DÈÔW[×W`ÑW`ÓWbÐegÑWgÔvyÔ|Ñvô  DFñ  vFØ¨°Xô?€Dä”˜x¨˜n°4Ô8¼)ÀCÈÓ:NÔOÙÐ
˜4˜& 	¨$¨y©/¸#Ð)>Ð>kÐlØ
�)‰)ÑJ¸¿¹Ô9IÓJÓ
Jñ	Kô Lä	‡z�z‡~�~Ð)Ô*Ü�
‰
�3—>‘>Ó#¤R§W¡W§\¡\´#°xÀ5ÈÈÈRÐPTÈvÐUXÐAYÓ%ZÔ[ØÜ	‡J�J×ÑÕùòq 8ùâDùò Uùò< =dùÚ7gùôDs=   Ä/b=Ä7b=Å-cÊ5
cÚ6AcÛ9c Ü4cÝ	/cÝ8cã
cÚ__main__z--tagr·  )Údefaultz--train-seed)Útyper\  z	--targetszenv,onset,domz'stimulus features given for each stream)r\  Úhelpz
--p-switchg333333Ó?z8share of training windows with a synthetic switch inside)r]  r\  r^  z
--backboner»   )r»   ÚadtÚhappyquokkarG   ÚlabramÚeegptÚ	brainomniÚbiotzenetwork g: vlaai_ws (CNN, default) or a transformer: adt, happyquokka (ICASSP 2023 regression winner))r\  Úchoicesr^  z
--window-szŽclassifier window in s (default config dnn.window_s = 5); the read-out timing (0.75 s lookahead, label 1 s before the window end) is unchangedz--min-epochsz=epochs without LR decay / early stopping (training stability)z--max-epochsz--init-fromz-DirectNet state_dict to start every fold fromz--pretrain-spkÚ
store_truezòpretrain on SparrKULee (single talker): stream A = the presented speech, stream B = its mismatched (half-run shifted) envelope, i.e. match-mismatch; saves models/pretrain_spk_direct_clf_s<seed>.pt. Needs GLIMPSE_THR=onorm (dom for SparrKULee))Úactionr^  z--setÚ*z6hyper-parameter overrides of config dnn: key=value ...)Únargsr\  r^  z	--aug-setz5overrides of the augmentation settings: key=value ...z--advÚdatasetr  zfadversarial loss (gradient reversal) removing dataset / subject information from the backbone featuresz--adv-lambdar¤  z--prepÚmat_reacz·mat_reac (EA state carried across a subject's trials) | mat_rea (EA restarts in every trial: needs no subject / trial ID at test time); the SparrKULee pretraining always uses mat_reacz--aug-variantÚclusterz9EEG augmentation: dnn_augment + config aug_variants[NAME]z
--zero-eegz5envelope-only model (EEG zeroed in training and test)z--extra-realz´comma list of real-switch sets (AASD, Carta2026) added to the training data of every LODO fold (REAL_SWITCH_STRATEGY.md: improve on real switches AND keep the synthetic LODO score)r  r  Údnn_augmentÚaug_variantsrý   )r¢  r£  rž  rª  r  ÚlogsÚpretrain_spk_direct_clfÚ_sz.logÚ
SparrKULeer   rÏ   rõ  iÒ  F)Úreplacezpretrain direct_clf seed z on SparrKULee: z train subjects, val r)  T)Úexist_okr,  zsaved z (best val BCE r´  Ú)Údirect_clf__z=== experiment z ===r  z: cachedr  rŸ  r  zHMM p_stay=ÚswitchÚp_stayzJ per 0.25-s step, SYNTHETIC switches applied to the classifier INPUT, LODOr!  )Ú
experimentr  r  r  rF  r¾  rà  rÙ  r‰   r   rž  Úextra_trainrý   rw  r!  r#  r   rŸ   z#  MEAN over held-out datasets: Acc ÚAccz.2fz  SDT ÚSDTz  L ÚLrµ  z  H ÚHz  (window acc Úacc1r  z
  control Ú10sr  r$  c              #   óT   K  — | ]   }|› d t         d   |   t           d   d›�–— Œ" y­w)r&  r   r  rµ  N)r™   rö   )rŒ  rY  s     r6   r�  r�  z  s6   è ø€ Ð.mÑelÐ`a°!°°A´c¸*±oÀaÑ6HÌÑ6KÈHÑ6UÐVYÐ5ZÔ/[Ñelùs   ‚&(z	  | mean r  Úresultsz.jsonÚw)Úindentr\  z	=== done )r   r9   )rE   )rr@   ÚargparseÚjsonrQ   rÉ  rÚ   rÀ   r(   rp   Ú
common_expr   r   r   r   r   r   r	   Úcommonr
   r   r   r   r   r   Ú	e1_switchr   Úrun_experimentr   r   Úscorer   r~   rr   r�  r�  rŽ  r4  ræ   r4  r)   ÚModuler    rd   rf   rÊ   rá   rØ   rò   rù   rû   r,  rw   r“  rþ  rZ  r=   ÚArgumentParserÚapÚadd_argumentr$  Ú
parse_argsr¢   r   r  r1  Úaug_variantÚapply_overridesÚsetÚaug_setr¢  Úupdater£  rž  rª  Úset_num_threadsÚpretrain_spkro   rŸ  rR   rS   Útagrß  rÜ   rG  r-  Úsubsr'  r½  r%  rA  rÃ   rÝ   rî  Úmakedirsr™   r:  rÚ  Ú
SystemExitr  r>  r=  Úexistsr3  rF  r¾  rà  rÙ  r‰   r`   rö   rŸ   ÚopenÚfhÚdump)rß   ry  rG  rY  s   0000r6   Ú<module>r      só  ðñBó, Û Û 	Û ã Û ã ß P× PÑ Pß *Ñ *ß %Ñ %Ý 'ß 0Ý "á�!�J‘- "Ñ$Ó%¡s¨1¨]Ñ+;¸bÑ+@Ó'AÁ3ÀqÐIZÑG[Ð^`ÑG`ÓCa€€€3ˆØ�‰G�c‰M˜1˜r™6€	€€cÙ" 8¨C°	©NÑ#;Ô<Ô
uÑ<‘��AÀÐEtÒ@tŠ1Ð<Ò
u€ô=ˆ5�8‰8�?‰?ô =òJô BU�—‘—‘ô BUóJ@ó %ò$ò!ò óUò_IðD €‡�ƒòó ðó2XòvEðP ˆzÓØ	 ˆ×	 Ñ	 Ó	"€BØ‡O�O�G R€OÔ(Ø‡O�O�N¨°d€OÔ;Ø‡O�O�K¨Ð?h€OÔiØ‡O�O�L u°cÐ@z€OÔ{Ø‡O�O�L¨*ò  ?Tð Að ô Bà‡O�O�L u°dð Bk€Oô là‡O�O�N¨°aÐ>}€OÔ~Ø‡O�O�N¨°d€OÔ;Ø‡O�O�M¨4Ð6e€OÔfØ‡O�OÐ$¨\ð At€Oô uð ‡O�O�G 3°Ð9q€OÔrØ‡O�O�K s°BÐ=t€OÔuØ‡O�O�G T°I¸yÐ3Ið QO€Oô Pà‡O�O�N¨¸€OÔ=Ø‡O�O�H jð 8A€Oô Bà‡O�O�O¨YÐ=x€OÔyØ‡O�O�L¨Ð<s€OÔtØ‡O�O�N¨Bð 6l€Oô mà
�‰‹€AØ‡z‚zÙ�—
‘
˜R‘Ó ˆØ˜‘G˜c‘M 1 r¡6ˆ	ˆˆcØ—9‘9—?‘? 3Ó'€A€i�LØO�c˜-Ñ(ÐO¨C°Ñ,?ÀÇÁÑ,NÐO€A€i�LØ€H×Ñ˜QŸU™U A§I¡IÔ.Ø‡u‚uØˆ�‰�Q—U‘U q§|¡|Õ4Ø‡|�|ÐØŸ,™,ˆˆ,‰Ø‡|‚|ØŸ,™,ˆˆ,‰Ø€E×Ñ˜!ÔØ‡~ƒ~Øˆq�u‰u�\ 1Ó%ˆØˆˆ,‰Ù�R—W‘W—\‘\ # vÐ1HÈÏÉÈÈrÐRVÐQWÐW[Ð/\Ó]Ó^ˆÙ˜L˜>¨:°sÓ;ˆÛˆAÙ˜q“kˆAˆdŠGð á±rÓ:±r°!�q˜‘x—~‘~ cÓ*¨1Ó-°rÑ:Ó;ˆÙ�—‘×&Ñ& tÓ,×3Ñ3°D¸!ÀUÐ3ÓKÓLˆÙÐ'¨ vÐ-=¹cÀ$»iÈ!¹m¸_ÐLaÑbhÐikÓblÐamÐnÔoÙ¡BÓK¡B˜q¨!¨E©(¯.©.¸Ó*=¸aÑ*@ÈÒ*Jš BÑKÑY[ÓM|ÑY[ÐTUÐ_`ÐafÑ_g×_mÑ_mÐnqÓ_rÐstÑ_uÐy{Ò_{ÊaÐY[ÑM|ð  Bð  DEó  F‰	ˆˆTØˆ�‰�B—G‘G—L‘L  hÓ/¸$Õ?Ø�g‰g�l‰l˜3 Ð,CÀAÇEÁEÀ7È"ÈTÈFÐRUÐ*VÓWˆØˆ�
‰
�3—>‘>Ó# SÔ)Ùˆf�S�E˜¨¨c¨
°!Ð4Ô5ØÐØ˜Ÿ™˜ §¡ Ð
(€CÙ
�—‘—‘˜c 6¨c¨U°$¨<Ó8Ó
9€CÙˆ/˜#˜˜dÐ#Ô$ÛˆØ�7‰7�>‰>™) C¨Ó.Ô/ÙÐ" 4 &¨Ð1Ô2ØÙ��s˜C Õ#ð	 ñ
 ˜# |¸!¿&¹&È!ÈIÉ,Ðab×akÑakÐvw÷  wAñ  wAð  MN÷  MXñ  MXð  ef÷  eqñ  eqð  |}÷  |Fñ  |Fð  QRð  UWñ  QWØ˜!Ÿ%™% ¨c°&©kÓ:ÈÐ`aÐbkÑ`lØ# C¨¡M°(Ñ$;Ð#<ð  =Gð  HÙ& s¨H°s¸S±yÀBÑ6FÓGôI€Cñ IPÓPÉÀ1�q˜#˜h™-¨Ñ/°Ñ2°:Ñ>Ñ>ÈÑP€Cˆ
�OØˆH‰�fÑ€AÙÐ
-¨a°©h°s¨^¸6À!ÀEÁ(È3ÀÈtÐTUÐVYÑTZÐ[^ÐS_Ð_cÐdeÐfiÑdjÐknÐcoÐo}Ð~ð  AGñ  Hð  ILð  ~Mð  MNð  	Oô  PÛ>ˆÙˆj˜˜3˜˜rÐ" T§Y¡YÑ.mÑelÓ.mÓ%mÑmØ˜'˜"Ÿ'™'ÉGÓ"TÉGÀq 3 z¡?°1Ñ#5°aÑ#8¸Ó#BÈGÑ"TÓUÐVYÐZÐ[ñ\õ 	]ð ?ñ 
ˆb�g‰g�l‰l˜3 	¨c¨U°%¨=Ó9¸3Ô	?À2Øˆ�	‰	�#�r !¨UÕ3÷ 
@áˆ)�C�5˜ÐÕð[ ùóQ vùòp ;ùò LùÒM|ùò$ Qùò
 #Uß	?Ð	?úsB   Â#_Â0_Ñ_Ó_Ó._Ó8_"
Ô_"
Û_'Ý_,Þ%_1ß1_: