Ë
    •™´jâ9  ã                   óz  — d Z ddlZddlZddlZddlZddlmZm	Z	 ddl
mZ ej                  j                  dej                  j                  e«      «       ddlmZmZmZmZmZmZmZmZ  ej2                  ed   d   e«      ZdZd	„ Zd
„ Zd„ Zd„ Z d„ Z!d„ Z"d„ Z#defd„Z$dCd„Z%d„ Z&d„ Z'd„ Z(d„ Z)d„ Z*dDd„Z+d„ Z,d„ Z-d„ Z.d„ Z/d„ Z0d„ Z1e2dk(  �rÙejf                  d    ejf                  d!   cZ4Z5 e6ejf                  «      dkD  xr ejf                  d   d"k(  Z7 ed#e4› d$e5› �«      Z8 e«       Z9e7r?e9e9jt                  e9jw                  d%d&¬'«      jt                  jy                  d(«      d!z   k     Z9 ee4«      \  Z=Z>Z? ee=«      Z@ ee@«      ZAdd)lmBZB  e6eBe>   «      ZCe5d*k(  �re4ek(  ZDe9jw                  d+«      D � ��cg c](  \  } }|j‹                  «       D � �cg c]  \  } }|‘Œ	 c}} ‘Œ* c}}} ZFeFj�                  d,„ ¬-«       e=j‘                  d.«      sed/   ndZI  eeId¬0«      d1„ eFD «       «      ZJeJD � ��cg c]  \  } } }|D ]  }|‘Œ Œ c}}} ZKeKrH ej˜                  eK«      j›                  ej                  j�                  ed2e4› d3e7rd4nd5› d6�«      d7¬8«       e8jŸ                  d9 ePd:„ eJD «       «      › d;�«       nÜe5d<k(  rH e+e4e9«      ZQ e.e4e9eQeCeAe8«      ZKeKj›                  ej                  j�                  ed2e4› d=�«      d7¬8«       n�e5d>k(  rH e+e4e9«      ZQ e0e4e9eQeCeAe8«      ZKeKj›                  ej                  j�                  ed2e4› d?�«      d7¬8«       nBe5d@k(  r= e1e4e9eCeAe8«      ZKeKj›                  ej                  j�                  ed2e4› dA�«      d7¬8«       e8jŸ                  dB«       yyc c}} w c c}}} w c c}}} w )Eaà  Backward (stimulus-reconstruction) ridge decoders from sufficient statistics.

Usage:  c2_decoders.py <cfg> <step> [dry]
  cfg  = <variant>-<montage>-<car|nocar>, e.g. c19-common57-car, z19-common57-car, sup-common57-car,
         cwide-common57-car, c19-common57-nocar, c19-b64ustc58-car, c19-b64uhd62-car
  step = stats   per-subject sufficient statistics (+ within-subject LOTO if cfg is the main one)
         loso    leave-one-subject-out within each dataset
         lodo    leave-one-dataset-out: 'pool' (dataset-equal, subject-equal covariance), 'raw'
                 (sample-weighted pooled covariance) and 'avgdec' (average of per-subject decoders)
         crosshalf  KUL-AV-GC 5-min cross-half test (H6)
Design: EEG lags 0..L (EEG after the stimulus sample; L = 250 or 500 ms), no intercept (data are
running-z-scored), relative ridge (R + lambda * trace(R)/p * I), lambda picked by inner CV on the
training groups only (trials for LOTO, subjects for LOSO, datasets for LODO).
Target = the attended envelope per sample (CND attendedStream -> SuperHuge column).
Outputs: cache/recon/<cfg>/<scheme>/<key>.npz (yhat per lag set) and cache/recon/<cfg>/_env/<key>.npz
(env (T,2), att (T,), az (T,), fs, t0) + tables/lambda_<cfg>_<step>.csv
é    N)ÚParallelÚdelayed)Úthreadpool_limits)ÚCACHEÚCFGÚDS_KEYSÚSEEDÚTABÚ
get_loggerÚload_ppÚtrial_indexÚdecoderÚlambdaszc19-common57-carc                 ó<   — | j                  d«      \  }}}|||dk(  fS )NÚ-Úcar)Úsplit)ÚcfgÚvÚmÚcs       ú`/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/reports/eda_full/scripts/c2_decoders.pyÚ	parse_cfgr   !   s&   € Ø�i‰i˜‹n�G€A€qˆ!Øˆa��e‘ÐÐó    c                 óT   — | j                  d«      rt        d   d   S t        d   d   S )NÚwideÚpipelineÚfs_out_wideÚfs_out)Úendswithr   )Úvariants    r   Úfs_ofr"   &   s-   € Ø-4×-=Ñ-=¸fÔ-EŒ3ˆz‰?˜=Ñ)ÐdÌ3ÈzÉ?Ð[cÑKdÐdr   c                 óŠ   — t         d   d   D ��ci c]&  \  }}|› d|› d�t        t        |dz  | z  «      «      “Œ( c}}S c c}}w )Nr   Úlags_msr   Úmsiè  )r   ÚintÚround)ÚfsÚaÚbs      r   Úlagsetsr+   *   sL   € Ü@CÀIÁÈyÒ@YÔZÑ@Y¹¸¸1ˆqˆc��1�#�RˆLœ#œe A¨¡H¨r¡MÓ2Ó3Ñ3Ð@YÒZÐZùÓZs   �+?c                 óà   — | j                   \  }}||z
  }t        j                  ||dz   |z  ft        j                  «      }t	        |dz   «      D ]  }| |||z    |dd…||z  |dz   |z  …f<   Œ |S )zS(T, C) -> (T-L, (L+1)*C), lag-major: columns [lag0 ch0..chC-1, lag1 ..., lagL ...].é   N)ÚshapeÚnpÚemptyÚfloat32Úrange)ÚxÚLÚTÚCÚnÚXÚks          r   Úlaggedr:   .   sz   € à�7‰7�D€A€qØ	ˆA‰€AÜ
�‰�!�a˜!‘e˜q‘[Ð!¤2§:¡:Ó.€AÜ�1�q‘5Ž\ˆØ"# A a¨!¡e *ˆŠ!ˆQ�‰U�A˜‘E˜Q‘;ÐÐ
Òð à€Hr   c                 ó8   — t        j                  |dz   | z  «      S )Nr-   )r/   Úarange)r6   r4   s     r   Úsub_idxr=   8   s   € Ü�9‰9�a˜!‘e˜q‘[Ó!Ð!r   c                 ó  — t         j                  j                  | «      \  }}t        |j	                  «       d«      }|j
                  |z  }||dd…df   t        j                  |d«      dd…df   t        ddd…f   |z  z   z  z  S )z#Decoders for every lambda: (p, nL).gê-�™—q=Nr   )r/   ÚlinalgÚeighÚmaxÚmeanr5   ÚmaximumÚLAMBDAS)ÚRÚrÚeÚVr   ÚVrs         r   Ú
ridge_pathrJ   <   sv   € ä�9‰9�>‰>˜!Ó�D€A€qÜˆA�F‰F‹H�eÓ€AØ	
�‰ˆq‰€BØ�’1�d�7‘œrŸz™z¨!¨QÓ/²°4°Ñ8¼7À4ÊÀ7Ñ;KÈaÑ;OÑOÑPÑQÐQr   c           
      óÂ   — | j                   |z  }t        j                  t        j                  t        j                  d| || «      d«      t        |d«      z  «      }||z  S )Nzpl,pq,ql->lg ÂëþKH´9)r5   r/   ÚsqrtrC   ÚeinsumrA   )ÚDrE   rF   ÚyyÚnumÚdens         r   Úcorr_from_statsrR   D   sM   € Ø
�#‰#�‰'€CÜ
�'‰'”"—*‘*œRŸY™Y }°a¸¸AÓ>ÀÓFÌÈRÐQVËÑWÓ
X€CØ�‰9Ðr   é   c           	      óž  ‡ — t        ‰ «      }|dk  rit        t        j                  t        j                  t
        dz
  «      «      «      t        j                  t        t
        «      t        j                  «      fS t        ||«      }t        j                  j                  |«      j                  |«      }t        |«      D �cg c]
  }||d|…   ‘Œ }}g }|D ]µ  }t        |«      D �cg c]  }|t        |«      vsŒ|‘Œ }	}t        ˆ fd„|	D «       «      }
t        ˆ fd„|	D «       «      }t        |
|«      }t        ˆ fd„|D «       «      }t        ˆ fd„|D «       «      }t        ˆ fd„|D «       «      }|j!                  t#        ||||«      «       Œ· t        j$                  |d	«      }t        t        j&                  |«      «      |fS c c}w c c}w )
zbgroups: list of (R, r, yy) (already normalised as desired). Returns (best index, mean inner corr).é   g{®Gáz„?Nc              3   ó.   •K  — | ]  }‰|   d    –— Œ y­w©r   N© ©Ú.0ÚiÚgroupss     €r   Ú	<genexpr>zpick_lambda.<locals>.<genexpr>U   ó   øè ø€ Ð*¡r !�˜‘˜1•¡rùó   ƒc              3   ó.   •K  — | ]  }‰|   d    –— Œ y­w©r-   NrX   rY   s     €r   r]   zpick_lambda.<locals>.<genexpr>V   r^   r_   c              3   ó.   •K  — | ]  }‰|   d    –— Œ y­wrW   rX   rY   s     €r   r]   zpick_lambda.<locals>.<genexpr>X   ó   øè ø€ Ð)¡q !�˜‘˜1•¡qùr_   c              3   ó.   •K  — | ]  }‰|   d    –— Œ y­wra   rX   rY   s     €r   r]   zpick_lambda.<locals>.<genexpr>Y   rc   r_   c              3   ó.   •K  — | ]  }‰|   d    –— Œ y­w©rU   NrX   rY   s     €r   r]   zpick_lambda.<locals>.<genexpr>Z   rc   r_   r   )Úlenr&   r/   ÚargminÚabsrD   ÚfullÚnanÚminÚrandomÚdefault_rngÚpermutationr2   ÚsetÚsumrJ   ÚappendrR   rB   Ú	nanargmax)r\   ÚKÚseedÚGÚpermr[   ÚfoldsÚscÚfÚtrÚRtÚrtrN   ÚRhÚrhÚyhs   `               r   Úpick_lambdar�   J   sp  ø€ äˆF‹€AØˆ1‚uÜ”2—9‘9œRŸV™V¤G¨d¡NÓ3Ó4Ó5´r·w±w¼sÄ7»|ÌRÏVÉVÓ7TÐTÐTÜˆAˆq‹	€AÜ�9‰9× Ñ  Ó&×2Ñ2°1Ó5€DÜ!& q¤Ó*¡˜AˆT�!�$�Q�$‹Z €EÐ*Ø	€BÛˆÜ˜qœÓ5™�A Q¬c°!«f¢_Ša˜ˆÐ5ÜÓ*¡rÓ*Ó*ˆÜÓ*¡rÓ*Ó*ˆÜ�r˜2ÓˆÜÓ)¡qÓ)Ó)ˆÜÓ)¡qÓ)Ó)ˆÜÓ)¡qÓ)Ó)ˆØ
�	‰	”/ ! R¨¨RÓ0Õ1ð ô 
�‰��Q‹€BÜŒr�|‰|˜BÓÓ  "Ð$Ð$ùò +ùò 6s   ÃGÃ'G
Ã:G
c                 ó’   — t        | |«      \  }}t        d„ | D «       «      }t        d„ | D «       «      }t        ||«      d d …|f   |fS )Nc              3   ó&   K  — | ]	  }|d    –— Œ y­wrW   rX   ©rZ   Úgs     r   r]   zfit.<locals>.<genexpr>b   ó   è ø€ Ð!™&�QˆAˆa�D™&ùó   ‚c              3   ó&   K  — | ]	  }|d    –— Œ y­wra   rX   r„   s     r   r]   zfit.<locals>.<genexpr>c   r†   r‡   )r�   rq   rJ   )r\   rt   Úliry   rE   rF   s         r   ÚfitrŠ   `   sM   € Ü˜ Ó#�F€BˆÜÑ!™&Ó!Ó!€AÜÑ!™&Ó!Ó!€AÜ�a˜ÓšA˜r˜EÑ" BÐ&Ð&r   c                 óB   — t        |«      \  }}}t        | |||¬«      }|S )N)Údo_car)r   r   )Úrowr   r   r   r   Úds         r   Ú
trial_datar�   g   s&   € Ü˜#“�I€A€qˆ#Ü��Q˜ #Ô&€AØ€Hr   c                 ó&  — | }|j                   |z  j                  t        j                  «      }|j                   |j                  t        j                  «      z  j                  t        j                  «      }||t        ||z  «      t        |«      fS ©N)r5   Úastyper/   Úfloat64r1   Úfloatrg   )r8   ÚyÚX64rE   rF   s        r   Útrial_statsr—   m   sh   € Ø
€CØ	�‰�‰×ÑœRŸZ™ZÓ(€AØ	�‰�—‘œ"Ÿ*™*Ó%Ñ	%×-Ñ-¬b¯j©jÓ9€AØˆa”�q˜1‘u“œs 1›vÐ%Ð%r   c           	      óÎ  — t         j                  j                  t        d| d|d   › d�«      }t         j                  j	                  |«      s™t        j
                  t         j                  j                  |«      d¬«       t        j                  ||d   j                  t        j                  «      |d   |d	   j                  t        j                  «      |d
   |d   ¬«       y y )NÚreconÚ_envÚkeyú.npzT©Úexist_okÚenvÚatt_colÚazr(   Út0_s)rŸ   Úattr¡   r(   Út0)ÚosÚpathÚjoinr   ÚexistsÚmakedirsÚdirnamer/   Úsavezr’   r1   )r   r�   rŽ   Úps       r   Úsave_envr­   t   s¡   € Ü
�‰�‰”U˜G S¨&°S¸±Z°LÀÐ2EÓF€AÜ�7‰7�>‰>˜!ÔÜ
�‰”B—G‘G—O‘O AÓ&°Õ6Ü
�‰�˜˜%™Ÿ™¬¯
©
Ó3¸¸9¹È!ÈDÉ'Ï.É.ÔY[×YcÑYcÓJdØ�d‘G  &¡	ö	+ð r   c                 óv  — t         j                  j                  t        d| ||› d�«      }t        j                  t         j                  j                  |«      d¬«       t        j                  |fi |j                  «       D ��ci c]%  \  }}||j                  t        j                  «      “Œ' c}}¤Ž y c c}}w )Nr™   rœ   Tr�   )r¥   r¦   r§   r   r©   rª   r/   r«   Úitemsr’   r1   )r   Úschemer›   r€   r¬   r9   r   s          r   Ú
save_reconr±   |   s|   € Ü
�‰�‰”U˜G S¨&°S°E¸°,Ó?€AÜ‡K�K”—‘—‘ Ó"¨TÕ2Ü‡H�HˆQÑC°r·x±x´zÔB±z©t¨q°!�1�a—h‘hœrŸz™zÓ*Ñ*°zÒBÓCùÓBs   Â*B5c                 óÂ  ‡ — t        d«      5  t        ‰ «      \  }}}t        |«      }t        |«      }t	        |j                  «       «      }|d   d   }	t        j                  j                  t        d‰ |	› d�«      }
t        j                  j                  |
«      r$|rt        ˆ fd„|D «       «      r|	dg fcddd«       S g g }}g }|D �]Ì  }t        |‰ «      }t        ‰ ||«       t        |d	   j                  t         j"                  «      |«      }t%        |«      }|d
   t!        j&                  |«      |d   d| f   }|j)                  t+        ||«      «       |j)                  |d   |d	   j                  t         j"                  «      |d
   |d   f«       |d   dk(  �rót-        t/        d|d   z
  |d   z  «      «      }t1        d||z
  «      }t1        ||«      }|d
   d|…df   |d
   d|…df   }}|j)                  t3        ||   j4                  ||   z  j                  t         j6                  «      ||   j4                  ||   j                  t         j"                  «      z  j                  t         j6                  «      t9        ||   ||   z  «      ||   j4                  ||   z  j                  t         j6                  «      ||   j4                  ||   j                  t         j"                  «      z  j                  t         j6                  «      ||   j4                  ||   j                  t         j"                  «      z  j                  t         j6                  «      t9        ||   ||   z  «      t9        ||   ||   z  «      |¬«	      «       ~�ŒÏ t;        d„ |D «       «      }t;        d„ |D «       «      }t;        d„ |D «       «      }t;        d„ |D «       «      }t        j<                  t        j                  j?                  |
«      d¬«       i }|r�dD ].  }t!        j@                  |D �cg c]  }||   ‘Œ	 c}«      |d|› �<   Œ0 dD ].  }t!        j@                  |D �cg c]  }||   ‘Œ	 c}«      |d|› �<   Œ0 t!        j@                  |D �cg c]  }|d   ‘Œ	 c}«      |d<   t!        jB                  |
f||||t%        |«      t!        j@                  |D �cg c]  }|d   ‘Œ	 c}«      t!        j@                  |D � cg c]  } | d   ‘Œ	 c} «      dœ|¤Ž g }!|�r|d   d   jD                  d   }"tG        |«      D ]ê  \  }\  }#}$}%}&i }'|jI                  «       D ]½  \  }(})tK        |"|)«      }*tG        |«      D �+� cg c]3  \  }+} |+|k7  sŒ| d   t!        jL                  |*|*«         | d   |*   | d   f‘Œ5 },}+} tO        |,«      \  }-}.t        |$|)«      }||-j                  t         j"                  «      z  |'|(<   |!j)                  t3        |#|(tP        |.   ¬ «      «       Œ¿ tS        ‰ d!|#|'«       Œì |	d"|!fcddd«       S c c}w c c}w c c}w c c}w c c} w c c} }+w # 1 sw Y   yxY w)#zZPer-subject sums of per-trial statistics for the largest lag set; LOTO recon if requested.rU   r   Úsubj_uidÚstatsrœ   c              3   ó²   •K  — | ]N  }t         j                  j                  t         j                  j                  t        d ‰d|d   › d�«      «      –— ŒP y­w)r™   Úlotor›   rœ   N)r¥   r¦   r¨   r§   r   )rZ   rF   r   s     €r   r]   zjob_stats.<locals>.<genexpr>Œ   sF   øè ø€ ð 7lÙfjÐab”—‘—‘œrŸw™wŸ|™|¬E°7¸CÀÈAÈeÉHÈ:ÐUYÐIZÓ[×\Ñfjùs   ƒAAÚcachedNÚeegrŸ   r    r›   ÚdsÚAVGCg     Àr@r¢   r(   r-   )	ÚR1Úr0_1Úyy0_1ÚR2Úr0_2Úr1_2Úyy0_2Úyy1_2Úhc              3   ó&   K  — | ]	  }|d    –— Œ y­wrW   rX   ©rZ   r¬   s     r   r]   zjob_stats.<locals>.<genexpr>¥   ó   è ø€ Ð#™s˜!��1•™sùr‡   c              3   ó&   K  — | ]	  }|d    –— Œ y­wra   rX   rÅ   s     r   r]   zjob_stats.<locals>.<genexpr>¦   rÆ   r‡   c              3   ó&   K  — | ]	  }|d    –— Œ y­wrf   rX   rÅ   s     r   r]   zjob_stats.<locals>.<genexpr>§   s   è ø€ Ð$¡˜1�!�A•$¡ùr‡   c              3   ó&   K  — | ]	  }|d    –— Œ y­w)rS   NrX   rÅ   s     r   r]   zjob_stats.<locals>.<genexpr>¨   rÆ   r‡   Tr�   )r»   r¼   r¾   r¿   rÀ   Úhalf_)r½   rÁ   rÂ   rÃ   Ú	half_keysrS   )rE   rF   rO   r7   ÚntrÚkeysÚtrial_n)r›   ÚlagÚlamr¶   Údone)*r   r   r"   r+   rA   Úvaluesr¥   r¦   r§   r   r¨   Úallr�   r­   r:   r’   r/   r1   rg   r<   rr   r—   r&   r'   ÚsliceÚdictr5   r“   r”   rq   r©   rª   Úarrayr«   r.   Ú	enumerater¯   r=   Úix_rŠ   rD   r±   )/r   ÚrowsÚdo_lotor   r   r   r(   ÚLSÚLmaxÚuidÚoutÚperÚeegsÚhalvesr�   rŽ   r8   r7   ÚyarÃ   Úh1Úh2Úe0Úe1ÚRsÚrsÚyysÚnsÚextrar9   ÚhhrF   r¬   Úlam_rowsr6   r›   r¸   rŸ   r£   r€   Úlnr4   ÚidxÚjr\   Údvecr‰   s/   `                                              r   Ú	job_statsrò   ƒ   s¼  ø€ ä	˜1Õ	Ü˜c“N‰	ˆˆ1ˆcÜ�1‹XˆÜ�R‹[ˆÜ�2—9‘9“;ÓˆØ�1‰g�jÑ!ˆÜ�g‰g�l‰lœ5 '¨3°3°%°t°Ó=ˆÜ�7‰7�>‰>˜#Ô©´3ó 7lÙfjó7lô 4là˜ "Ð$÷ 
Ñ	ð ˜ˆTˆØˆÜˆCÜ˜3 Ó$ˆAÜ�S˜#˜qÔ!Ü�q˜‘x—‘¤r§z¡zÓ2°DÓ9ˆAÜ�A“ˆAØ�5‘œ"Ÿ)™) A›,¨¨)©°R°aÐ(8Ð8Ñ9ˆBØ�J‰J”{ 1 bÓ)Ô*Ø�K‰K˜˜U™ Q u¡X§_¡_´R·Z±ZÓ%@À!ÀEÁ(ÈAÈiÉLÐYÔZØ�4‰y˜FÓ"Üœ˜u q¨¡yÑ0°A°d±GÑ;Ó<Ó=�Ü˜1˜a $™hÓ'�Ü˜1˜a“[�Ø˜5™ " 1 " a %™¨!¨E©(°2°A°2°q°5©/�B�Ø—‘œdØ˜"™Ÿ™ ! B¡%™×/Ñ/´·
±
Ó;À1ÀRÁ5Ç7Á7ÈRÐPRÉVÏ]É]Ô[]×[eÑ[eÓMfÑCf×BnÑBnÔoq×oyÑoyÓBzÜ  2¡¨¨B©¡Ó0Ø˜"™Ÿ™ ! B¡%™×/Ñ/´·
±
Ó;À1ÀRÁ5Ç7Á7ÈRÐPRÉVÏ]É]Ô[]×[eÑ[eÓMfÑCf×BnÑBnÔoq×oyÑoyÓBzØ˜B™%Ÿ'™' B r¡F§M¡M´"·*±*Ó$=Ñ=×EÑEÄbÇjÁjÓQÔY^Ð_aÐbdÑ_eÐhjÐkmÑhnÑ_nÓYoÜ  2¡¨¨B©¡Ó0°Aô7ô 8ò ð' ô( Ñ#™sÓ#Ó#ˆÜÑ#™sÓ#Ó#ˆÜÑ$¡Ó$Ó$ˆÜÑ#™sÓ#Ó#ˆÜ
�‰”B—G‘G—O‘O CÓ(°4Õ8ØˆÙÛ9�Ü%'§X¡X¹vÓ.F¹v¸¨r°!«u¸vÑ.FÓ%G�˜˜a˜S�kÒ"ð :ã5�Ü%'§X¡X¹vÓ.F¹v¸¨r°!«u¸vÑ.FÓ%G�˜˜a˜S�kÒ"ð 6ä!#§¡¹TÓ*B¹T¸¨1¨U«8¸TÑ*BÓ!CˆE�+ÑÜ
�‰�ð 	A˜˜b S¨B´C¸³HÄ2Ç8Á8Ñ_cÓLdÑ_cÐZ[ÈQÈuËXÐ_cÑLdÓCeÜŸ™±Ó"5±¨A 1 Q£4°Ñ"5Ó6ñ	AØ:?ò	AàˆÚØ�Q‘˜‘
× Ñ  Ñ#ˆAÜ+4°T®?Ñ'�Ñ'�C˜˜c 3Ø�ØŸX™XžZ‘E�B˜Ü! ! Q›-�CÜT]Ð^aÔTbÔmÑTbÉDÈAÈqÐfgÐklÓfl˜q ™t¤B§F¡F¨3°Ó$4Ñ5°q¸±t¸C±yÀ!ÀAÁ$ÒGÐTb�FÑmÜ" 6›{‘H�D˜"Ü˜s A›�AØ §¡¬R¯Z©ZÓ!8Ñ8�B�r‘FØ—O‘O¤D¨S°b¼gÀb¹kÔ$JÕKð (ô ˜3 ¨¨RÕ0ð ,;ð �F˜HÐ$÷w 
Ñ	ùòP /Gùâ.FùÚ*BùÚLdùÚ"5ùó n÷k 
Ð	úsi   �B)YÃ M0YÐ0X6Ð<'YÑ#X;Ñ/"YÒY 
Ò<YÓYÓ%YÓ>Y
Ô
A.YÕ8YÖ*YÖ0A<YØ6YÙYc           
      ó`  — |€
t        «       n|}i }|j                  d«      D ]‰  \  }}t        j                  t        j
                  j                  t        d| |› d�«      «      }t        |d   |d   t        |d   «      t        |d   «      |j                  j                  d   ¬	«      ||<   Œ‹ |S )
Nr³   r´   rœ   rE   rF   rO   r7   r   )rE   rF   rO   r7   r¹   )r   Úgroupbyr/   Úloadr¥   r¦   r§   r   rÕ   r”   r&   r¹   Úiloc)r   ÚtiÚSrÝ   r…   Úzs         r   Úload_subject_statsrú   Ã   s”   € Ø˜*ŒŒ¨"€BØ
€AØ—*‘*˜ZÖ(‰ˆˆQÜ�G‰G”B—G‘G—L‘L¤¨°¸¸¸T°lÓCÓDˆÜ˜˜#™ ! C¡&¬U°1°T±7«^¼sÀ1ÀSÁ6»{ÈqÏtÉtÏyÉyÐYZÉ|Ô\ˆˆ#Šð )ð €Hr   c                 ón   — | d   }| d   t        j                  ||«         |z  | d   |   |z  | d   |z  fS )Nr7   rE   rF   rO   ©r/   rØ   )Úsrï   r7   s      r   Ú
norm_grouprþ   Ì   sE   € Ø	ˆ#‰€AØˆc‰F”2—6‘6˜#˜sÓ#Ñ$ qÑ(¨!¨C©&°©+¸©/¸1¸T¹7ÀQ¹;ÐGÐGr   c                 ó¨  — t        d«      5  |D ]‘  }t        || «      }|j                  «       D ���ci c]U  \  }\  }}|t        |d   j	                  t
        j                  «      |«      |j	                  t
        j                  «      z  “ŒW }	}}}t        | ||d   |	«       Œ“ 	 ddd«       t        |«      S c c}}}w # 1 sw Y   t        |«      S xY w)zdecs: {lagname: (L, dvec)}rU   r¸   r›   N)	r   r�   r¯   r:   r’   r/   r1   r±   rg   )
r   r°   rÙ   Údecsr�   rŽ   rî   r4   Údvr€   s
             r   Ú
recon_rowsr  Ñ   s¶   € ä	˜1Õ	ÛˆCÜ˜3 Ó$ˆAØhl×hrÑhrÔhtÕuÑhtÑYdÐY[Ñ]dÐ^_Ðac�"”f˜Q˜u™XŸ_™_¬R¯Z©ZÓ8¸!Ó<¸r¿y¹yÌÏÉÓ?TÑTÑTÐhtˆBÒuÜ�s˜F C¨¡J°Õ3ñ ÷ 
ô
 ˆt‹9Ðùô v÷ 
ô
 ˆt‹9Ðús   Œ&B>²AB7ÂB>Â7B>Â>Cc                 ó¬  ‡ — g g }}t         D �]  }t        ||j                  |k(     j                  j	                  «       «      }	|	D ]É  }
i }|j                  «       D ]m  \  }}t        ||«      }|	D �cg c]  }||
k7  sŒ	t        ||   |«      ‘Œ }}t        |«      \  }}||f||<   |j                  t        ||
|t        |   ¬«      «       Œo ||j                  |
k(     j                  «       D ��cg c]  \  }}|‘Œ	 }}}|j                  ||f«       ŒË �Œ  t        t        d   ¬«      ˆ fd„|D «       «       t        j                   |«      S c c}w c c}}w )N)r¹   ÚtestrÏ   rÐ   Ún_jobs©r  c              3   óT   •K  — | ]  \  }} t        t        «      ‰d ||«      –— Œ! y­w)ÚlosoN©r   r  )rZ   rÙ   r   r   s      €r   r]   zrun_loso.<locals>.<genexpr>é   s.   øè ø€ Ð"gÑbfÑT^ÐTXÐZ^Ð#6¤7¬:Ó#6°s¸FÀDÈ$×#OÑbfùó   ƒ%()r   Úsortedr¹   r³   Úuniquer¯   r=   rþ   rŠ   rr   rÕ   rD   Úiterrowsr   r   ÚpdÚ	DataFrame)r   r÷   rø   r6   rÛ   ÚlogrÐ   Újobsr¹   ÚuidsÚur   rî   r4   rï   r   r\   r  r‰   Ú_rF   rÙ   s   `                     r   Úrun_losor  Û   s?  ø€ Ø�Bˆ€CßˆgˆÜ�b˜Ÿ™ "™‘o×.Ñ.×5Ñ5Ó7Ó8ˆÛˆAØˆDØŸ™ž‘��AÜ˜a “m�Ù9=ÓH¹°AÀÀaÃœ* Q q¡T¨3Õ/¸�ÐHÜ˜V›‘��BØ˜r˜7��R‘Ø—
‘
œ4 2¨A°2¼7À2¹;ÔGÕHð $ð #% R§[¡[°AÑ%5Ñ"6×"?Ñ"?Ô"AÔBÑ"A™$˜!˜Q’AÐ"AˆDÑBØ�K‰K˜˜t˜Õ%ò ð ð #„H”C˜‘MÔ"Ó"gÑbfÓ"gÔgÜ�<‰<˜ÓÐùò Iùó Cs   Á0
E
Á;E
Ã-E
c                 óö   — |D �cg c]  }t        | |   |«      ‘Œ }}t        d„ |D «       «      t        |«      z  t        d„ |D «       «      t        |«      z  t        d„ |D «       «      t        |«      z  fS c c}w )Nc              3   ó&   K  — | ]	  }|d    –— Œ y­wrW   rX   ©rZ   r3   s     r   r]   zds_mean.<locals>.<genexpr>ï   s   è ø€ Ð ™a˜��!•™aùr‡   c              3   ó&   K  — | ]	  }|d    –— Œ y­wra   rX   r  s     r   r]   zds_mean.<locals>.<genexpr>ï   s   è ø€ Ð.?¹Q¸¨q°­t¹Qùr‡   c              3   ó&   K  — | ]	  }|d    –— Œ y­wrf   rX   r  s     r   r]   zds_mean.<locals>.<genexpr>ï   s   è ø€ ÐM^Ñ\]ÐWXÈaÐPQÍdÑ\]ùr‡   )rþ   rq   rg   )rø   r  rï   r  r…   s        r   Úds_meanr  í   ss   € Ù(,Ó-© 1Œ�A�a‘D˜#Õ	¨€AÐ-ÜÑ ™aÓ Ó ¤3 q£6Ñ)¬3Ñ.?¹QÓ.?Ó+?Ä#ÀaÃ&Ñ+HÌ#ÑM^Ñ\]ÓM^ÓJ^ÔadÐefÓagÑJgÐhÐhùò 	.s   …A6c                 óÔ  ‡ ‡‡ ‡!‡"— g }t         D �ci c]6  }|t        ||j                  |k(     j                  j	                  «       «      “Œ8 }}t         D �]Ï  }	t         D �
cg c]
  }
|
|	k7  sŒ	|
‘Œ }}
i i i dœ}|j                  «       D �]ƒ  \  }}t        ||«      Š"|D �
cg c]  }
t        ‰||
   ‰"«      ‘Œ }}
t        |t        |«      ¬«      \  }}||f|d   |<   |j                  t        |	d|t        |   ¬«      «       |D �
cg c]H  }
t        ˆˆ"fd„||
   D «       «      t        ˆˆ"fd„||
   D «       «      t        ˆfd„||
   D «       «      f‘ŒJ }}
t        |t        |«      ¬«      \  }}||f|d   |<   |j                  t        |	d|t        |   ¬«      «       i }|D ]|  }
g }||
   D ]W  }t        ‰|   ‰"«      }t        |d	   |d
   «      }|j                  |t         j"                  j%                  |d	d¬«      z  «       ŒY t!        j&                  |d	«      ||
<   Œ~ g }|D ]Z  }t!        j&                  |D �
cg c]  }
|
|k7  sŒ	||
   ‘Œ c}
d	«      }t        ‰||   ‰"«      }|j                  t)        |g|¢­Ž «       Œ\ t+        t!        j,                  t!        j&                  |d	«      «      «      }|t!        j&                  |D �
cg c]  }
||
   ‘Œ	 c}
d	«      d d …|f   f|d   |<   |j                  t        |	d|t        |   ¬«      «       �Œ† ||j                  |	k(     j/                  «       D ��cg c]  \  }}|‘Œ	 }}}t1        t2        d   «      D �cg c]  }||d t2        d   …   ‘Œ }}|j                  «       D ]�  \  Š Š! t5        t2        d   ¬«      ˆ ˆ ˆ!fd„|D «       «       t!        j6                  t8        j:                  j=                  t>        d‰ d‰ › �d|	› d�«      fi ‰!j                  «       D ��ci c]  \  }}||d
   “Œ c}}¤Ž Œ’ |jA                  d|	› d�«       �ŒÒ tC        jD                  |«      S c c}w c c}
w c c}
w c c}
w c c}
w c c}
w c c}}w c c}w c c}}w )N)ÚpoolÚrawÚavgdec)rt   r  )r  ÚaggrÏ   rÐ   c              3   ó\   •K  — | ]#  }‰|   d    t        j                  ‰‰«         –— Œ% y­w)rE   Nrü   ©rZ   r  rø   rï   s     €€r   r]   zrun_lodo.<locals>.<genexpr>   s*   øè ø€ ÐIÁ¸1˜1˜Q™4 ™9¤R§V¡V¨C°Ó%5Õ6Áùs   ƒ),c              3   ó4   •K  — | ]  }‰|   d    ‰   –— Œ y­w)rF   NrX   r"  s     €€r   r]   zrun_lodo.<locals>.<genexpr>   s$   øè ø€ ÐNpÑgoÐbcÈqÐQRÉtÐTWÉyÐY\Í~Ñgoùs   ƒc              3   ó.   •K  — | ]  }‰|   d    –— Œ y­w)rO   NrX   )rZ   r  rø   s     €r   r]   zrun_lodo.<locals>.<genexpr>  s   øè ø€ Ð8©x¨!˜1˜Q™4 �:©xùr_   r  r   r-   T)ÚaxisÚkeepdimsr  r  r  c              3   óT   •K  — | ]  } t        t        «      ‰d ‰› �|‰«      –— Œ! y­w)Úlodo_Nr	  )rZ   Úchr   r   Údds     €€€r   r]   zrun_lodo.<locals>.<genexpr>  s0   øè ø€ Ð*lÑekÐ_aÐ+>¬7´:Ó+>¸sÀeÈCÈ5ÀMÐSUÐWY×+ZÑekùr
  r™   r(  Ú	_decoder_rœ   z
LODO test=ú done)#r   r  r¹   r³   r  r¯   r=   r  rŠ   rg   rr   rÕ   rD   rq   rþ   rJ   r/   r?   ÚnormrB   rR   r&   rs   r  r2   r   r   r«   r¥   r¦   r§   r   Úinfor  r  )#r   r÷   rø   r6   rÛ   r  rÐ   r¹   Úby_dsr  rŽ   Útrainr   rî   r4   r\   r  r‰   ÚpathsÚPr  r…   rN   ry   ÚholdÚDmr  rF   rÙ   r[   Úchunksr   r   r*  rï   s#   ` `                             @@@r   Úrun_lodor6  ò   s.  ü€ Ø
€CÝELÓMÁW¸rˆR”˜˜2Ÿ5™5 B™;™×0Ñ0×7Ñ7Ó9Ó:Ñ:ÀW€EÐMß�ˆÝ#Ó1™G�q q¨D£y’˜GˆÐ1Ø 2°Ñ4ˆØ—X‘X—Z‰EˆB�Ü˜!˜Q“-ˆCá9>Ó?¹°A”g˜a  q¡¨3Õ/¸ˆFÐ?Ü˜¤3 v£;Ô/‰FˆB�Ø ! 2˜wˆD�‰L˜ÑØ�J‰J”t ¨6°r¼wÀr¹{ÔKÔLñ DIóJÙCH¸aô ÔIÀÀaÂÓIÓIÌ3ÔNpÐglÐmnÒgoÓNpÓKpÜÓ8¨u°QªxÓ8Ó8ò:ØCHð ð Jä˜¤3 v£;Ô/‰FˆB�Ø  "˜gˆD�‰K˜‰OØ�J‰J”t ¨5°b¼gÀb¹kÔJÔKàˆEÛ�Ø�Ø˜qœ�AÜ" 1 Q¡4¨Ó-�AÜ" 1 Q¡4¨¨1©Ó.�AØ—H‘H˜Q¤§¡§¡°¸ÀD Ó!IÑIÕJð "ô Ÿ7™7 1 a›=��a’ð ð ˆBÛ�Ü—W‘W±ÓC±¨1¸¸d»˜e A›h°ÑCÀQÓG�Ü˜A˜u T™{¨CÓ0�Ø—	‘	œ/¨"Ð1¨qÒ1Õ2ð ô ”R—\‘\¤"§'¡'¨"¨a£.Ó1Ó2ˆBØ"#¤R§W¡WÁÓ-FÁ¸1¨e°A«hÀÑ-FÈÓ%JÊ1ÈbÈ5Ñ%QÐ!RˆD�‰N˜2ÑØ�J‰J”t ¨8¸ÄÈÁÔMÖNð;  ð< ! §¡¨$¡Ñ/×8Ñ8Ô:Ô;Ñ:‘d�a˜’Ð:ˆÑ;Ü27¼¸H¹Ô2FÓGÑ2F¨Q�$�qÐ'œ#˜h™-Ð'Ó(Ð2FˆÐGØ—z‘z–|‰GˆC�Ø*ŒHœC ™MÔ*Õ*lÑekÓ*lÔlÜ�H‰H”R—W‘W—\‘\¤%¨°#¸¸s¸e°}È	ÐRVÐQWÐW[ÐF\Ó]ñ ;Ø.0¯h©h¬jÔ9©j¡U R¨˜˜A˜a™D™¨jÒ9ó;ð $ð 	�‰�:˜d˜V 5Ð)Ö*ðO ôP �<‰<˜ÓÐùòS Nùâ1ùò
 @ùò
Jùò  Dùò .Gùã;ùÚGùó :sB   �;P;Á
Q Á*Q ÂQÄAQ
È6
QÉQËQÌ0QÍQÏ6Q$c                 ó  — g }t        ||j                  dk(     j                  j                  «       «      D �]&  }t	        j
                  t        j                  j                  t        d| |› d�«      «      }t        |d   «      }||j                  |k(     j                  «       D �	�
cg c]  \  }	}
|
‘Œ	 }}	}
i i i dœ}|j                  «       D �]R  \  }}t        ||«      }t        t        |«      «      D �cg c]3  }|d   |   t	        j                   ||«         |d   |   |   |d   |   f‘Œ5 }}t        t        |«      «      D �cg c]3  }|d	   |   t	        j                   ||«         |d
   |   |   |d   |   f‘Œ5 }}t        t        |«      «      D �cg c]3  }|d	   |   t	        j                   ||«         |d   |   |   |d   |   f‘Œ5 }}d|fd|fd|ffD ]B  \  }}t#        |«      \  }}||f||   |<   |j%                  t'        |||t(        |   ¬«      «       ŒD �ŒU |j                  «       D ]  \  }}t+        | |||«       Œ |j-                  d|› d�«       �Œ) t/        j0                  |«      S c c}
}	w c c}w c c}w c c}w )z`H6: decoders trained on one half of the KUL-AV-GC trials of a subject, tested on the other half.rº   r´   rœ   rË   )Úxh_h1Úxh_h2BÚxh_h2AÚhalf_R1Ú	half_r0_1Ú
half_yy0_1Úhalf_R2Ú	half_r0_2Ú
half_yy0_2Ú	half_r1_2Ú
half_yy1_2r8  r9  r:  )ÚsubjectÚdecrÏ   rÐ   z
crosshalf r,  )r  r¹   r³   r  r/   rõ   r¥   r¦   r§   r   Úlistr  r¯   r=   r2   rg   rØ   rŠ   rr   rÕ   rD   r  r.  r  r  )r   r÷   r6   rÛ   r  rÐ   r  rù   rÍ   r  rF   rÙ   r   rî   r4   rï   r[   Úg1Úg2BÚg2AÚnamer…   r  r‰   r*  s                            r   Úrun_crosshalfrJ     sŠ  € à
€CÜ�B�r—u‘u ‘Ñ'×0Ñ0×7Ñ7Ó9×:ˆÜ�G‰G”B—G‘G—L‘L¤¨°¸¸¸4°jÓAÓBˆÜ�A�k‘NÓ#ˆØ  §¡°Ñ!1Ñ2×;Ñ;Ô=Ô>Ñ=‘d�a˜’Ð=ˆÑ>Ø r°RÑ8ˆØ—X‘X—Z‰EˆB�Ü˜!˜Q“-ˆCÜkpÔqtÐuyÓqzÔk{Ó|Ñk{Ðfg�1�Y‘< ‘?¤2§6¡6¨#¨sÓ#3Ñ4°a¸±nÀQÑ6GÈÑ6LÈaÐP\ÉoÐ^_ÑN`ÒaÐk{ˆBÐ|ÜlqÔruÐvzÓr{Ôl|Ó}Ñl|Ðgh�A�i‘L ‘O¤B§F¡F¨3°Ó$4Ñ5°q¸±~ÀaÑ7HÈÑ7MÈqÐQ]ÉÐ_`ÑOaÒbÐl|ˆCÐ}ÜlqÔruÐvzÓr{Ôl|Ó}Ñl|Ðgh�A�i‘L ‘O¤B§F¡F¨3°Ó$4Ñ5°q¸±~ÀaÑ7HÈÑ7MÈqÐQ]ÉÐ_`ÑOaÒbÐl|ˆCÐ}Ø$ b˜M¨H°c¨?¸XÀs¸OÓL‘��aÜ˜Q›‘��BØ"# R ��T‘
˜2‘Ø—
‘
œ4¨¨t¸ÄÈÁÔMÕNò Mð  ð Ÿ
™
ž‰HˆD�"Ü�s˜D $¨Õ+ð %à�‰�:˜a˜S Ð&Ö'ð! ;ô" �<‰<˜ÓÐùó ?ùò }ùÚ}ùÚ}s   Â'I5Ã58I;Å8J Æ8JÚ__main__r-   rU   ÚdryÚc2_r  r¹   T)Úobservedrl   )ÚMONTAGESr´   r³   c                 ó(   — t        d„ | D «       «       S )Nc              3   ó&   K  — | ]	  }|d    –— Œ y­w)r7   NrX   )rZ   rF   s     r   r]   z<lambda>.<locals>.<genexpr>G  s   è ø€ Ð&9±q°! q¨¥v±qùr‡   )rq   )r…   s    r   Ú<lambda>rR  G  s   € ¤3Ñ&9±qÓ&9Ó#9Ñ"9r   )r›   r   r  )r  Úverbosec              #   óZ   K  — | ]#  } t        t        «      t        |t        «      –— Œ% y ­wr‘   )r   rò   r   rÚ   r„   s     r   r]   r]   I  s%   è ø€ Ð,aÑZ`ÐUVÐ-?¬W´YÓ-?ÄÀQÌ×-PÑZ`ùs   ‚)+Úlambda_Ú_lotoÚ_dryÚ z.csvF)Úindexzstats: c              #   ó.   K  — | ]  \  }}}|d k(  –— Œ y­w)rÑ   NrX   )rZ   r  rý   s      r   r]   r]   M  s   è ø€ Ð>¹#©w¨q°!°Q˜q F�{¹#ùs   ‚z subjects computedr  z	_loso.csvÚlodoz	_lodo.csvÚ	crosshalfz_crosshalf.csvrÑ   )rS   r‘   )RÚ__doc__r¥   ÚsysÚnumpyr/   Úpandasr  Újoblibr   r   Úthreadpoolctlr   r¦   Úinsertrª   Ú__file__Úcommonr   r   r   r	   r
   r   r   r   rÖ   r”   rD   ÚMAIN_CFGr   r"   r+   r:   r=   rJ   rR   r�   rŠ   r�   r—   r­   r±   rò   rú   rþ   r  r  r  r6  rJ  Ú__name__Úargvr   Ústeprg   rL  r  r÷   rC  rô   Ú	transformr   r   r   r(   rÛ   rO  r6   rÚ   r  r\   Úsortr    ÚnjÚresrÐ   r  Úto_csvr§   r.  rq   rø   )r  r…   rF   rÙ   r3   s   00000r   Ú<module>ro     sÈ  ðñó" 
Û 
ã Û ß $Ý +à ‡�‡���2—7‘7—?‘? 8Ó,Ô -ß S× SÓ Sà
ˆ"�(‰(�3�y‘> )Ñ,¨eÓ
4€Ø€òò
eò[òò"òRòð  $ó %ó,'òò&ò+òDò=%ó@òHò
òò$iò
+ò\ð. ˆzÓØ—‘˜‘˜SŸX™X a™[€I€CˆÙ
ˆc�h‰h‹-˜!Ñ
Ò
4 §¡¨¡¨uÑ 4€CÙ
�s˜3˜%˜q  Ð'Ó
(€CÙ	‹€BÙ
Ø�—
‘
˜bŸj™j¨¸˜jÓ=×EÑE×OÑOÐPUÓVÐYZÑZÑZÑ[ˆÙ˜#“�I€A€qˆ#Ù	ˆq‹€BÙ	�‹€BÝÙˆH�Q‰KÓ€AØˆwƒØ˜‘/ˆØ;=¿:¹:ÀjÔ;QÕRÑ;Q±4°1°a §¡¤Ô.¡™˜˜A’1 Ô.Ð;QÓRˆà�‰Ñ9ˆÔ:Ø"#§*¡*¨VÔ"4ˆS�Š]¸!ˆØ,‰h˜b¨!Ô,Ñ,aÑZ`Ó,aÓaˆÙ#&Õ5¡3‘Z�Q˜˜4³¨1Šq°ˆq 3Ó5ˆÙØˆB�L‰L˜Ó×$Ñ$ R§W¡W§\¡\°#¸ÀÀÀUÑUXÉ6Ð^`ÐJaÐaeÐ7fÓ%gÐotÐ$ÔuØ�‰�7™3Ñ>¹#Ó>Ó>Ð?Ð?QÐRÕSØ	�ŠÙ˜s BÓ'ˆÙ�s˜B  1 b¨#Ó.ˆØ�
‰
�2—7‘7—<‘<  w¨s¨e°9Ð%=Ó>Àeˆ
ÕLØ	�ŠÙ˜s BÓ'ˆÙ�s˜B  1 b¨#Ó.ˆØ�
‰
�2—7‘7—<‘<  w¨s¨e°9Ð%=Ó>Àeˆ
ÕLØ	�Ò	Ù˜C  Q¨¨CÓ0ˆØ�
‰
�2—7‘7—<‘<  w¨s¨e°>Ð%BÓCÈ5ˆ
ÔQØ‡H�HˆVÕðE ùó /ùÔRùô
 6s   Æ:N/ÇN)Ç!N/È4N6Î)N/