Ë
    úãÚj¾  ã                   ó\  — d Z ddlZddlZddlZddlmZmZ ddl	m
Z
 ddlZddlZddlmZmZmZ ddlmZ ej*                  Zej,                  j/                  eddd	«      Zej,                  j/                  eddd
«      ZdZd„ Zd„ Zd„ Zd„ Zd„ Zd„ Z d„ Z!d„ Z"d„ Z#d„ Z$d„ Z%e&dk(  r e%«        yy)a„  No-decoder combinations of the four direct-classifier seeds, on the existing LODO folds.

The seeds are already encoder (vlaai_ws) + linear head. This script never loads a reconstruction
decoder and never refits those networks. It only recombines the saved causal logits.

Weights that are learned (lda, logreg) use the other four datasets only; the held-out dataset
is scored by score.score_dataset at the same p_stay grid as ensemble_clf.py. median needs no fit.

  invstd  weighted mean, weight = 1 / std of label-signed (r0-r1) on the other four datasets
  median  median of the four (r0-r1) streams
  lda     Gaussian LDA on the four logits (Sigma^{-1} mu of label-signed evidence)
  logreg  L2 logistic regression on the four logits (decision function is the evidence)

usage: python ensemble_clf_meta.py
writes results/research/ensemble_clf_meta.csv and results/research/no_decoder_splits.csv
é    N)ÚParallelÚdelayed)ÚLogisticRegression)ÚCFGÚEXPÚrows_of)ÚDS_KEYSÚresultsÚresearchzensemble_clf_meta.csvzno_decoder_splits.csvi€ c                  ó2  — g } t         D ]ø  }t        j                  j                  t        d   t        j
                  |«      z   «      }t         D ]±  }||k(  rŒ	t        |«      }t        |j                  j                  «       «      }|j                  |«      }| j                  t        ||t        |«      t        |«      t        t        |«      «      t        t        d   t        j
                  |«      z   «      ¬«      «       Œ³ Œú t!        j"                  | «      S )zUValidation subject of every training dataset, same RNG as direct_classifier.run_fold.Úseed)Úheld_outÚtrain_dsÚval_subjectÚn_train_subjectsÚn_trialsr   )r	   ÚnpÚrandomÚdefault_rngr   Úindexr   ÚsortedÚsubjectÚuniqueÚchoiceÚappendÚdictÚstrÚlenÚintÚpdÚ	DataFrame)ÚrowsÚheldÚrngÚdsÚsubÚsubjectsÚvss          ú,/root/disk_3tb/eeg-thao/ensemble_clf_meta.pyÚsplit_tabler*   #   sÔ   € à€DßˆÜ�i‰i×#Ñ#¤C¨¡K´'·-±-ÀÓ2EÑ$EÓFˆßˆBØ�TŠzØÜ˜"“+ˆCÜ˜cŸk™k×0Ñ0Ó2Ó3ˆHØ—‘˜HÓ%ˆBØ�K‰Kœ d°RÄSÈÃWÜ.1°(«mÄcÌ#ÈcË(ÃmÜ"%¤c¨&¡k´G·M±MÀ$Ó4GÑ&GÓ"HôJõ Kñ ð ô �<‰<˜ÓÐó    c                 ó„  — g }|D ]Ÿ  }| d   |   j                  «       }|D ]‚  }t        j                  | D �cg c]  }t        j                  ||   |   «      ‘Œ c}d«      }|r0|t        j
                  | d   |   |   d   dk(  dd«      d d …d f   z  }|j                  |«       Œ„ Œ¡ t        j                  |d«      S c c}w )Nr   é   Úattç      ð?ç      ð¿)Úkeysr   ÚstackÚEÚdeltaÚwherer   Úconcatenate)	ÚevsÚdatasetsÚsignedÚpartsÚdr1   ÚkÚevÚDs	            r)   r2   r2   4   s»   € Ø€EÛˆØ�1‰v�a‰y�~‰~ÓˆÛˆAÜ—‘±cÓ:±c°œ!Ÿ'™' " Q¡%¨¡(Õ+°cÑ:¸AÓ>ˆAÙØœŸ™  Q¡¨¡¨1¡¨eÑ!4¸Ñ!9¸3ÀÓEÂaÈÀgÑNÑN�Ø�L‰L˜�Oñ	 ð ô �>‰>˜% Ó#Ð#ùò	 ;s   ¶"B=c                 ó  — t         D �cg c]
  }||k7  sŒ	|‘Œ }}g }| D ]¤  }|D ��cg c]M  }||   j                  «       D ]5  }t        j                  |«      t	        j
                  |d   dk(  dd«      z  ‘Œ7 ŒO }}}|j                  dt        t        t	        j                  |«      j                  «       «      d«      z  «       Œ¦ t	        j                  |t        j                  «      }||j                  «       z  S c c}w c c}}w )Nr.   r   r/   r0   gê-�™—q=)r	   Úvaluesr3   r4   r   r5   r   ÚmaxÚfloatr6   ÚstdÚasarrayÚfloat64Úsum)r7   r#   r;   ÚtrainÚwr=   Úer:   s           r)   Úinvstd_weightsrJ   @   sÜ   € ÝÓ-™�1 1¨£9ŠQ˜€EÐ-Ø
€AÛˆÙJOÔhÉ%ÀQÐY[Ð\]ÑY^×YeÑYeÖYgÐTU”—‘˜“œbŸh™h q¨¡x°1¡}°c¸4Ó@Ó@ÐYgÐ@È%ˆÑhØ	�‰�”sœ5¤§¡°Ó!6×!:Ñ!:Ó!<Ó=¸uÓEÑEÕFð ô 	�
‰
�1”b—j‘jÓ!€AØˆq�u‰u‹w‰;Ðùò .ùó is   ‰
C<”C<¦ADc                 ó–  — t        | t        D �cg c]
  }||k7  sŒ	|‘Œ c}d¬«      }t        j                  |j                  «      }t        t        j                  j                  |«      «      }d}|dkD  rYdt        t        j                  |«      «      z  |j                  d   z  }||t        j                  |j                  d   «      z  z   }t        j                  j                  ||j                  d«      «      }|t        j                  |«      j                  «       z  }|t        t!        t#        |«      «      ||d¬«      fS c c}w )NT©r9   ç        g    „×—Agü©ñÒMbP?r   )ÚnÚcondÚridgeÚ	intercept)r2   r	   r   ÚcovÚTrB   ÚlinalgrO   ÚtraceÚshapeÚeyeÚsolveÚmeanÚabsrF   r   r   r   )r7   r#   r;   ÚXÚCrO   rP   rH   s           r)   Úlda_weightsr]   J   sô   € Üˆc�wÓ4™w˜!¨!¨t«)’A˜wÑ4¸TÔB€AÜ
�‰ˆq�s‰s‹€AÜ”—‘—‘ Ó"Ó#€DØ€EØˆc‚zØ”uœRŸX™X a›[Ó)Ñ)¨A¯G©G°A©JÑ6ˆØ�œŸ™˜qŸw™w q™zÓ*Ñ*Ñ*ˆÜ
�	‰	�‰˜˜1Ÿ6™6 !›9Ó%€AØ	ŒB�F‰F�1‹I�M‰M‹OÑ€AØŒd”Sœ˜Q›“[ t°5ÀCÔHÐHÐHùò 5s
   �
E
šE
c           	      óT  — t         D �cg c]
  }||k7  sŒ	|‘Œ }}t        | |d¬«      }g }|D ]Q  }| d   |   j                  «       D ]6  }|j                  |d   dk(  j	                  t
        j                  «      «       Œ8 ŒS t        j                  |«      }t        t        |«      «      }|t        kD  rHt
        j                  j                  t        d   «      }	|	j                  |t        d¬«      }
||
   ||
   }}t        ddd	¬
«      }|j!                  ||«       |j"                  j%                  «       j	                  t
        j&                  «      t)        |t        t        |«      «      t+        |j,                  d   «      t
        j.                  t
        j.                  ¬«      fS c c}w )NFrL   r   r.   r   )Úreplacer/   Úlbfgsi�  )r\   ÚsolverÚmax_iter)rN   Ún_fitrQ   rO   rP   )r	   r2   r@   r   Úastyper   Úint8r6   r   r   Ú
LOGREG_MAXr   r   r   r   r   ÚfitÚcoef_ÚravelrE   r   rB   Ú
intercept_Únan)r7   r#   r;   rG   r[   Úy_partsrI   ÚyÚn_allr$   ÚtakeÚclfs               r)   Úlogreg_weightsrq   W   sX  € ÝÓ-™�1 1¨£9ŠQ˜€EÐ-Üˆc�5 Ô'€AØ€GÛˆØ�Q‘˜‘×!Ñ!Ö#ˆAØ�N‰N˜A˜e™H¨™M×1Ñ1´"·'±'Ó:Õ;ñ $ð ô 	�‰�wÓ€AÜ”�A“‹K€EØŒzÒÜ�i‰i×#Ñ#¤C¨¡KÓ0ˆØ�z‰z˜%¤°UˆzÓ;ˆØ�‰w˜˜$™ˆ1ˆÜ
˜s¨7¸SÔ
A€CØ‡G�GˆAˆq„MØ�9‰9�?‰?Ó×#Ñ#¤B§J¡JÓ/´¸ÄSÌÈQËÃ[Ô\aÐbe×bpÑbpÐqrÑbsÓ\tÜ;=¿6¹6ÌÏÉô2Qð Qð Qùò .s
   ‰
F%”F%c                 ót  — | d   }i }t         D ]¢  }i ||<   ||   j                  «       D ]…  \  }}t        j                  t        j                  | D �cg c]  }t        j                  ||   |   «      ‘Œ c}d«      d«      }t        |t        j                  |«      |d   |d   d¬«      ||   |<   Œ‡ Œ¤ |S c c}w )Nr   r.   Út_endT)Úr0Úr1r.   rs   Úpre_switched)	r	   Úitemsr   Úmedianr2   r3   r4   r   Ú
zeros_like)r7   ÚrefÚoutr;   r<   Úe0r=   Úaccs           r)   Úcombine_medianr~   j   s²   € Ø
ˆa‰&€CØ
€CßˆØˆˆA‰Ø˜‘V—\‘\–^‰EˆAˆrÜ—)‘)œBŸH™HÁ#Ó%FÁ#¸B¤a§g¡g¨b°©e°A©hÕ&7À#Ñ%FÈÓJÈAÓNˆCÜ ¬¯©°cÓ(:ÀÀ5Á	ÐQSÐT[ÑQ\ÐkoÔpˆC�‰F�1ŠIñ $ð ð
 €Jùò &Gs   Á"B5c                 ó    — t        j                  | |«      }|r5|j                  «       D ]"  }|j                  «       D ]  }|d   |z   |d<   Œ Œ$ |S )Nrt   )r3   Úcombiner@   )r7   rH   rQ   r=   r;   rI   s         r)   Úcombine_affiner�   u   sN   € Ü	
�‰�3˜Ó	€BÙØ—‘–ˆAØ—X‘X–Z�Ø˜D™' IÑ-��$’ñ  ð ð €Ir+   c                 óÞ  — i }t        | «      j                  «       D ]h  \  }}||d      }|d   |d   z
  d d d…   }t        j                  |d   d d d…   dk(  dd«      }|j	                  |d	   g «      j                  ||z  «       Œj t        t        j                  |j                  «       D �cg c]-  }t        j                  t        j                  |«      dkD  «      ‘Œ/ c}«      «      S c c}w )
NÚkeyrt   ru   é   r.   r   r/   r0   Úsubj_uid)r   Úiterrowsr   r5   Ú
setdefaultr   rB   rx   r@   rY   r6   )	r%   ÚevdÚperÚ_ÚrrI   r;   ÚsgnÚvs	            r)   Úacc1_ofrŽ   ~   sÓ   € Ø
€CÜ˜“×$Ñ$Ö&‰ˆˆ1Ø��%‘‰MˆØˆt‰W�q˜‘wÑ¡ ! Ñ$ˆÜ�h‰h�q˜‘x¡ ! ‘}¨Ñ)¨3°Ó5ˆØ�‰�q˜‘} bÓ)×0Ñ0°°S±Õ9ð	 'ô
 ”—‘ÀCÇJÁJÄLÓQÁL¸qœBŸG™G¤B§N¡N°1Ó$5¸Ñ$9Õ:ÀLÑQÓRÓSÐSùÒQs   Â-2C*c                 óX  — t        |||   «      }g }t        D ]�  }t        j                  ||||¬«      }t	        | |||d   |d   |d   |d   |¬«      }	|	j                  |«       t        | d›d|› d	|d
›d|d   d›d|d   d›d|d   d›d|d   d›�d¬«       |j                  |	«       Œ‘ |S )N)Úp_stayÚHÚAccÚSDTÚL)Úmethodr�   r%   r‘   r’   r“   r”   Úacc1Ú7sz p_stay=Ú Ú4sz  H ú.4fz  Acc z.2fz  SDT z  L z.3fT©Úflush)rŽ   ÚP_STAYÚSÚscore_datasetr   ÚupdateÚprintr   )
r•   r%   r=   Ú	lookaheadÚextrar–   r"   Úpr‹   Úrecs
             r)   Ú	score_jobr¦   ˆ   sß   € Ü�2�r˜"‘vÓ€DØ€DßˆÜ�O‰O˜B  I°aÔ8ˆÜ˜&¨¨r°Q°s±VÀÀ5ÁÈqÐQVÉxÐ[\Ð]`Ñ[aÐhlÔmˆØ�
‰
�5ÔÜ�˜�˜8 A 3 a¨¨2 w¨d°1°S±6¸#°,¸fÀQÀuÁXÈcÀNÐRXÐYZÐ[`ÑYaÐbeÐXfÐfjÐklÐmpÑkqÐruÐjvÐwØõ	à�‰�CÕð ð €Kr+   c                 ó°  — t        t        |j                  dd«      «      |j                  dd«      |j                  d|j                  dd«      «      |j                  dt        j                  «      |j                  dd«      ¬«      }|€(t        d	«      D ]  }t        j                  |d
|› �<   Œ |S t        |«      D ]  \  }}t        |«      |d
|› �<   Œ |S )NrQ   rM   rN   r   rc   rO   rP   )rQ   rN   rc   rO   rP   r„   rH   )r   rB   Úgetr   rk   ÚrangeÚ	enumerate)r•   rH   Úinfor£   ÚiÚwis         r)   Úpackr®   •   sÄ   € Üœ5 §¡¨+°sÓ!;Ó<ÀÇÁÈÈaÓ@PØ—x‘x ¨¯©°#°qÓ)9Ó:ÀÇÁÈ&ÔRT×RXÑRXÓAYÐae×aiÑaiÐjqÐsvÓawôy€Eà€yÜ�q–ˆAÜŸV™VˆE�A�a�S�'ŠNð ð
 €Lô ˜q–\‰EˆAˆrÜ" 2›YˆE�A�a�S�'ŠNð "à€Lr+   c                  ór  ‡— g d c} Št         j                  D ]Â  \  }}t        j                  |d«      \  }}t        D ]z  }t        ||   d   «      }‰€|Šn(t        |‰z
  «      dkD  rt        d|› d|› d|› d‰› �«      ‚||   j                  «       D ]$  }|j                  d«      rŒt        |› d|› d	�«      ‚ Œ| | j                  |«       t        d
|› �d¬«       ŒÄ | }t        «       }	t        j                  t        j                  j!                  t"        «      d¬«       |	j%                  t"        d¬«       t        dt"        › �d¬«       g }
t'        |«      }t        D ]+  }|
j                  t)        d||t+        dd i «      ¬«      «       Œ- t        D �]4  }t-        ||«      }|
j                  t)        d|t/        ||d«      t+        d|i «      ¬«      «       t1        ||«      \  }}t        d|› dt3        j4                  |d«      › d|d   d›d|d   › �d¬«       |
j                  t)        d|t/        ||d«      t+        d||«      ¬«      «       t7        ||«      \  }}t        d|› dt3        j4                  |d«      › d|d    d!›d|d   › �d¬«       |
j                  t)        d"|t/        |||d    «      t+        d"||«      ¬«      «       �Œ7 t9        t        j:                  j                  d#d«      «      } t=        |¬$«      ˆfd%„|
D «       «      }t?        j@                  |D ��cg c]  }|D ]  }|‘Œ Œ c}}«      }t        j                  t        j                  j!                  tB        «      d¬«       |j%                  tB        d¬«       |jE                  d&d'gd¬(«      g d)¢   jG                  «       jI                  «       }t?        jJ                  d*d+«       t?        jJ                  d,d-«       t        d.«       t        |j5                  d«      jM                  d¬«      «       t        d/tB        › �«       y c c}}w )0NÚcausalÚlookahead_sg•Ö&è.>zlookahead mismatch on r˜   z: z vs rv   z evidence is not pre_switchedzloaded Tr›   )Úexist_okF)r   zwrote rx   )r•   r%   r=   r£   ÚinvstdrM   zlda z w r„   z cond rO   z.1fz n rN   Úldazlogreg z b rQ   rš   ÚlogregÚ
SCORE_JOBS)Ún_jobsc           	   3   óh   •K  — | ])  } t        t        «      |d    |d   |d   ‰|d   «      –— Œ+ y­w)r•   r%   r=   r£   N)r   r¦   )Ú.0Újr¢   s     €r)   Ú	<genexpr>zmain.<locals>.<genexpr>Ç   s>   øè ø€ Ð#{ÑvzÐqrÐ$6¤G¬IÓ$6°q¸±{ÀAÀdÁGÈQÈtÉWÐV_ÐabÐcjÑak×$lÑvzùs   ƒ/2r•   r�   )Úsort)r‘   r’   r“   r”   r–   zdisplay.widthéÜ   zdisplay.max_rowséd   z&
mean over the five held-out datasets:z
wrote )'r3   ÚSEEDSrž   Ú
load_foldsr	   rB   rZ   ÚRuntimeErrorr@   r¨   r   r¡   r*   ÚosÚmakedirsÚpathÚdirnameÚ	SPLIT_OUTÚto_csvr~   r   r®   rJ   r�   r]   r   Úroundrq   r   Úenvironr   r    r!   ÚOUTÚgroupbyrY   Úreset_indexÚ
set_optionÚ	to_string)Úloadedr   Úexpr=   r«   r%   ÚlarI   r7   ÚsplitsÚjobsÚev_medr#   rH   r·   r:   Úpartr‹   ÚdfrY   r¢   s                       @r)   Úmainr×   ¡   s¶  ø€ Ø˜DÐ€FˆIÜ—W”W‰	ˆˆcÜ—<‘<  XÓ.‰ˆˆDßˆBÜ�t˜B‘x Ñ.Ó/ˆBØÐ Ø‘	Ü�R˜)‘^Ó$ tÒ+Ü"Ð%;¸C¸5ÀÀ"ÀÀRÈÀtÈ4ÐPYÈ{Ð#[Ó\Ð\Ø˜‘V—]‘]–_�Ø—u‘u˜^Õ,Ü&¨#¨¨a°¨tÐ3PÐ'QÓRÐRñ %ð ð 	�‰�bÔÜ�˜�uˆo TÖ*ð ð €Cä‹]€FÜ‡K�K”—‘—‘¤	Ó*°TÕ:Ø
‡M�M”) 5€MÔ)Ü	ˆF”9�+Ð
 dÕ+à€DÜ˜CÓ €FßˆØ�‰”D ¨R°FÄ$ÀxÐQUÐWYÓBZÔ[Õ\ð ç�ˆÜ˜3 Ó%ˆØ�‰”D ¨T´nÀSÈ!ÈSÓ6QÔY]Ð^fÐhiÐkmÓYnÔoÔpÜ˜c 4Ó(‰ˆˆ4Ü��T�F˜#œbŸh™h q¨!›nÐ-¨V°D¸±LÀÐ3EÀSÈÈcÉÈÐTÐ\`ÕaØ�‰”D ¨$´>À#ÀqÈ#Ó3NÔVZÐ[`ÐbcÐeiÓVjÔkÔlÜ   dÓ+‰ˆˆ4Ü�˜�v˜S¤§¡¨!¨Q£Ð 0°°D¸Ñ4EÀcÐ3JÈ#ÈdÐSVÉiÈ[ÐYÐaeÕfØ�‰”D ¨T´nÀSÈ!ÈTÐR]ÑM^Ó6_Ü# H¨a°Ó6ô8ö 	9ð ô ”—‘—‘ ¨aÓ0Ó1€FØ#ŒH˜FÔ#Ó#{ÑvzÓ#{Ó{€EÜ	�‰¡UÔ9¡U˜T³D¨q’q°D�q UÒ9Ó	:€BÜ‡K�K”—‘—‘¤Ó$¨tÕ4Ø‡I�IŒc˜€IÔØ�:‰:�x Ð*°ˆ:Ó7Ò8XÑY×^Ñ^Ó`×lÑlÓn€DÜ‡M�M�/ 3Ô'Ü‡M�MÐ$ cÔ*Ü	Ð
3Ô4Ü	ˆ$�*‰*�Q‹-×
!Ñ
!¨Ð
!Ó
.Ô/Ü	ˆH”S�EÐ
Õùó :s   Ì"P3
Ú__main__)'Ú__doc__rÂ   Únumpyr   Úpandasr    Újoblibr   r   Úsklearn.linear_modelr   Úensemble_clfr3   Úscorerž   Ú
common_expr   r   r   Úcommonr	   r�   rÄ   ÚjoinrÊ   rÆ   rf   r*   r2   rJ   r]   rq   r~   r�   rŽ   r¦   r®   r×   Ú__name__© r+   r)   Ú<module>rå      s¹   ðñó  
ã Û ß $Ý 3ã Û ß (Ñ (Ý à	
�‰€Ø‡g�g‡l�l�3˜	 :Ð/FÓG€Ø�G‰G�L‰L˜˜i¨Ð5LÓM€	Ø€
òò"	$òò
IòQò&òòTò
ò	ò/ðd ˆzÒÙ…Fð r+   