Ë
    ·áéj!  ã                   ó
  — d Z ddlZddlZddlZddlmZ ddlZddlZddl	Z	ddl
ZddlmZmZ ddlmZmZmZmZmZmZ ddl	mZmZ ddlmZ ddlmZ ej8                  j;                  ed	d
«      Zd„ Zd„ Z d„ Z!e"dk(  r e!«        yy)zÚCreate base logits excluding BOTH target datasets. One fit scores both.

Pretrained SparrKULee and Fuglsang are independent external training sets.
Results include explicit train/validation/excluded dataset manifests.
é    N)ÚSimpleNamespace)ÚDS_KEYSÚSEED)ÚCFGÚEXPÚFSÚ
load_trialÚrows_ofÚsave_pickle)ÚDÚ_targets)Údraw_switch_times)Úload_externalÚfoldsÚnested_stack_basec                 ó:   — dj                  t        | |f«      «      S )NÚ__)ÚjoinÚsorted)ÚaÚbs     únested_stack_base.pyÚ	pair_namer      s   € Ø�9‰9”V˜Q ˜F“^Ó$Ð$ó    c                 ó
  — t         j                  j                  t        t	        j
                  |«      z   «      }i }t        |«      j                  «       D �]ª  \  }}t        d|d   «      }t        |«      |d   |d   j                  t        «      t        |d   «      f\  }}}	}
t        ||
dz  «      }|j                  dd«       t        j                  |
t        ¬	«      }|D ]2  }|t!        |
d
z
  t        t#        |dz  «      «      «      d xxx dz  ccc Œ4 t        j$                  |
d
z
  t        j"                  t        j&                  t)        |«      «      t*        z  |d   z   dz  «      j                  t        «      «      }||   }t-        j.                  | |t        j0                  |d d …d d f   |d d …d d d…f   |«      «      \  }}|	|z  t        j2                  |t,        j4                  z
  d«         }t)        |«      dz  }t7        |dz  | dz  |j                  t         j8                  «      |t*        z  |d   z   j                  t         j:                  «      |d |dz   j=                  |d«      j?                  d
«      dz  |d |dz   j=                  |d«      j?                  d
«       dz  |d |dz   j=                  |d«      j?                  d
«      dkD  j                  t         j8                  «      d¬«      ||d   <   �Œ­ |S )NÚ
eaP_n5_t60ÚkeyÚeegÚattÚné€   r   é   )Údtypeé   TÚt0éÿÿÿÿé(   ç      à?)Úr0Úr1r   Út_endÚr0_10Úr1_10Úatt10Úpre_switched) ÚnpÚrandomÚdefault_rngr   r   Úindexr
   Úiterrowsr	   r   ÚastypeÚintr   ÚintegersÚzerosÚboolÚminÚroundÚminimumÚarangeÚlenr   ÚDCÚlogitsÚwhereÚmaximumÚHOPÚdictÚint8Úfloat32ÚreshapeÚmean)ÚnetÚdsÚrngÚevÚ_ÚrÚtrÚstimÚxr   r    ÚtimesÚst128ÚttÚidxÚstÚlgÚstartsÚtruthÚn10s                       r   Ú	score_oner[      s‘  € Ü
�)‰)×
Ñ
¤¤w§}¡}°RÓ'8Ñ 8Ó
9€CØ	€BÜ˜“×$Ñ$×&‰ˆˆ1Ü˜ a¨¡hÓ/ˆÜ" 2›,¨¨5©	°2°e±9×3CÑ3CÄCÓ3HÌ#ÈaÐPSÉfË+ÐU‰ˆˆa��aÜ! # q¨3¡wÓ/ˆØ�‰�Q˜ÔÜ—‘˜¤$Ô'ˆÛˆBØ”#�a˜‘cœ3œu R¨#¡X›Ó/Ó0Ð1Ó2°dÑ:Ô2ð ä�j‰j˜˜1™œbŸh™h¬¯	©	´#°a³&Ó(9¼"Ñ(<¸rÀ$¹xÑ(GÈÑ'LÓM×TÑTÔUXÓYÓZˆØ�3‰ZˆÜ—Y‘Y˜s A¤r§x¡x°²1°d¸D°=Ñ0AÀ4ÊÉ4ÈRÈ4ÈÁ=ÐRVÓ'WÓX‰
ˆˆFØ�r‘œ2Ÿ:™: f¬r¯v©v¡o°qÓ9Ñ:ˆÜ�"‹g�r‰kˆÜ˜r !™t¨¨¨A©°5·<±<ÄÇÁÓ3HØœ"‘9˜R ™XÑ%×-Ñ-¬b¯j©jÓ9Ø�W�c˜"‘f�+×%Ñ% c¨"Ó-×2Ñ2°1Ó5°aÑ7Ø�g�s˜2‘v�;×&Ñ& s¨2Ó.×3Ñ3°AÓ6Ð6°qÑ8Ø˜˜#˜b™&�>×)Ñ)¨#¨bÓ1×6Ñ6°qÓ9¸"Ñ<×DÑDÄRÇWÁWÓMÐ\`ô	bˆˆ1ˆU‰8‹ð 'ð$ €Ir   c                  óz	  — t        j                  «       } | j                  ddt        d¬«       | j                  dt        t        d«      d¬«       | j                  «       }|j                  d   |j                  d	   k(  rt        d
«      ‚t        |j                  «      }t        j                  j                  t        t        |Ž d|j                  › �«      }|D �cg c]%  }t        j                  j                  ||dz   «      ‘Œ' }}t!        d„ |D «       «      rt#        d|d¬«       y t%        j&                  d«       dt(        z  t*        _        t*        j,                  t*        j.                  z
  t*        j0                  z
  t*        j,                  t(        z
  ct*        _        t*        _        g d¢t6        d<   i t8        d   ¥t8        d   d   ¥ddi¥t6        d<   t7        j:                  d|j                  ¬«       t<        j>                  jA                  t8        d   tC        d„ |D «       «      z   «      }g g i }	}}t        D �
cg c]	  }
|
|vsŒ|
‘Œ }}
|D ]�  }tE        |«      }|jG                  t        |jH                  jK                  «       «      «      }tM        |«      |	|<   |jO                  «       D ]-  \  }}|d   |k(  r|n|jQ                  tS        d|d   «      «       Œ/ Œ� |tU        dgdt"        «      z  }||z   D ]  }tW        |«      |d <   Œ t        j                  j                  tX        d!d"|j                  › d#�«      }t[        d$dd%d¬&«      }t]        ||dgd'|	|j                  t*        j.                  t*        j0                  z   t(        z  ¬(«      }t#        d)|d*t_        |«      d+t_        |«      d¬«       ta        j`                  «       }t+        jb                  ||d,„ ||«      \  }}~~t        jd                  |d¬-«       tg        ||«      D ]_  \  }}ti        ||«      }tk        t]        d.|ii |¥||ta        j`                  «       |z
  d/œ¥¬0«      |«       t#        d1|t_        |«      d¬«       Œa t%        jl                  |jo                  «       t        j                  j                  |d2«      «       y c c}w c c}
w )3Nz--pairr"   T)ÚnargsÚchoicesÚrequiredz--seedé   )Útyper^   r_   r   r$   z#pair must contain distinct datasetsÚseedz.pklc              3   óZ   K  — | ]#  }t         j                  j                  |«      –— Œ% y ­w)N)ÚosÚpathÚexists)Ú.0re   s     r   Ú	<genexpr>zmain.<locals>.<genexpr>?   s   è ø€ Ð
2©E DŒ2�7‰7�>‰>˜$×©Eùs   ‚)+zpair already complete©Úflushé
   )ÚenvÚonsetÚdomÚtargetsÚdnn_augmentÚaug_variantsÚclusterÚclf_p_switch2r(   Úaugmenté   )Úmodel_blocksÚ
train_seedc              3   óR   K  — | ]  }t        j                  |«      d z   dz  –— Œ! y­w)r$   éd   N)r   r3   )rg   Úds     r   rh   zmain.<locals>.<genexpr>G   s&   è ø€ Ð1]ÑT\Èq´7·=±=ÀÓ3CÀAÑ3EÀsÕ2JÑT\ùs   ‚%'Úsubjectr   r   ÚFuglsang2020Ú_SÚmodelsÚ pretrain_spk_direct_clf_w10_b3_sz.ptÚvlaai_wsF)ÚbackboneÚp_switchÚzero_eegÚ
min_epochsÚ
SparrKULee)Úexcluded_datasetsÚtrain_datasetsÚtrain_externalÚpretrainÚvalidation_subjectsrb   Úlookahead_sÚmanifestÚtrainÚvalc                 ó   — t        | d¬«      S )NTri   )Úprint)rQ   s    r   Ú<lambda>zmain.<locals>.<lambda>Z   s   € ¬U°1¸DÕ-Ar   )Úexist_okÚcausal)Úscored_datasetÚbest_valÚtotal_s)ÚevidenceÚinfoÚwrotezmodel.pt)8ÚargparseÚArgumentParserÚadd_argumentr   r6   ÚrangeÚ
parse_argsÚpairÚ
SystemExitr   rd   re   r   ÚROOTr   rb   Úallr�   ÚtorchÚset_num_threadsr   r?   ÚWÚFUTrC   ÚPOS0ÚLABr   r   Úupdater0   r1   r2   Úsumr
   Úchoicer{   ÚuniqueÚstrr4   Úappendr	   r   r   r   r   rD   r>   ÚtimeÚfitÚmakedirsÚzipr[   r   ÚsaveÚ
state_dict)ÚpÚargsÚexcludedÚoutdirrJ   ÚpathsrK   r�   rŽ   Úval_subjectrz   Útrain_dsÚrowsÚvsrM   rN   rO   ÚinitÚoptsrŒ   ÚstartedrI   Úbestre   rL   s                            r   ÚmainrÂ   5   sÜ  € Ü×ÑÓ!€AØ‡N�N�8 1¬gÀ€NÔEØ‡N�N�8¤#¬u°Q«xÀ$€NÔGØ�<‰<‹>€DØ‡y�y��|�t—y‘y ‘|Ò#ÜÐ>Ó?Ð?Ü�d—i‘iÓ €HÜ�W‰W�\‰\œ$¤	¨8Ð 4¸¸T¿Y¹Y¸KÐ6HÓI€FÙ7?Ó@±x°ŒR�W‰W�\‰\˜& " V¡)Õ,°x€EÐ@Ü
Ñ
2©EÓ
2Ô2ÜÐ% v°TÕ:¸FÜ	×Ñ˜!ÔØŒb‰5„B„DÜ—d‘dœ2Ÿ6™6‘k¤"§&¡&Ñ(¬"¯$©$¬r©'€O„B„GŒRŒVÚ*„A€i�LØ`”c˜-Ñ(Ð`¬C°Ñ,?À	Ñ,JÐ`ÈOÐ]_Ñ`„A€i�LÜ‡H�H˜!¨¯	©	Õ2Ü
�)‰)×
Ñ
¤ F¡¬cÑ1]ÑT\Ó1]Ó.]Ñ ]Ó
^€CØ  " b�ˆ3€EÝ"Ó8™7�a a¨xÒ&7’˜7€HÐ8ÛˆÜ�r‹{ˆØ�Z‰Zœ˜tŸ|™|×2Ñ2Ó4Ó5Ó6ˆÜ˜b›'ˆ�B‰Ø—M‘M–O‰DˆAˆqØ�i‘L BÒ&‰S¨E×9Ñ9¼*À\ÐSTÐUZÑS[Ó:\Õ]ñ $ð	 ð 
Œ]˜NÐ+¨\¼5ÓAÑA€EØ�cŒkˆÜ˜B“<ˆˆ4Šð ä�7‰7�<‰<œ˜XÐ)IÈ$Ï)É)ÈÐTWÐ'XÓY€DÜ J¸ÀeÐXZÔ[€DÜ h¸xØ$2Ð#3¸lØ(3¸$¿)¹)ÔRT×RXÑRXÔY[×Y_ÑY_ÑR_ÔacÑQcôe€Hô 
ˆ*�h ¬¨U«°U¼CÀ»HÈDÕQÜ�i‰i‹k€GÜ—‘�u˜cÑ#AÀ4ÈÓN�I€CˆØˆsÜ‡K�K� Õ&Ü˜ %Ö(‰ˆˆDÜ�s˜BÓˆÜ”D 8¨B -ð 7D¸ð 7DÐTVØ#¬t¯y©y«{¸7Ñ/Bò7Dô EØFJô	Läˆg�tœS ›W¨DÖ1ð	 )ô
 
‡J�Jˆs�~‰~Ó¤§¡§¡¨f°jÓ!AÕBùòI Aùò 9s   Ã*R3É 	R8É
R8Ú__main__)#Ú__doc__rš   rd   r¯   Útypesr   Únumpyr0   r£   ÚdecodersÚdirect_classifierr?   Úcommonr   r   Ú
common_expr   r   r   r	   r
   r   r   r   Ú	e1_switchr   Úrun_experimentr   re   r   r¡   r   r[   rÂ   Ú__name__© r   r   Ú<module>rÏ      sr   ðñó
 Û 	Û Ý !ã Û ã Û ß  ß E× Eß  Ý 'Ý (à	‡w�w‡|�|�C˜Ð"5Ó6€ò%òò0-Cð` ˆzÒÙ…Fð r   