Ë
    VA½j1  ã            	       ód  — d Z ddlZddlZddlZddlZddlZddlm	Z	 ddl
mZmZmZmZmZmZ ej"                  j%                  ej"                  j'                  e«      «      Zej"                  j'                  ej"                  j-                  edd«      «      Zej"                  j1                  dej"                  j-                  eddd«      «       dd	lmZmZmZ d
\  ZZej"                  j-                  edd«      Zd„ Z  e ddd«      Z!e!D � cg c]  }  e| de¬«      ‘Œ c} Z"d„ Z#d„ Z$ eddded¬«      Z% edddgded¬«      Z&dez  fd„Z'd$d"„Z(e)d#k(  rX e( e*ejV                  «      dkD  r e,ejV                  d   «      nd  e*ejV                  «      dkD  rejV                  d   nd!«       yyc c} w )%a¢  Reverse-engineer how the organisers' stimulus envelopes were computed (needed before adding external data).

For KUL2016 trials, the original 'dry' wav files (Zenodo record 21415059, stimuli.zip) are turned into envelopes by
several candidate methods at 128 Hz and compared with the supplied raw envelope of the same stream
(data/superhuge/raw/stimuli/env, 128 Hz): Pearson correlation at the best lag within +-5 s, both broadband
(0.1 Hz high-pass, drift removed) and in the decoding band (1-9 Hz). The method with correlation ~1 is the one used.

Candidates (audio resampled to 8 kHz first, as in the KU Leuven preprocess_data.m):
  gt_pow06   gammatone filterbank 150-4000 Hz, 1.5-ERB spacing, |subband|^0.6, summed  (KU Leuven 'powerlaw subbands')
  gt_pow03   same with exponent 0.3
  gt_hilb    gammatone subbands, |Hilbert| (no compression), summed
  hilb       broadband |Hilbert|
  hilb_pow06 broadband |Hilbert|^0.6
  abs_pow06  broadband |x|^0.6
DTU (Zenodo 1199011 AUDIO.zip, its preproc_data.m uses an auditory filterbank, |.|^0.3, averaged) is tested the
same way with --ds DTU.
usage: python reverse.py [n_trials] [KUL|DTU]   -> results/reverse_<ds>.csv, printed summary
é    N)Úwavfile)ÚbutterÚ	gammatoneÚhilbertÚlfilterÚresample_polyÚsosfiltfiltz..ÚreportsÚeda_fullÚscripts)Úload_envÚload_labelsÚtrial_index)i@  é€   ÚrawÚstimulic                 óf   — d„ }d„ } |t        j                   || «       ||«      dz   |«      «      S )Nc                 ó>   — dt        j                  dd| z  z   «      z  S )Nçffffff5@é   çVñFæq?)ÚnpÚlog10©Úfs    ú`/root/disk_3tb/EEG-sAAD-Grand-Challenge-Training-Dataset/experiments/envelope_reverse/reverse.pyÚ<lambda>zerb_space.<locals>.<lambda>&   s   € �Dœ2Ÿ8™8 A¨°!©¡OÓ4Ò4ó    c                 ó   — d| dz  z  dz
  dz  S )Né
   r   r   r   © )Úes    r   r   zerb_space.<locals>.<lambda>'   s   € �R˜A ™HÑ%¨Ñ)¨WÒ4r   g•Ö&è.>)r   Úarange)ÚloÚhiÚspacingÚerbÚinvs        r   Ú	erb_spacer)   %   s0   € Ù
4€CÙ
4€CÙŒr�y‰y™˜R›¡# b£'¨D¡.°'Ó:Ó;Ð;r   é–   i   g      ø?Úfir)Úfsc                 ó(   — t        | t        |d¬«      S )Nr   ©Úaxis)r   ÚFE)Úxr,   s     r   Úto128r2   /   s   € Ü˜œB ¨Ô+Ð+r   c                 ó"  — t        | j                  t        j                  «      t        |«      }t        j
                  t        D ��cg c]  \  }}t        |||«      ‘Œ c}}d«      }i }t        t        j                  |«      dz  j                  d«      t        «      |d<   t        t        j                  |«      dz  j                  d«      t        «      |d<   t        t        j                  t        |d¬«      «      j                  d«      t        «      |d<   t        j                  t        |«      «      }t        |t        «      |d	<   t        |dz  t        «      |d
<   t        t        j                  |«      dz  t        «      |d<   |S c c}}w )Nr   g333333ã?Úgt_pow06g333333Ó?Úgt_pow03r   r.   Úgt_hilbÚhilbÚ
hilb_pow06Ú	abs_pow06)r   Úastyper   Úfloat64ÚFAÚstackÚGTr   r2   ÚabsÚsumr   )Úaudior,   ÚaÚbÚaaÚsubÚoutÚhs           r   Ú
candidatesrH   3   s'  € Ü�e—l‘l¤2§:¡:Ó.´°BÓ7€AÜ
�(‰(µ2Ô6±2©%¨!¨R”G˜A˜r 1Õ%°2Ò6¸Ó
:€CØ
€CÜœRŸV™V C›[¨CÑ/×4Ñ4°QÓ7¼Ó<€Cˆ
�OÜœRŸV™V C›[¨CÑ/×4Ñ4°QÓ7¼Ó<€Cˆ
�OÜœ2Ÿ6™6¤'¨#°AÔ"6Ó7×;Ñ;¸AÓ>ÄÓC€Cˆ	�NÜ
�‰Œw�q‹zÓ€AÜ˜œ2“,€Cˆ�KÜ˜a 3™h¬Ó+€CˆÑÜœRŸV™V A›Y¨#Ñ-¬rÓ2€CˆÑØ€Jùó 7s   ÁF
é   gš™™™™™¹?ÚhighpassÚsos)r,   Úoutputé   r   é	   Úbandpassé   c           	      óX  — t        t        | «      t        |«      «      }| d| | d| j                  «       z
  |d| |d| j                  «       z
  }}||j                  «       dz   z  ||j                  «       dz   z  }}dt	        t        j                  t        j                  d|z  «      «      «      z  }t
        j                  j                  t
        j                  j                  ||«      t        j                  t
        j                  j                  ||«      «      z  |«      |z  }t
        j                  t        j                  d|dz   «      t        j                  | d«      f   }|||z     }	t	        t        j                  |	«      «      }
t        |	|
   «      t	        ||
   «      fS )zXmax Pearson over lags (cand shifted), via FFT cross-correlation of standardised signals.Ngê-�™—q=r   rI   r   )ÚminÚlenÚmeanÚstdÚintr   ÚceilÚlog2ÚfftÚirfftÚrfftÚconjÚr_r#   ÚargmaxÚfloat)ÚrefÚcandÚmaxlagÚnÚrÚcÚLÚxcÚlagsÚvalsÚis              r   Ú	best_corrrk   E   sF  € äŒC�‹H”c˜$“iÓ €AØˆr�ˆ7�S˜˜!�W—\‘\“^Ñ# T¨"¨1 X°°R°a°·±³Ñ%?€q€AØ�—‘“˜%‘Ñ  ! q§u¡u£w°¡Ñ"7€q€AØ	ŒS”—‘œŸ™  Q¡›Ó(Ó)Ñ)€AÜ	�‰�‰”b—f‘f—k‘k ! QÓ'¬"¯'©'´"·&±&·+±+¸aÀÓ2CÓ*DÑDÀaÓ	HÈ1Ñ	L€BÜ�5‰5”—‘˜1˜f q™jÓ)¬2¯9©9°f°W¸aÓ+@Ð@ÑA€DØˆd�Q‰h‰<€DÜŒB�I‰I�d‹OÓ€AÜ��a‘‹>œ3˜t A™w›<Ð'Ð'r   é   ÚKULc                 ó˜  — |dk(  rdnd\  }}t        d„ t        j                  t        j                  j	                  t
        |«      «      D «       «      stt        j                  t        j                  j	                  t
        ||«      «      5 }|j                  t        j                  j	                  t
        |«      «       d d d «       i }t        j                  t        j                  j	                  t
        |«      «      D ]B  \  }}}|D ]7  }	|	j                  d«      sŒt        j                  j	                  ||	«      ||	<   Œ9 ŒD t        «       }
g }i }|
|
j                  |k(     j                  | «      j                  «       D �]Ž  \  }}t        |d   «      }t        j                   t#        |d   «      t        j$                  «      }t'        |d   «      }t)        |d   «      d	z
  }d
|fd	d	|z
  ffD �]  \  }}||   }||vrt+        d|«       Œ||vrLt-        j.                  ||   «      \  }}|j0                  d	kD  r|j3                  d	«      n|}t5        ||«      ||<   |d d …|f   }||   j7                  «       D ]€  \  }}t9        t;        t<        |«      t;        t<        |«      «      \  }}t9        t;        t>        |«      t;        t>        |«      «      \  }}|jA                  tC        |d   |||||||¬«      «       Œ‚ �Œ t+        d|d   d¬«       �Œ‘ tE        jF                  |«      }t        jH                  t        j                  j	                  t
        d«      d¬«       |jK                  t        j                  j	                  t
        dd|› d�«      d¬«       |jM                  d«      ddg   jO                  ddg«      jQ                  d«      jS                  dd¬«      }t+        |jU                  «       «       t+        d|jM                  d«      jV                  jY                  «       j[                  «       «       y # 1 sw Y   �Œ�xY w)Nrm   )r   zstimuli.zip)Úraw_dtuz	AUDIO.zipc              3   óT   K  — | ]   \  }}}|D ]  }|j                  d «      –— Œ Œ" y­w)ú.wavN)Úendswith)Ú.0Ú_Úfs_r   s       r   Ú	<genexpr>zmain.<locals>.<genexpr>T   s.   è ø€ ÐaÑ3S¡i a¨¨CÓ]`ÐXYˆq�z‰z˜&×!Ð]`Ð!Ñ3Sùs   ‚&(rq   ÚkeyÚwavÚcol0_streamr   r   zmissing wav)rw   Úcolrx   ÚmethodÚr_broadÚ	lag_broadÚr_1_9Úlag_1_9ÚdoneT)ÚflushÚresults)Úexist_okÚreverse_z.csvF)Úindexr{   r|   r~   rT   rR   rM   )r|   rT   )Ú	ascendingztypical lag (samples @128 Hz):).ÚanyÚosÚwalkÚpathÚjoinÚHEREÚzipfileÚZipFileÚ
extractallrr   r   ÚdsÚheadÚiterrowsr   r   Úasarrayr   r;   ÚlistrV   Úprintr   ÚreadÚndimrT   rH   Úitemsrk   r	   ÚHPÚBPÚappendÚdictÚpdÚ	DataFrameÚmakedirsÚto_csvÚgroupbyÚaggÚroundÚsort_valuesÚ	to_stringr}   ÚmedianÚto_dict) Ún_trialsr�   r   ÚznameÚzÚwavsÚdprt   ru   r   ÚtiÚrowsÚcacherd   ÚlabÚenvÚstreamsÚc0rz   ÚsiÚwr,   rA   r`   Úmra   ÚcbÚlbÚc9Úl9ÚRÚSs                                    r   Úmainr½   R   sf  € Ø+-°ª;Ñ'Ð<T�J€CˆÜÑa´2·7±7¼2¿7¹7¿<¹<ÌÈcÓ;RÔ3SÓaÔaÜ�_‰_œRŸW™WŸ\™\¬$°°UÓ;Ô<ÀØ�L‰LœŸ™Ÿ™¤d¨CÓ0Ô1÷ =à€DÜ—g‘gœbŸg™gŸl™l¬4°Ó5Ö6‰
ˆˆAˆsÛˆAØ�z‰z˜&Õ!ÜŸ'™'Ÿ,™, r¨1Ó-��Q’ñ ð 7ô 
‹€BØ€DØ€EØ�2—5‘5˜B‘;‘×$Ñ$ XÓ.×7Ñ7×9‰ˆˆ1Ü˜!˜E™(Ó#ˆÜ�j‰jœ ! E¡(Ó+¬R¯Z©ZÓ8ˆÜ�s˜5‘zÓ"ˆÜ��]Ñ#Ó$ qÑ(ˆØ˜B˜ ! Q¨¡V Ô-‰GˆC�Ø˜‘ˆAØ˜‰}Ü�m QÔ'ØØ˜‰~Ü#ŸL™L¨¨a©Ó1‘	��EØ).¯©°aª˜Ÿ
™
 1œ¸U�Ü% e¨RÓ0��a‘Ø’a˜�f‘+ˆCØ  ™8Ÿ>™>Ö+‘��4Ü"¤;¬r°3Ó#7¼ÄRÈÓ9NÓO‘��BÜ"¤;¬r°3Ó#7¼ÄRÈÓ9NÓO‘��BØ—‘œD Q u¡X°3¸AÀaÐQSÐ_aÐikÐuwÔxÕyò ,ð .ô 	ˆf�a˜‘h d×+ð' :ô( 	�‰�TÓ€AÜ‡K�K”—‘—‘œT 9Ó-¸Õ=Ø‡H�HŒR�W‰W�\‰\œ$ 	¨X°b°T¸Ð+>Ó?Àu€HÔMØ	�	‰	�(Ó˜Y¨Ð0Ñ1×5Ñ5°v¸u°oÓF×LÑLÈQÓO×[Ñ[Ð\oð  |AÐ[ó  	B€AÜ	ˆ!�+‰+‹-ÔÜ	Ð
*¨A¯I©I°hÓ,?×,IÑ,I×,PÑ,PÓ,R×,ZÑ,ZÓ,\Õ]÷G =Ñ<ús   Â4P?Ð?Q	Ú__main__)rl   rm   )-Ú__doc__rˆ   Úsysr�   Únumpyr   Úpandasr�   Úscipy.ior   Úscipy.signalr   r   r   r   r   r	   rŠ   ÚdirnameÚabspathÚ__file__rŒ   r‹   ÚROOTÚinsertÚcommonr   r   r   r<   r0   ÚSTIMr)   ÚFREQSr>   r2   rH   r™   rš   rk   r½   Ú__name__rS   ÚargvrV   r   s   0r   Ú<module>rÏ      sƒ  ðñó$ 
Û 
Û ã Û Ý ß X× Xà	‡w�w‡��r—w‘w—‘ xÓ0Ó1€Ø	‡w�w‡��r—w‘w—|‘| D¨$°Ó5Ó6€Ø ‡�‡���2—7‘7—<‘<  i°¸YÓGÔ Hß 5Ñ 5à	�€€BØ	‡w�w‡|�|�D˜% Ó+€ò<ñ 	�#�t˜SÓ!€Ù*/Ó0©% Q�i��5˜RÖ ¨%Ñ0€ò,òñ ˆAˆs�J 2¨eÔ4€ÙˆA��1ˆv�z b°Ô7€ð !" B¡ó 
(ó&^ðR ˆzÒÙ™S §¡›]¨QÒ.‰ˆS�X‰X�a‰[Ô	°BÁsÈ3Ï8É8Ã}ÐWXÒGX¸¿¹ÀºÐ^cÕdð ùò_ 1s   ÄF-