Skip to content

Latest commit

 

History

History
65 lines (50 loc) · 2.46 KB

pre-outline.md

File metadata and controls

65 lines (50 loc) · 2.46 KB

Wetenschapsfestival: 25 nov.

Verhaal

  • We tonen de hoe computers stemmen "horen", i.e. met spectrogrammen, pitch, formanten, intensiteit.
  • Zowel opnames maken die "geannoteerd" kunnen worden als meer flashy realtime.
  • We tonen enkele mogelijkheden van deze representatie met flashy effects (pitch/gender alteration etc.)

Verder voor de geïnteresseerden:

  • Horen mensen ook stemmen op deze manier? Hoe doet het brein dit?
  • We tonen enkele typische klassiekers (McGurk, Yannie-Laurel etc.) die aantonen van niet.

Titel

De menselijke stem door de ogen van een computer

Promotekst

[Schrijf hier een korte beschrijving die wij kunnen gebruiken in het programma en op de website. Houd deze tekst vlot en bondig: focus op de zaken die aansluiting vinden bij de leefwereld van de bezoekers.]

Hoe verwerken computers de menselijke stem? En wat leert dit ons over hoe het brein dit doet?

?+ We tonen interactief enkele wetenswaardigheden. ?+ Dit sluit aan bij ons onderzoek naar spraakherkenning. ?+ Dit sluit aan bij ons onderzoek naar spraakherkenning gebaseerd op cognitieve principes.

Uitwerking

Livestreams (micro 1, laptop 1)

  • Window met raw numbers
  • Time domain plot
  • Spectrum
  • Spectrogram
  • Formant triangle

Mogelijkheid om te pauzeren. Alle windows stoppen dan, dus alsof er wordt gestopt met opnemen.

Live effects (micro 2, laptop 2)

  • Pitch tracker
  • Terugfluiten

Opnemen en dan afspelen: (maar realtime zou ook cool zijn)

  • Gender
  • Pitch alteration

Extra

Yannie-Laurel & McGurk & "wreck a nice beach"

Blog

Inline HTML plots/inline audio.

Eerste mogelijkheid: soft

  • SR leert ons allereerst dat menselijke spraak zeer complex is.
  • Hier is een weergave van een geluidsfragment. (Later reveal dat dit YL is.)
  • State of the art SR zijn nog niet zo goed vergeleken.
  • Het is wonderlijk dat het menselijke brein hier seemingly effortless in slaagt.
  • Dit lukt via een complex inferentieproces.
  • Dit kan je tonen via sommige "corner-cases".
  • Herinner je Yannie-Laurel (YL).
  • Deze soort world-knowledge is zeer moeilijk om te model0leren.
  • Dit interpretatieproces gebeurt constant bij alle input die bij ons binnenkomt. We kleuren de wereld.

Tweede mogelijkheid: meer detail

  • Heb je je ooit al eens afgevraagd hoe de geluidsgolven eruit zien als je spreekt?
  • Geluidsfragment analyseren, pitch, formanten
  • Toepassingen van de concepten
  • Het wonderlijke dat ons brein van deze rommel iets maakt. ... en dan mogelijk koppelen naar de eerste mogelijkheid hierboven.