Preskoči na glavni sadržaj

Multimodalni pristupi komunikaciji u kliničkoj lingvistici i fonetici

ISVU: 266250•6 ECTS•Ljetni semestar

Osnovne informacije

Organizacijska jedinica
Odsjek za fonetiku
Satnica
  • Predavanja: 30 sati
  • Seminar: 30 sati

Nastavnici

Cilj

Cilj je predmeta upoznati studente s multimodalnim aspektima jezične i govorne komunikacije. U sklopu projektnog zadatka studenti trebaju provesti opservacijsko istraživanje u kojem će na uzorku ispitanika različitih kliničkih profila i kognitivnog kapaciteta kodirati sve vizualne artikulatore u zadanom multimodalnom diskursu te ih klasificirati s obzirom na ulogu koju imaju u komunikacijskoj situaciji.

Sadržaj

  1. Uvod u kolegij Upoznavanje sa seminarskim temama, zadacima i literaturom
  2. Poimanje i obilježja multimodalne komunikacije – lingvistička perspektiva Karakteristike multimodalne komunikacije – seminarska diskusija
  3. Tipologija vizualnih artikulatora Vježba prepoznavanja vrsta vizualnih artikulatora
  4. Anotiranje vizualnih artikulatora Vježba anotiranja vizualnih artikulatora Faze produkcije prototipne konverzacijske geste – demonstracija
  5. Teorijski pristupi multimodalnoj komunikaciji Odabir projektnog zadatka, upute o izradi
  6. Psiholingvistički modeli procesiranja multimodalne informacije – produkcija Predstavljanje teme projektnog zadatka
  7. Psiholingvistički modeli procesiranja multimodalne informacije – percepcija Psiholingvistički modeli procesiranja multimodalne informacije – produkcija i percepcija: seminarska diskusija na temelju zadane literature
  8. Govorne karakteristike jezične interakcije (izmjena uloga i redoslijeda) Govorne karakteristike jezične interakcije (izmjena uloga i redoslijeda): seminarska diskusija na temelju zadane literature
  9. Govorne karakteristike jezične interakcije (izmjena uloga i redoslijeda) Analiza audiovizualnog sadržaja u sklopu projektnog zadatka
  10. Govorne karakteristike jezične interakcije (izmjena uloga i redoslijeda) Govorne karakteristike jezične interakcije (izmjena uloga i redoslijeda): seminarska diskusija na temelju zadane literature
  11. Eksterni i interni komunikacijski resursi Izrada korpusa vizualnih artikulatora u sklopu projektnog zadatka
  12. Nastavni materijali i zadaci u multimodalnoj komunikaciji Priprema jezičnih zadataka u sklopu projektnog zadatka
  13. Multimodalnost i atipičnosti u jeziku i govoru Izrada jezičnih materijala u sklopu projektnog zadatka
  14. Multimodalnost i atipičnosti u jeziku i govoru Usmena obrana projektnog zadatka
  15. Multimodalnost i atipičnosti u jeziku i govoru Usmena obrana projektnog zadatka

Ishodi učenja

  1. Usporediti različite govorne slojeve i jezične razine te neverbalne znakove kojima se prenose poruke u određenoj komunikacijskoj situaciji
  2. Analizirati znakove kojima sugovornici prenose socijalne informacije u određenoj komunikacijskoj situaciji
  3. Analizirati znakove kojima sugovornici uspostavljaju odnose i izmjenjuju uloge te kako stvaraju cjeline u komunikaciji
  4. Kritički prosuditi utjecaj efekta prilagođavanja sugovornika (engl. entrainment) u različitim postupcima prikupljanja govornog i jezičnog materijala
  5. Procijeniti utjecaj multimodalnih informacija na dijagnozu i terapiju jezičnih i govornih poremećaja.

Metode podučavanja

Predavanja, seminari, samostalni zadatci.

Metode ocjenjivanja

Studenti su obavezni pohađati nastavu, sudjelovati u seminarskim raspravama, izraditi seminarski projekt te ga usmeno obraniti.

Obavezna literatura

  1. McNeill, D. (1992). Hand and Mind. The University of Chicago Press, Chicago and London. 1-144.
  2. Müller, C., A. Cienki, E. Fricke, S. H. Ladewig, D. McNeill & S. Tessendorf (ur). (2013). Body – Language – Communication: An International Handbook on Multimodality in Human Interaction, (Vol. 1). Berlin/Boston: de Gruyter Mouton. 28-80, 156-168.
  3. Kendon, A. (2004). Gesture: visible action as utterance. Cambridge University Press. 84-196.

Dopunska literatura

  1. Clough, Sharice; Duff, Melissa C. (2020). The Role of Gesture in Communication and Cognition: Implications for Understanding and Treating Neurogenic Communication Disorders. Frontiers in Human Neuroscience, 14. doi:10.3389/fnhum.2020.0032
  2. Cornelia Müller, Alan Cienki, Ellen Fricke, Silva H. Ladewig, David McNeill, Jana Bressem (ur). (2014). Body – Language – Communication: An International Handbook on Multimodality in Human Interaction, (Vol. 2). Berlin/Boston: de Gruyter Mouton. 1301-1348, 1360-1391, 1732-1746, 1833-1840, 1898-1905.
  3. Hostetter, A.B., Alibali, M.W. (2008). Visible embodiment: Gestures as Simulated Action. Psychonomic Bulletin & Review, 15 (3). 495-499.
  4. Kistner, J., Marshall, J., Dipper, L. T. (2019). The influence of conversation parameters on gesture production in aphasia. Clinical Linguistics & Phonetics. 1-25. doi:10.1080/02699206.2019.1692075
  5. Paivio, A. (2010). Dual coding theory and the mental lexicon. The Mental Lexicon, 5 (2). 205-230.
  6. Poggi, I. (2002). From a typology of gestures to a procedure for gesture production. U: Wachsmuth I., Sowa T. (ur), Gesture and Sign Language in Human-Computer Interaction. GW 2001. Lecture Notes in Computer Science, 2298. Springer, Berlin, Heidelberg. 158-168. doi:10.1007/3-540-47873-6_16