A case study on the role of nonverbal behavior with visual modality in multimodal communication
Article Sidebar
Main Article Content
Abstract
In the present paper, we aim to investigate what role visual nonverbal behaviour plays in multimodal verbal communication. Starting from the theoretical characterization of multimodal verbal communication and via empirical analyses we demonstrate that the various verbal and nonverbal modalities in multimodal verbal communication co-construct the conveyed contents in a context-dependent way. Also, the case study introduces aspects which are socially innovative since its analysis of verbal and nonverbal behaviour reveals the possible reasons why the representatives of pandemic skepticism and Coronavirus deniers are successful and effective.
Downloads
Article Details
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
References
Abuczki Ágnes 2011. A multimodális interakció szekvenciális elemzése. In Németh T. Enikő (szerk.) Ember-gép kapcsolat. A multimodális ember-gép kommunikáció modellezésének alapjai. (Segédkönyvek a nyelvészet tanulmányozásához 133) Budapest: Tinta Könyvkiadó. 119–144.
Abuczki Ágnes – Bódog Alexa – Németh T. Enikő 2011. A multimodális pragmatikai annotáció elméleti alapjai az ember-gép kommunikáció modellálásában. In Németh T. Enikő (szerk.) Ember-gép kapcsolat. A multimodális ember-gép kommunikáció modellezésének alapjai. (Segédkönyvek a nyelvészet tanulmányozásához 133) Budapest: Tinta Könyvkiadó. 179–201.
Axtell, Roger E. 1998. Gesztusok. Ajánlott és tiltott testbeszéd-megnyilvánulások a világ minden tájáról. Pécs: Alexandra Kiadó.
Bitti, Pio E. Ricci 2014. Facial expression and social interaction. In Cornelia Müller – Alan Cienki – Ellen Fricke – Silva Ladewig – David McNeill – Jana Bressem (szerk.) Body – Language – Communication. An International Handbook on Multimodality in Human Interaction. Vol. 2. Berlin, Boston: De Gruyter. 1342–1349. doi: https://doi.org/10.1515/9783110302028.1342
Blache, Philippe – Roxane Bertrand – Emmanuel Bruno – Brigitte Bigi – Robert Espesser et al. 2010. Multimodal annotation of conversational data. Proceedings of the Fourth Linguistic Annotation Workshop. Uppsala: Association for Computational Linguistics. 186–191.
Burgoon, Judee K. – Laura K. Guerrero – Kory Floyd 2010. Nonverbal Communication. London, New York: Routledge.
Ekman, Paul 1971. Universals and cultural differences in facial expressions of emotion. In James K. Cole (szerk.) Nebraska Symposium on Motivation. Vol. 19. Lincoln: University of Nebraska Press. 207–284.
Ekman, Paul – Wallace V. Friesen 1981. The repertoire of nonverbal behavior: Categories, origins, usage, and coding. In Adam Kendon – Thomas A. Sebeok – Jean Umiker-Sebeok (szerk.) Nonverbal Communication, Interaction, and Gesture. (Approach to Semiotics 41) Berlin, New York: Mouton Publishers. 57–106. doi: https://doi.org/10.1515/9783110880021.57
ELAN 2019. Version 5.8. Nijmegen: Max Planck Institute. https://archive.mpi.nl/tla/elan.
Farley, Sally D. 2021. Introduction to the special issue on emotional expression beyond the face: On the importance of multiple channels of communication and context. Journal of Nonverbal Behavior 45/4 (Special Issue on Emotional Expression Beyond the Face):413–417. doi: https://doi.org/10.1007/s10919-021-00377-z
Forgó Sándor 2011. A kommunikációelmélet alapjai. Eger: EKTF Líceum Kiadó.
Goodwin, Charles 1981. Conversational Organization: Interaction Between Speakers and Hearers. New York: Academic Press.
Guyer, Joshua J. – Pablo Briñol – Richard E. Petty – Javier Horcajo 2019. Nonverbal behavior of persuasive sources: A multiple process analysis. Journal of Nonverbal Behavior 43/2 (Special Issue on Theoretical Approaches to Nonverbal Communication):203–231. doi: https://doi.org/10.1007/s10919-018-00291-x
Hunyadi, László 2011. Multimodal human-computer interaction technologies. Theoretical modeling and application in speech processing. Argumentum 7:240–260.
Hunyadi, Laszlo – István Szekrényes (szerk.) 2020. The Temporal Structure of Multimodal Communication. Theory, Methods and Applications. (Intelligent Systems Reference Library 164) Cham: Springer International Publishing.
Jefferson, Gail 2004. Glossary of transcript symbols with an introduction. In Gene H. Lerner (szerk.) Conversation Analysis. Studies from the First Generation. (Pragmatics & Beyond New Series 125) Amsterdam: John Benjamins Publishing Company. 13–31. doi: https://doi.org/10.1075/pbns.125.02jef
Keltner, Dacher – Jennifer S. Lerner 2010. Emotion. In Susan T. Fiske – Daniel Todd Gilbert – Gardner Lindzey (szerk.) Handbook of Social Psychology. Vol. 1. 5. kiadás. Hoboken: Wiley. 317–352.
Kendon, Adam 1980. Gesticulation and speech: Two aspects of the process of utterance. In Mary Ritchie Key (szerk.) Nonverbal Communication and Language. Hague: Mouton. 207–277.
Kendon, Adam 2004. Gesture. Visible Action as Utterance. Cambridge: Cambridge University Press.
Knapp, Mark L. – Judith A. Hall – Terrence G. Horgan 2014. Nonverbal Communication in Human Interaction. 8. kiadás. Boston: Cengage Learning.
McNeill, David 1992. Hand and Mind. What Gestures Reveal about Thought. Chicago: University of Chicago Press.
Navarro, Joe 2011. Beszédes testek. Egy FBI-ügynök emberismereti kézikönyve. Fordította Bánföldi Tibor. Budapest: Nyitott Könyvműhely.
Navarro, Joe 2016. Beszédes testek. Egy FBI-ügynök emberismereti kézikönyve. Fordította Bánföldi Tibor. Budapest: Libri.
Németh T. Enikő 1990. Az emberi kommunikáció kutatásának néhány alapkérdése. Néprajz és Nyelvtudomány 33:43–56.
Németh T. Enikő 2005. Az osztenzív-következtetéses kommunikációtól a verbális kommunikációig. In Ivaskó Lívia (szerk.) Érthető kommunikáció. Szeged: SZTE Médiatudományi Tanszék. 77–87.
Németh T. Enikő (szerk.) 2011. Ember-gép kapcsolat. A multimodális ember-gép kommunikáció modellezésének alapjai. (Segédkönyvek a nyelvészet tanulmányozásához 133) Budapest: Tinta Könyvkiadó.
Németh T., Enikő 2015. The role of perspectives in various forms of language use. Semiotica 2015/203 (Double Special Issue: Linguistic and Literary Aspects of Perspectivity De-Essentializing Authenticity: A Semiotic Approach):53–78. doi: https://doi.org/10.1515/sem-2014-0072
Németh T. Enikő 2019. Daddy ’apu’, honey ’édesem’, darling ’drágám’. Nyelvi és kontextuális kulcsok a perspektívák és intenciók megmutatásához és megfejtéséhez a verbális kommunikációban. Argumentum 15:290–303.
Németh T., Enikő 2020. Linguistic and contextual clues of intentions and perspectives in human communication. In Laszlo Hunyadi – István Szekrényes (szerk.) The Temporal Structure of Multimodal Communication: Theory, Methods and Applications. (Intelligent Systems Reference Library) Cham: Springer International Publishing. 3–21. doi: https://doi.org/10.1007/978-3-030-22895-8_1
Patterson, Miles L. 1983. Nonverbal Behavior. A Functional Perspective. New York: Springer.
Pease, Barbara 2006. A testbeszéd enciklopédiája. Fordította Nemes Anna. Budapest: Park.
Poyatos, Fernando 2015. Nonverbal communication in interaction: Psychology and literature. In Aleksandra Kostić – Derek Chadee (szerk.) The Social Psychology of Nonverbal Communication. London: Palgrave Macmillan. 248–271. doi: https://doi.org/10.1057/9781137345868_12
Seyfeddinipur, Mandana 2006. Disfluency: Interrupting Speech and Gesture. (MPI Series in Psycholinguistics 39) Nijmegen: Max Planck Institute.
Sperber, Dan – Deirdre Wilson 1995 [1986]. Relevance. Communication and Cognition. Oxford, Cambridge: Blackwell.
Szabó Éva – Béres Tamara – Guba Csenge 2020. A beszélgetőműsorokban megjelenő kézi gesztusok leírásának egy lehetséges módja. Jelentés és Nyelvhasználat 7/1:51–74. doi: https://doi.org/10.14232/JENY.2020.1.3
Tóth Csilla 2011. Tekintetmintázatok és funkcióik a HuComTech-projekt céljainak tükrében. In Németh T. Enikő (szerk.) Ember-gép kapcsolat. A multimodális ember-gép kommunikáció modellezésének alapjai. (Segédkönyvek a nyelvészet tanulmányozásához 133) Budapest: Tinta Könyvkiadó. 101–118.
Verschueren, Jef 1999. Understanding Pragmatics. London: Arnold Publishers.
Watzlawick, Paul – Janet Helmick Beavin – Don De Avila Jackson 1967. Pragmatics of Human Communication. A Study of Interactional Patterns, Pathologies, and Paradoxes. New York: Norton.