Esettanulmány a vizuális modalitású nem verbális viselkedés multimodális kommunikációban betöltött szerepéről

A case study on the role of nonverbal behavior with visual modality in multimodal communication

Németh T. Enikő

SZTE Általános Nyelvészeti Tanszék
MTA-DE-SZTE Elméleti Nyelvészeti Kutatócsoport

ORCID iD iconorcid.org/0000-0001-8559-7229

Szabó Éva

MTA-DE-SZTE Elméleti Nyelvészeti Kutatócsoport

ORCID iD iconorcid.org/0000-0002-1933-2078

Császár Dorina

SZTE Bölcsészet- és Társadalomtudományi Kar

Gera Renáta

SZTE Bölcsészet- és Társadalomtudományi Kar

Béres Tamara

SZTE Nyelvtudományi Doktori Iskola

Jelentés és Nyelvhasználat 9/1:59–87 (2022)
doi:10.14232/JENY.2022.1.4

Összefoglaló

Tanulmányunkban azt vizsgáljuk, hogy a vizuális modalitású nem verbális viselkedés milyen szerepet tölt be a multimodális verbális kommunikációban. A multimodális verbális kommunikáció elméleti szempontú jellemzéséből kiindulva empirikus elemzéseken keresztül megmutatjuk, hogy a multimodális verbális kommunikációban a különböző nem verbális és verbális modalitások kontextusfüggő módon, együttesen hogyan hozzák létre a közvetített tartalmakat. Emellett az esettanulmány olyan szempontokat ismertet, melyek társadalmilag is hasznosíthatók, mivel a verbális és nem verbális viselkedés elemzésével feltárja, miért olyan népszerűek és hatásosak a járványszkeptikus és oltásellenes nézetek képviselői.

Kulcsszavak: multimodális verbális kommunikáció, nem verbális viselkedés, vizuális modalitás, gesztusok

Abstract

In the present paper, we aim to investigate what role visual nonverbal behaviour plays in multimodal verbal communication. Starting from the theoretical characterization of multimodal verbal communication and via empirical analyses we demonstrate that the various verbal and nonverbal modalities in multimodal verbal communication co-construct the conveyed contents in a context-dependent way. Also, the case study introduces aspects which are socially innovative since its analysis of verbal and nonverbal behaviour reveals the possible reasons why the representatives of pandemic skepticism and Coronavirus deniers are successful and effective.

Keywords: multimodal verbal communication, nonverbal behaviour, visual modality, gestures

Németh T. Enikő (DSc) tanszékvezető egyetemi tanár az SZTE BTK Általános Nyelvészeti Tanszékén és az MTA-DE-SZTE Elméleti Nyelvészeti Kutatócsoport, Eötvös Loránd Kutatási Hálózat (ELKH) szegedi munkacsoportjának a vezetője. Fő érdeklődési területe a pragmatika és a diskurzuselemzés, ezen belül jelenleg a multimodális kommunikáció elemzési lehetőségei, az implicit információk korpuszalapú vizsgálati módjai és az álhírek azonosításának kérdései érdeklik.

Enikő Németh T. is a professor and the head of the General Linguistics Department at the University of Szeged. She is also a researcher of the MTA–DE–SZTE Theoretical Linguistics Research Group (ELKH) leading its working group in Szeged. Her research fields are pragmatics and discourse analysis, her current main interests being the analysis of multimodal communication, the methods of corpus-based analyses of implicit information, and the linguistic identification of fake news.

Elérhetőség/e-mail: This email address is being protected from spambots. You need JavaScript enabled to view it.

Szabó Éva az SZTE Nyelvtudományi Doktori Iskolájában végzett, az MTA–DE– SZTE Elméleti Nyelvészeti Kutatócsoport, Eötvös Loránd Kutatási Hálózat (ELKH) tudományos segédmunkatársa, jelenleg a doktori értekezését írja a nyelvi benyomáskeltés témaköréből. Érdeklődési területe a politikai diskurzusok elemzése, a (nyelvi) benyomáskeltés és a nem verbális kommunikáció.

Éva Szabó studied in the Doctoral School in Linguistics at the University of Szeged, and is an assistant research fellow in the MTA–DE–SZTE Theoretical Linguistics Research Group (ELKH). Currently she is working on her dissertation which focuses on linguistic impression management. Her research interests are political discourses, (linguistic) impression management, and nonverbal communication.

Elérhetőség/e-mail: This email address is being protected from spambots. You need JavaScript enabled to view it.

Császár Dorina 2021 júniusában szerzett kommunikáció- és médiaszakértő diplomát az SZTE BTK kommunikáció- és médiatudomány mesterképzésén, humán kommunikációkutatás specializáción. Szakdolgozatát az elfogultságelméletekből kiindulva, interjúztatók kommunikációjának multimodális elemzéséből írta. Érdeklődési területe az audiovizuális műsorokban megjelenő kommunikációs megnyilvánulások multimodális elemzése.

Dorina Császár obtained her diploma with a university degree as a Communications and Media Studies Expert at the University Szeged, where she specialized in human communication research. Her degree thesis focuses on linguistic bias and analyses the multimodal communication of interviewers. Her field of interest is the multimodal analysis of communication in audiovisual shows.

Elérhetőség/e-mail: This email address is being protected from spambots. You need JavaScript enabled to view it.

Gera Renáta a Szegedi Tudományegyetem magyar szakos hallgatója, nyelvtechnológia specializáción. Érdeklődési területe a nem verbális kommunikáció, valamint a manipuláció és befolyásolás.

Renáta Gera is a student of the Hungarian program at the University of Szeged specializing in language technology. Her field of interest is nonverbal communication, manipulation, and influence.

Elérhetőség/e-mail: This email address is being protected from spambots. You need JavaScript enabled to view it.

Béres Tamara a Szegedi Tudományegyetem Nyelvtudományi Doktori Iskola Elméleti Nyelvészet Programjának hallgatója. Kutatási területe a pragmatika és diskurzuselemzés, azon belül a verbális agresszió megjelenése a magyar nyelvű közösségi médiában.

Tamara Béres is a PhD student of the Theoretical Linguistics Programme at the University of Szeged Doctoral School in Linguistics. Her research field is pragmatics and discourse analysis, her main interest is the manifestation of verbal aggression in Hungarian social media.

Elérhetőség/e-mail: This email address is being protected from spambots. You need JavaScript enabled to view it.

  • Abuczki Ágnes 2011. A multimodális interakció szekvenciális elemzése. In Németh T. Enikő (szerk.) Ember-gép kapcsolat. A multimodális ember-gép kommunikáció modellezésének alapjai. (Segédkönyvek a nyelvészet tanulmányozásához 133) Budapest: Tinta Könyvkiadó. 119–144.
  • Abuczki Ágnes – Bódog Alexa – Németh T. Enikő 2011. A multimodális pragmatikai annotáció elméleti alapjai az ember-gép kommunikáció modellálásában. In Németh T. Enikő (szerk.) Ember-gép kapcsolat. A multimodális ember-gép kommunikáció modellezésének alapjai. (Segédkönyvek a nyelvészet tanulmányozásához 133) Budapest: Tinta Könyvkiadó. 179–201.
  • Axtell, Roger E. 1998. Gesztusok. Ajánlott és tiltott testbeszéd-megnyilvánulások a világ minden tájáról. Pécs: Alexandra Kiadó.
  • Bitti, Pio E. Ricci 2014. Facial expression and social interaction. In Cornelia Müller – Alan Cienki – Ellen Fricke – Silva Ladewig – David McNeill – Jana Bressem (szerk.) Body – Language – Communication. An International Handbook on Multimodality in Human Interaction. Vol. 2. Berlin, Boston: De Gruyter. 1342–1349. doi:10.1515/9783110302028.1342.
  • Blache, Philippe – Roxane Bertrand – Emmanuel Bruno – Brigitte Bigi – Robert Espesser et al. 2010. Multimodal annotation of conversational data. Proceedings of the Fourth Linguistic Annotation Workshop. Uppsala: Association for Computational Linguistics. 186–191.
  • Burgoon, Judee K. – Laura K. Guerrero – Kory Floyd 2010. Nonverbal Communication. London, New York: Routledge.
  • Ekman, Paul 1971. Universals and cultural differences in facial expressions of emotion. In James K. Cole (szerk.) Nebraska Symposium on Motivation. Vol. 19. Lincoln: University of Nebraska Press. 207–284.
  • Ekman, Paul – Wallace V. Friesen 1981. The repertoire of nonverbal behavior: Categories, origins, usage, and coding. In Adam Kendon – Thomas A. Sebeok – Jean Umiker-Sebeok (szerk.) Nonverbal Communication, Interaction, and Gesture. (Approach to Semiotics 41) Berlin, New York: Mouton Publishers. 57–106. doi:10.1515/9783110880021.57.
  • ELAN 2019. Version 5.8. Nijmegen: Max Planck Institute. https://archive.mpi.nl/tla/elan.
  • Farley, Sally D. 2021. Introduction to the special issue on emotional expression beyond the face: On the importance of multiple channels of communication and context. Journal of Nonverbal Behavior 45/4 (Special Issue on Emotional Expression Beyond the Face):413–417. doi:10.1007/s10919-021-00377-z.
  • Forgó Sándor 2011. A kommunikációelmélet alapjai. Eger: EKTF Líceum Kiadó.
  • Goodwin, Charles 1981. Conversational Organization: Interaction Between Speakers and Hearers. New York: Academic Press.
  • Guyer, Joshua J. – Pablo Briñol – Richard E. Petty – Javier Horcajo 2019. Nonverbal behavior of persuasive sources: A multiple process analysis. Journal of Nonverbal Behavior 43/2 (Special Issue on Theoretical Approaches to Nonverbal Communication):203–231. doi:10.1007/s10919-018-00291-x.
  • Hunyadi, László 2011. Multimodal human-computer interaction technologies. Theoretical modeling and application in speech processing. Argumentum 7:240–260.
  • Hunyadi, Laszlo – István Szekrényes (szerk.) 2020. The Temporal Structure of Multimodal Communication. Theory, Methods and Applications. (Intelligent Systems Reference Library 164) Cham: Springer International Publishing.
  • Jefferson, Gail 2004. Glossary of transcript symbols with an introduction. In Gene H. Lerner (szerk.) Conversation Analysis. Studies from the First Generation. (Pragmatics & Beyond New Series 125) Amsterdam: John Benjamins Publishing Company. 13–31. doi:10.1075/pbns.125.02jef.
  • Keltner, Dacher – Jennifer S. Lerner 2010. Emotion. In Susan T. Fiske – Daniel Todd Gilbert – Gardner Lindzey (szerk.) Handbook of Social Psychology. Vol. 1. 5. kiadás. Hoboken: Wiley. 317–352.
  • Kendon, Adam 1980. Gesticulation and speech: Two aspects of the process of utterance. In Mary Ritchie Key (szerk.) Nonverbal Communication and Language. Hague: Mouton. 207–277.
  • Kendon, Adam 2004. Gesture. Visible Action as Utterance. Cambridge: Cambridge University Press.
  • Knapp, Mark L. – Judith A. Hall – Terrence G. Horgan 2014. Nonverbal Communication in Human Interaction. 8. kiadás. Boston: Cengage Learning.
  • McNeill, David 1992. Hand and Mind. What Gestures Reveal about Thought. Chicago: University of Chicago Press.
  • Navarro, Joe 2011. Beszédes testek. Egy FBI-ügynök emberismereti kézikönyve. Fordította Bánföldi Tibor. Budapest: Nyitott Könyvműhely.
  • Navarro, Joe 2016. Beszédes testek. Egy FBI-ügynök emberismereti kézikönyve. Fordította Bánföldi Tibor. Budapest: Libri.
  • Németh T. Enikő 1990. Az emberi kommunikáció kutatásának néhány alapkérdése. Néprajz és Nyelvtudomány 33:43–56.
  • Németh T. Enikő 2005. Az osztenzív-következtetéses kommunikációtól a verbális kommunikációig. In Ivaskó Lívia (szerk.) Érthető kommunikáció. Szeged: SZTE Médiatudományi Tanszék. 77–87.
  • Németh T. Enikő (szerk.) 2011. Ember-gép kapcsolat. A multimodális ember-gép kommunikáció modellezésének alapjai. (Segédkönyvek a nyelvészet tanulmányozásához 133) Budapest: Tinta Könyvkiadó.
  • Németh T., Enikő 2015. The role of perspectives in various forms of language use. Semiotica 2015/203 (Double Special Issue: Linguistic and Literary Aspects of Perspectivity De-Essentializing Authenticity: A Semiotic Approach):53–78. doi:10.1515/sem-2014-0072.
  • Németh T. Enikő 2019. Daddy ’apu’, honey ’édesem’, darling ’drágám’. Nyelvi és kontextuális kulcsok a perspektívák és intenciók megmutatásához és megfejtéséhez a verbális kommunikációban. Argumentum 15:290–303.
  • Németh T., Enikő 2020. Linguistic and contextual clues of intentions and perspectives in human communication. In Laszlo Hunyadi – István Szekrényes (szerk.) The Temporal Structure of Multimodal Communication: Theory, Methods and Applications. (Intelligent Systems Reference Library) Cham: Springer International Publishing. 3–21. doi:10.1007/978-3-030-22895-8_1.
  • Patterson, Miles L. 1983. Nonverbal Behavior. A Functional Perspective. New York: Springer.
  • Pease, Barbara 2006. A testbeszéd enciklopédiája. Fordította Nemes Anna. Budapest: Park.
  • Poyatos, Fernando 2015. Nonverbal communication in interaction: Psychology and literature. In Aleksandra Kostić – Derek Chadee (szerk.) The Social Psychology of Nonverbal Communication. London: Palgrave Macmillan. 248–271. doi:10.1057/9781137345868_12.
  • Seyfeddinipur, Mandana 2006. Disfluency: Interrupting Speech and Gesture. (MPI Series in Psycholinguistics 39) Nijmegen: Max Planck Institute.
  • Sperber, Dan – Deirdre Wilson 1995 [1986]. Relevance. Communication and Cognition. Oxford, Cambridge: Blackwell.
  • Szabó Éva – Béres Tamara – Guba Csenge 2020. A beszélgetőműsorokban megjelenő kézi gesztusok leírásának egy lehetséges módja. Jelentés és Nyelvhasználat 7/1:51–74. doi:10.14232/JENY.2020.1.3.
  • Tóth Csilla 2011. Tekintetmintázatok és funkcióik a HuComTech-projekt céljainak tükrében. In Németh T. Enikő (szerk.) Ember-gép kapcsolat. A multimodális ember-gép kommunikáció modellezésének alapjai. (Segédkönyvek a nyelvészet tanulmányozásához 133) Budapest: Tinta Könyvkiadó. 101–118.
  • Verschueren, Jef 1999. Understanding Pragmatics. London: Arnold Publishers.
  • Watzlawick, Paul – Janet Helmick Beavin – Don De Avila Jackson 1967. Pragmatics of Human Communication. A Study of Interactional Patterns, Pathologies, and Paradoxes. New York: Norton.

Creative Commons Licenc
Ez a mű Creative Commons Nevezd meg! - Ne add el! - Ne változtasd! 4.0 Nemzetközi Licenc alatt van.

Ne felejtsen el hivatkozni!

Németh T. Enikő – Szabó Éva – Császár Dorina – Gera Renáta – Béres Tamara 2022. Esettanulmány a vizuális modalitású nem verbális viselkedés multimodális kommunikációban betöltött szerepéről. Jelentés és Nyelvhasználat 9/1:59–87. doi:10.14232/JENY.2022.1.4

bibtex
@article{JENY-2022-NemethTE-etal,
	author = {Németh T., Enikő and Szabó, Éva and Császár, Dorina and Gera, Renáta and Béres, Tamara},
	year = {2022},
	title = {Esettanulmány a vizuális modalitású nem verbális viselkedés multimodális kommunikációban betöltött szerepéről},
	abstract = {Tanulmányunkban azt vizsgáljuk, hogy a vizuális modalitású nem verbális viselkedés milyen szerepet tölt be a multimodális verbális kommunikációban. A multimodális verbális kommunikáció elméleti szempontú jellemzéséből kiindulva empirikus elemzéseken keresztül megmutatjuk, hogy a multimodális verbális kommunikációban a különböző nem verbális és verbális modalitások kontextusfüggő módon, együttesen hogyan hozzák létre a közvetített tartalmakat. Emellett az esettanulmány olyan szempontokat ismertet, melyek társadalmilag is hasznosíthatók, mivel a verbális és nem verbális viselkedés elemzésével feltárja, miért olyan népszerűek és hatásosak a járványszkeptikus és oltásellenes nézetek képviselői.},
	doi = {10.14232/JENY.2022.1.4},
	language = {hu},
	journal = {Jelentés és Nyelvhasználat},
	issn = {2064-9940},
	volume = {9},
	issue = {1},
	pages = {59-87},
	url = {http://www.jeny.szte.hu/JENY-2022-NemethTE-etal},
	urldate = {2022-06-24},
	copyright = {Copyright for all material published in JENY lies with the author.}
}
A folyóirat megjelenését a Nemzeti Kulturális Alap támogatja.
The journal is supported by the National Cultural Fund of Hungary.