Multimodalidad Lectura y Escritura Jewitt

Multimodalidad, “lectura” y “escritura” para el siglo XXI Por Carey Jewitt

Multimodalidad, “lectura” y “escritura” para el siglo XXI Por Carey Jewitt Universidad de Londres, Reino Unido

en Discourse: Studies in the Cultural Politics of Education, Vol. 26, N° 3, Septiembre de 2005. pp. 315–331.

Como las palabras vuelan en las pantallas, dan vueltas y se disuelven; la imagen, el sonido y el movimiento ingresan en la escuela en “nuevas” y significativas formas, formas que reconfiguran la relación entre imagen y palabra. En este artículo discutiré esas “nuevas” configuraciones multimodales y exploraré cómo impactan en las producciones de escritos y lecturas de los alumnos en escuelas inglesas. Examinaré el cambiante rol de la escritura en pantalla, específicamente cómo el carácter visual de la escritura y el rol crecientemente dominante de la imagen desestabiliza y descentra la predominancia de la palabra. A través de ilustrativos ejemplos de aplicaciones TIC y las interacciones de los estudiantes con éstas en Lengua y Ciencia escolar (y juegos en el contexto del hogar), exploraré cómo éstas parecen promover la imagen por sobre la escritura. Más en general, discutiré qué significa todo esto para la alfabetización y cómo los lectores en edad escolar interpretan los textos multimodales.

Introducción Las tecnologías basadas en impresos y pantallas permiten disponer de diferentes modos y recursos semióticos en formas que moldean los procesos de elaboración de significados. La particular comprensión intuitiva material y social (Kress y van Leween, 2001; van Leween, 2005) de las nuevas tecnologías y pantallas, como opuestas a las páginas, han conducido a una reconfiguración de la imagen y la escritura en pantalla en formas que son significativas para la escritura y la lectura. En este artículo describo algunas de esas configuraciones y exploro las decisiones de diseño tomadas respecto de cuándo y cómo la escritura, el discurso y la imagen son utilizados para mediar en la elaboración de significados. Mi intención a lo largo del artículo es desafiar el primer plano de la palabra escrita y establecer la necesidad de investigación y práctica educativa que mire más allá de lo lingüístico. En este proceso yo espero demostrar cómo los útiles análisis multimodales pueden realizarse tanto en el contexto de la alfabetización escolar como en el de las aplicaciones computacionales y los

1


juegos (Kress y van Leween, 2001; Kress et al, 2005, van Leween, 2005). La lectura y la escritura basadas en impresos son y siempre han sido multimodales. Estas requieren de la interpretación y el diseño de marcas visuales, espacio, color, fuentes o estilo y, cada vez más imagen y otros modos de representación y comunicación (Kenner, 2004). Un enfoque multimodal hace posible que sean atendidos y se vaya más allá de verlos como decoración. Reúno aquí una variedad de ejemplos ilustrativos con el propósito de explorar cómo las nuevas tecnologías transforman las prácticas de lecturas. Estos ejemplos incluyen aplicaciones computacionales (Microsoft Word), CD ROMs (Multimedia Science School [New Media Press, 2001] ) y Of mice and men1 [Penguin Electronics, 1996] y juegos (Kingdom hearts [Sony, 2002] e Ico [Sony, 2001]). Estos han sido seleccionados para mostrar la gama de configuraciones de imagen y palabra y para comenzar a explorar cómo esas configuraciones pueden ser moldeadas por las asignaturas del currículo y por los diferentes contextos de uso.

La escritura en el entorno multimodal de la pantalla Los textos en pantalla son ensambles multimodales complejos de imagen, sonido, movimiento animado y otros modos de representación y comunicación. La escritura es un modo en este ensamble y su significado por tanto necesita ser comprendido en relación con los otros modos junto a los cuales está ubicado. Los diferentes modos ofrecen recursos específicos para elaborar significados y las formas en las que los modos contribuyen a que la elaboración de significados que realizan las personas, varíe. La representación de un concepto (por ejemplo: “células” o “partículas”) se realiza por los recursos de la escritura en formas que difieren de los recursos de la imagen, por ejemplo: diferentes aspectos se incluyen o excluyen en una representación escrita y en una visual. La escritura no es siempre el recurso central para elaborar significados en las aplicaciones que se usan en Lengua y Ciencias Naturales, en las escuelas. En algunos textos la escritura domina y en otros puede haber poca o ninguna escritura. El diseño particular de las relaciones entre imagen y palabra en un texto impacta en su potencial forma de significado. Por ejemplo: una aplicación de computadora puede ser diseñada para presentar toda la “fuerza” representacional y comunicacional de la imagen y la palabra alrededor de un signo, la imagen puede ser usada para reforzar el significado de lo que se dice, de lo que se escribe, etc. A su vez, esta relación sirve para producir o indicar 1

Nota de la traductora: Of mice and men/De ratones y hombres- Novela escrita por John Steinbeck en 1937.

2


coherencia. Un ejemplo de esta clasificación de recursos semióticos a través de modos se ofrece en el juego de PlayStation Ico (Sony, 2001). Ico trata sobre un niño (Ico) que es encerrado en un fuerte misterioso y él y su rescatado compañero Yorda deben escapar. Con este fin, los dos personajes viajan a través de una especie de laberinto de un fuerte y vencen a monstruos sombríos y a una esquiva reina hechicera. Esta discusión se basa en datos del video y observacionales de un proyecto piloto diseñado para explorar cómo un juego en tanto texto multimodal se realiza a través de la interacción del jugador (Carr y Jewitt, 2005). Mi discusión se basa en el análisis multimodal de datos del juego y del video y en la observación de una sesión de juego entre tres niños (de 8, 15 y 17 años de edad). En el juego Ico la calidad efímera del personaje central Yorda se produce a través del diseño multimodal de los modos. Esta cualidad se realiza por el impenetrable discurso de Yorda y sus “transcripción escrita” (yo discutiré esto con más detalle más adelante en este artículo). Está señalado en las visualmente mal definidas y cambiantes características y en los bordes filtrados y borrosos de su forma. Su voz tranquila, suave, sus gestos lentos y fantasmales que dudan y apenas terminan junto a su movimiento flotante agregan a esta realización del personaje. Cada uno de los modos usados en la realización del personaje Yorda están diseñados para sugerir la misma cosa: ella existe en un espacio liminal en la frontera entre el castillo en el que el juego está situado dentro y el mundo fuera del castillo, al cual el jugador debe tratar de escapar.

En otros momentos, la imagen y la escritura se ocupan de diferentes aspectos del significado en un texto. Aquí me gustaría empezar a trabajar en algunas de las “nuevas” configuraciones de la imagen y la escritura provocadas por las potencialidades de las nuevas tecnologías. En particular yo quiero interrogar sobre cómo esas configuraciones impactan en la construcción de significado, lectura y escritura. Esta discusión necesita ser leída conociendo que los sitios de la pantalla están siempre localizados y moldeados socialmente: lo “nuevo” siempre se conecta con, se detiene y desliza por sobre lo “viejo” (Levinson, 1999; Manovich, 2002). Las formas en que los modos de representación y comunicación aparecen en la pantalla están por tanto todavía conectados con la página, presente y pasado. De manera similar la página se conforma incrementalmente y se rehace por la noción de pantalla. Hay pantallas que se parecen a páginas y páginas que se parecen a pantallas (por ejemplo: los libros de Dorling Kindersley). Hasta hace poco la dominancia de la imagen por sobre la palabra ha sido una característica de los textos diseñados para niños pequeños. Ahora, la imagen eclipsa la palabra en una variedad de textos, en pantalla y fuera de pantalla: hay más imágenes en pantalla y las

3


imágenes son cada vez más preeminentes por sobre los elementos escritos. La preeminencia de la imagen es típica en muchas aplicaciones de ciencia escolar, como por ejemplo Multimedia Science School (New Media Press, 2004) (Figura 1).

Figura 1: Captura de pantalla del CD ROM Multimedia Science School

Estos ejemplos están extraídos de mi investigación sobre multimodalidad, aprendizaje y el uso de las nuevas tecnologías en Ciencia escolar, Matemática y Lengua (Jewitt, 2003, 2005). Aquí me focalizo en una grabación de video y una observación del CD ROM Multimedia Science School en uso en un aula de una escuela secundaria de séptimo año en la ciudad de Londres. Cuando la escritura aparece en pantalla, una función común es para nombrar y etiquetar elementos. En Multimedia Science School, por ejemplo, el diseño de la imagen y la escritura en pantalla sirve para crear dos áreas diferenciadas de la pantalla: un “marco” y una “pantalla dentro de la pantalla” central (Ver figura 1). El análisis semiótico multimodal del diseño de la pantalla muestra que el “marco” sirve a la clasificación científica y al etiquetado del fenómeno científico a ser explorado. Hay una serie de “botones” que se muestran en el marco. Cada “botón” tiene una “etiqueta” escrita sobre él que relaciona con las áreas de los tópicos cubiertos por el CD ROM (por ejemplo: estados de la

4


materia). Estos actúan como “subtítulos” escritos para lo que se exhibe visualmente en la sección central “pantalla dentro de la pantalla”. La “pantalla dentro de la pantalla” en el CD ROM es un espacio multimodal sin ninguna escritura y muestra el mundo empírico a ser investigado. Este media y brinda la evidencia que “completa” los conceptos científicos (por ejemplo:”estados de la materia”) etiquetados por el “marco”. En otras palabras, la configuración de la escritura y la imagen en el CD ROM modalmente marca esos dos aspectos distintivos de la ciencia escolar; por ejemplo: la teoría científica y el mundo empírico. El “marco” se basa mayormente en la escritura, la disposición y composición. La “pantalla dentro de la pantalla” se basa en la imagen, el color y el movimiento. No es sólo en la ciencia escolar en la cual la imagen domina la pantalla. Esto también es verdadero en las aplicaciones usadas en la clase de Lengua, sin embargo, como mostraré la forma en la cual la relación entre palabra e imagen se configura es bastante diferente.1 La relación entre imagen y escritura en el CD ROM Of mice and men/De ratones y hombres ilustra varias características de la relación cambiante entre imagen y escritura (Jewitt, 2002). La imagen cubre más de la mitad de la pantalla y más de tres cuartos de las “páginas” en la novela en CD ROM. Esto sirve para descentrar la escritura. La escritura se muestra en la pantalla enmarcada dentro de un bloque blanco, este “bloque” está “colocado sobre” una imagen que “llena la pantalla” (Figura 2).

5


Figura 2: Captura de pantalla del CD ROM Of mice and me/ De ratones y hombres

El texto completo de la novela Of mice and men/De hombres y ratones se reproduce en el CD ROM, pero la forma en que está distribuido a través de la pantalla, como opuesta a la página, difiere. La cantidad de escritura por pantalla se reduce enormemente cuando se compara con la página de la novela (así una página está compuesta por tres o cuatro párrafos mientras que cada pantalla de CD ROM está compuesta por un párrafo). Esta “reestructuración” “quiebra” la narrativa y desconecta las ideas que previamente corrían una página hacia fragmentos de la narrativa a través de pantallas. El diseño de la escritura en pantalla está conectado con las demandas epistemológicas y los requerimientos del área curricular. En Lengua escolar la escritura en pantalla representa los conceptos del currículo, aunque en la mayoría de los casos una lectura alternativa de esos conceptos es vuelven disponibles a través de imagen, movimiento y otros modos. En la matemática y ciencia escolar la escritura parece ser usadas fundamentalmente para nombrar las entidades curriculares canónicas dentro del lenguaje especializado de la asignatura.

6


La escritura parece cumplir una función similar en los juegos de computadora de Play Station. Mientras que la acción multimodal rueda, la escritura se usa para nombrar un personaje o para indicar su status, especificar un punto narrativo o identificar una decisión. Por ejemplo, la decisión de cuándo y qué representar mediante la escritura/habla puede dar forma al personaje del juego y la narrativa. La escritura y el habla pueden ser usadas para dar voz y expresión a algunos personajes en el juego y no a otros. Al observar a mi hija (8 años de edad) y a sus amigos jugar con los juegos de PlayStation, me di cuenta y me interesó cómo ellos se avanzan en los juegos usando el acceso de los personajes a la palabra hablada como una pista multimodal de su potencial para ayudar a resolver los enigmas y tareas en el juego. El acceso al lenguaje del personaje indica (fue leído como parte de) su valor en el juego, por ejemplo: su valor en lograr el objeto del juego, para recolectar recursos para avanzar al siguiente nivel del juego). Una análisis semiótico multimodal del juego Kingdom hearts (Sony, 2002) muestra que algunos personajes tienen el potencial de hablar, algunos responden mediante globos de textos cuando son abordados por el jugador/avatar, y otros no tienen ningún lenguaje potencial. Los personajes que tienen la mayoría de los modos de comunicación son la clave para lograr el éxito en el juego. El diseño de la escritura y del habla también puede sutilmente dar forma a la identidad de un personaje de un juego. En el juego Ico (2001), presentado más arriba en este artículo, la configuración del habla y la escritura dentro del juego multimodal sirve para referenciar la función social del lenguaje como una marca de identidad, pertenencia y diferencia. Esta referencia es central a la narrativa del juego y la tarea de resolver el enigma del juego y lograr el objetivo, escapar del castillo. El “lenguaje” que habla Ico es una especie de Esperanto global, una combinación no gramatical de elementos de japonés, francés y alemán. El lenguaje hablado de Ico es al mismo tiempo universal e inaccesible. Su habla se traduce en subtítulos que aparecen en la tira inferior del corte de las secuencias del juego. El idioma de Yorda, como el de Ico, está elaborado por partes reelaboradas de varios lenguajes existentes, pero es “ficcional”. Sus palabras habladas son traducidas a un lenguaje pictórico escrito “ficcional”. El lenguaje escrito está hecho de letras rizadas que se ubican en algún lugar entre la letra cursiva japonesa y arábiga. En otras palabras, ni el lenguaje hablado de Yorda ni la traducción escrita es accesible al jugador. La relación entre escritura y habla en este juego parece casi desafiar su propósito esencial, comunicar.

7


Y sin embargo estos lenguajes incomprensibles significan, a pesar de todos. En el caso de Yorda la escritura y el habla son formas puras. Indican algo de su personaje a través de la inaccesibilidad de su conversación. El habla y la escritura se usan para representar la identidad de Yorda como de otro mundo y diferente. Al representar el “lenguaje” de Yorda como uno que puede ser hablado y escrito, el diseño de juego construye a Yorda como de tipo humano, alfabetizada y sociable. Lo que Yorda “dice” no puede ser conocido, pero el tono tranquilo, suave y lírico de su voz con el que ella pronuncia sus afirmaciones no comprensibles es un signo audible de su naturaleza amable e inofensiva (van Leeuwen, 1999). El guión escrito que representa sus palabras ofrece un eco visual de los signos pictóricos tallados en el sepulcro donde inicialmente Ico es encerrado. De esta manera, el guión escrito de los subtítulos marca la conexión de Yorda con el castillo. El lenguaje hablado marca su diferencia con Ico. La escritura marca su pertenencia al castillo, el lenguaje marca su identidad. La forma en que la escritura y el lenguaje hablado son usados en el juego Ico también son parte de la construcción de la relación entre los personajes Yorda e Ico. Al observar a los personajes hablar y escuchar, queda claro que Ico no puede comprender el lenguaje de Yorda (No queda claro si Yorda puede o no comprender lo que Ico dice). Los jóvenes que hemos observado jugando el juego son (como Ico) abandonados a interpretar visualmente los significados que Yorda lucha por hacer a través de gestos, movimientos, posturas y auditivamente a través de su voz. Su interpretación y respuesta hacia ella difiere en la relación con su experiencia en el juego y la noción de juego que a su vez depende del contexto de juego (Carr y Jewitt, 2005). Contrariamente, el jugador tiene acceso al lenguaje de Ico a través de los subtítulos escritos. Las decisiones del diseñador sobre cuándo y cómo usar la escritura y el habla media el flujo de la narrativa como una secuencia multimodal. El grito desesperado del nombre de Yorda es la única conversación contra el fondo de la acción.

El habla de Ico y Yorda despoja lo que se dice, el contenido del lenguaje y en cambio ofrece el sonido, la forma material del habla. La forma visual material de la escritura puede ser resaltada de manera similar. Esto despoja el contenido de lo que se escribe, como el lenguaje escrito ficcional de Yorda. El despojo del contenido de la escritura es lo que pongo ahora en discusión: la visualización de la palabra. Los recursos de las nuevas tecnologías enfatizan el potencial visual de la escritura en formas que producen nuevas configuraciones de la imagine y la escritura en pantalla: fuentes, negritas, itálicas, color, disposición y más. El carácter visual de los textos escritos ha sido siempre presentado a los calígrafos, tipógrafos y otros, pero la

8


inclusión y representación y reconocimiento de las cualidades materiales y visuales de los textos es más reciente dentro de la lingüística (véase por ejemplo: Ormerod y Ivanic, 2002; Shortis y Jewitt, 2004). En ocasiones las fronteras entre la palabra y la imagen aparecen enteramente permeables e inestables (Chaplin, 1994; Elkins, 1999). El potencial de las nuevas tecnologías difuminan las fronteras entre lo visual y lo escrito en formas que “reformulan los modos” y las relaciones entre ellos. El diseño de la tipografía cinética (Lanham, 2001; Maeda, 2000) es una instancia de esto y una que cuestiona lo que la escritura es y puede ser en el siglo veintiuno. Esa es una pregunta que se complica aún más por la noción cambiante de pantalla y el desarrollo de pantallas tridimensionales, flexibles y transparentes. Estos cambios repercuten y se conectan con tradiciones visuales del pasado cuando la falta de acceso de la gente a la escritura como medio de comunicación significaba que relato visual paralelo estaba a menudo incrustado en textos visuales escritos vistosos. Por entonces y ahora (aunque por diferentes razones), la forma visual de la escritura no era una decoración, era y es significado diseñado. La observación del uso del CD ROM Of mice and men/De ratones y hombres durante una serie de clases de Lengua escolar brindó un ejemplo de cómo la tipografía, en tanto una visualización de la palabra, contribuye a las maneras en las que los estudiantes forman significados de un texto. En particular, ofrece reflexiones sobre la forma en que los estudiantes interpretan el estatus de los personajes dentro de una novela en CD ROM. El CD ROM da información de cada uno de los personas en la forma de una “nómina de trabajo”, una lista de nombres de los personajes y roles. La mayoría de los nombres de los personajes están escritos como una lista usando una fuente que se parece a una vieja máquina de escribir (estilo Courier) y están remarcadas en rojo. Los nombres de los personajes “el jefe” y “la esposa de Curly” están “manuscritos” en tinta roja junto a la lista. Las diferentes fuentes tipográficas usadas en el CD ROM marcan las conexiones y desconexiones entre los personajes en el relato. Aunque el contraste entre el estilo de fuente, el color, la disposición espacial, los dos personajes “el jefe” y “la esposa de Curly” son representadas como forasteros. El comentario “manuscrito” “molestándonos” escrito junto al nombre “la esposa de Curly” va más allá y la posiciona como una intrusa. La tecnología codificada en esas dos fuentes marcan las diferentes distancias sociales entre el visualizador/lector y la gente listada (también la lista en sí misma). La fuente de máquina de escribir sugiere una relación más distante (más fría) que la fuente “manuscrita”. Cómo y cuándo estas dos fuentes diferentes se vinculan en CD ROM se vuelve entonces una cuestión de elección, una cuestión de significado. Por ejemplo, el

9


archivo del dossier sobre “la esposa de Curly” incluye una imagen de un sobre dirigido a “la esposa de Curly” en Speckled Ranch, el lugar de la historia (Figura 3).

Figura 3: Captura de pantalla del dossier de la esposa de Curly en el CD ROM Of mice and men/ De ratones y hombres

Cuando el usuario hace clic en la imagen del sobre, se activa un hipervínculo a una carta de Steinbeck dirigida a Clare Luce (el actor que interpretó el personaje en una producción teatral del libro). El sobre está producido como “manuscrito” usando la fuente Apple Chancery mientras que la carta a la que está hipervinculada está producida como “tipiada” usando la fuente Courier y barras de desplazamiento. Este patrón de una fuente “manuscrita” en una pantalla hipervinculada con un texto usando la fuente Courier ocurre a lo largo de todo el CD ROM. Esto sirve para producir dos tipos “distintivos” de escritura. La fuente Apple Chancery se emplea para indicar algo en el nivel ficcional de la historia. La fuente Courier se emplea para indicar algo en el nivel factual. La narrativa ficcional de la novela y las descripciones de los personajes emulan “manuscrito” y la marca visual de la “presencia” o “esencia” de un escritor humano. La información factual incluida en el dossier y en los textos hipervinculados sobre los lugares históricos que se mencionan en la novela usan Courier, una fuente que

10


produce la imagen de una máquina, la vieja y maciza máquina de una máquina de escribir y sugiere la presencia de tecnología como ausencia humana.

Figura 4: Captura de pantalla del texto hipervinculado del dossier de la esposa de Curly en el CD ROM Of mice and men/ De ratones y hombres

La tipografía se emplea aquí para expresar visualmente algo perteneciente tanto a lo personal y potencialmente ficcional o a lo formal y factual. Estas diferentes fuentes dan a los estudiantes que leen una pista visual con los diferentes tipos de trabajos con los que se espera que se comprometan. En el caso de la fuente manuscrita el trabajo de los estudiantes es de tipo imaginativo, mientras que la fuente Courier sugiere que el tipo de compromiso que se necesita es más distante, más relacionado con hechos históricos y evidencias. De esta forma, las cualidades de las fuentes empleadas son una clave para el posicionamiento textual del lector. En ocasiones la escritura en pantalla se vuelve “totalmente visual”. Con esto queremos decir que el “contenido” de la escritura es “consumido” por esta forma. La escritura se transforma en imagen cuando es o muy grande o muy pequeña para relacionarse con la práctica de la lectura. El minúsculo garabato de palabras impresas se refugia en un texturado patrón de líneas y es redefinido como una representación visual en pantalla. Cuando la escritura cambia de lugar en la pantalla interactúa en ritmo con otros modos, por ejemplo: el significado lingüístico de lo que está escrito es a menudo ilegible y se transforma (Jewitt, 2002).

11


Algunos piensan que lo mejor es separar imágenes y escritos en las versiones de los libros en CD ROM porque las imágenes distraen a los estudiantes (Graham, 1996). Desde una perspectiva multimodal yo veo el diseño de la imagen y la escritura como contribuyendo al significado de un texto de diferentes formas. Desde este punto de vista, la relación espacial entre imagen y escritura es un recurso para dar significado que puede ser útil. Cuando la escritura es separada y pasa a primer plano para dominar la pantalla, puede ser vista como un tipo de “resistencia” al potencial multimodal de las nuevas tecnologías y la pantalla. En otras palabras, una cantidad importante de escritura en pantalla se transforma en un signo o convención o tradición. La escritura en pantalla funciona para referenciar los valores del conocimiento especializado, la autoridad y autenticidad asociada a lo impreso. Refiere al texto literario y a la elite educada o, más prosaicamente, a los exámenes y la evaluación. Se requiere una cantidad importante de trabajo para mantener la escritura como el modo dominante en pantalla. Esto sirve para asegurar la conexión entre lo viejo y lo nuevo. Sin embargo, la escritura es usualmente una parte del ensamble multimodal de imagen, música, lenguaje hablado y elementos en movimiento en la pantalla. No sólo los diseñadores y los docentes toman decisiones sobre las relaciones entre imágenes y palabras en los textos. En la próxima sección de este artículo analizará un ejemplo sobre cómo los estudiantes se comprometieron en esas decisiones cuando ellos elaboraron (diseñaron) textos.

El diseño de la escritura e imagen de los alumnos Los estudiantes en el aula (y en cualquier otro lugar) se comprometen en la toma de decisiones complejas sobre qué modo usar y cómo diseñar de la mejor manera configuraciones multimodales. Aquí me focalizo en un ejemplo de diseño de imagen y escritura digital elaborado por estudiantes en un aula de Lengua de séptimo año. Esta discusión se basa en un video y en la observación de una clase en la que los estudiantes elaboraron un folleto sobre su escuela secundaria para ser enviado a futuros alumnos de las escuelas primarias locales. Los estudiantes trabajaron en parejas y cada pareja diseñó un folleto a doble página usando Microsoft Word y cámaras digitales para producir las páginas. Se presentan dos páginas finales típicas del folleto en las figuras 5 y 6 (el nombre de la escuela fue borrado en función del anonimato).

12


Figura 5: Página de un folleto elaborado por un estudiante Tu día en la escuela [nombre de la escuela]

13


Figura 6: Página de un folleto elaborado por un estudiante La tecnología de la información en la escuela [nombre de la escuela]

14


La tecnología brindada a los estudiantes incluyó acceso a una amplia gama de imágenes incluyendo clip art, bordes, Word art, logos importados, fotos digitales e imágenes descargadas y también a sus propios dibujos realizados usando las herramientas de Word Draw. Cada uno de los anuncios en el folleto final se produjo con una fuente diferente, desde la simple fuente Courier hasta la fuente ornamental Apple Chancery. Algunos estudiantes escribieron en mayúsculas sus textos escritos, otros usaron negrita o itálica. Otros estudiantes eligieron usar Word Art, completando con sombras y efectos tridimensionales. Los estudiantes parecieron usar las fuentes con un recurso mediante el cual marcar visualmente su individualidad dentro del proceso colectivo de hacer un folleto, más que usar la fuente para marcar coherencia y sentido de audiencia, en la cual el individuo se enmascara dentro de un carácter uniforme de lo colectivo. Las facilidades del procesamiento de palabras permitió a los estudiantes diseñar y rediseñar sus páginas del folleto para envolver y desenvolver la escritura alrededor de imágenes, para alterar la orientación de la página de vertical a horizontal y viceversa, para cambiar los márgenes, para alternar entre diferentes estilos de fuentes y tamaños, para importar e eliminar imágenes, etc. Las posibilidades de Microsoft Word permitieron a los estudiantes manipular el diseño de los elementos visuales y escritos fácilmente. Esto destaca el trabajo iterativo de diseño, selección, adaptación, visualización, etc. en el cual no se requirió un compromiso inicial. En el proceso de hacer las páginas los estudiantes se comprometieron en una serie de decisiones y negociaciones. Estas incluyeron si usar o no un borde, qué tipo de borda, si importar imágenes de “clip art” o si usar “Word Art”, decisiones sobre el empleo de los elementos “listo para usar” versus “hecho en casa”. Los estudiantes tuvieron que componer lo escrito y decidir cómo presentarlo en la página. Los estudiantes dedicaron un tiempo considerable a la disposición de sus páginas. Los estudiantes usaron tablas, grillas y otros “dispositivos” en su diseño de las relaciones entre imagen y escritura en la página. El uso de la grilla en “Un día en la escuela” (Figura 5) organiza tanto la imagen como la escritura y brinda una afirmación visual sobre la organización del tiempo en la escuela como una grilla regulatoria de las prácticas. La escritura funciona como un tipo uniforme de etiqueta que iguala los diferentes períodos y produce uniformidad centrada alrededor del tiempo. La disposición de la tabla, su simetría y las celdas del mismo tamaño contribuyen a la representación del texto de un día en la escuela como períodos de tiempos regularizados. Las imágenes distinguen los períodos ofreciendo contenido visual icónico. Los estudiantes usaron los recursos visuales que estaban disponibles fácilmente en el aula: clip

15


art. Ellos adaptaron algunas de las imágenes agregando escritos. Las imágenes de clip art que ellos seleccionaron presentan la enseñanza y la escuela como sinónimos de ocupación y una práctica mayormente didáctica. La gente está de pie y señala en las pizarras. El uso de las imágenes por parte de los estudiantes es imaginativo y al mismo tiempo limitado por el origen de las imágenes dentro de la base de clip art de Office. La elección del borde por parte de los estudiantes en el texto “La tecnología de la información en la escuela” (Figura 6) está compuesta por lápices listos para escribir, organizados alrededor de un borde horizontal de imágenes de computadoras que los estudiantes armaron con la imagen de clip art de una computadora. Ellos probaron diferentes bordes y colocaron esto diciendo cuando se les preguntó que lo eligieron porque “se refiere a la escritura”. En un sentido su selección puede ser vista como un tipo de clasificación visual de “tecnologías de escritura” que realiza el uso principal de una computadora en la escuela: producir textos con procesador de textos. Ahora me referiré a qué reconfiguración de la imagen y la palabra en pantalla -descripta hasta aquí en este artículo- significa para la lectura.

La lectura como práctica multimodal El reconocimiento del carácter multimodal de los textos, tanto impresos como digitales, impacta en las comprensiones convencionales de la lectura. Los textos que se apoyan principalmente en la escritura pueden todavía “ajustarse” al concepto de lectura como compromiso con la palabra. Lo que es ostensiblemente un texto escrito monomodal ofrece al lector información visual importante que se incorpora dentro del proceso de lectura. La lectura es afectada por la organización espacial y el encuadre de la escritura sobre la página, la direccionalidad, forma, tamaño y ángulo de un escrito (Kenner, 2004). De este modo “diferentes escrituras pueden ser vistas como diferentes modos, dando lugar a una variedad de potenciales

para la construcción de significados” con diferentes “principios

representacionales” subyacentes a cada sistema de escritura (Kenner y Kress, 2003, p. 179). En otras palabras, tanto la escritura como la lectura son actividades multimodales. La necesidad de repensar la lectura (así como las concepciones de texto) no ha sido confinada a las tecnologías digitales o la pantalla. Como mencioné anteriormente, siempre hay “deslizamientos” y “conexiones” entre lo “viejo” y lo “nuevo”.

Como consecuencia, las

concepciones de lectura a través de una variedad de sitios de la pantalla están en proceso de cambio. Los recursos multimodales disponibles a los lectores son centrales para repensar qué

16


es la lectura y en qué se transformará en un entorno digital comunicacional híbrido (blended). Dicho eso, la ”nueva” gama y reconfiguraciones de modos que las tecnologías digitales vuelven disponibles presenta diferentes potenciales para la lectura de los textos impresos. Estas reconfiguraciones modales casi demandan que se preste atención al carácter multimodal de la lectura. Cuando se compara la experiencia de lectura de una novela impresa o un texto digital (una “novela en CD ROM” o una novela en Internet) la gente a menudo conversa sobre qué es “mejor”. Esta comparación es en algún sentido una comparación falsa, en tanto las “nuevas tecnologías” están usualmente combinadas (blended) con las “viejas” tecnologías en el aula; es poco común que un CD ROM realmente reemplace el libro original. En lugar de preguntar “¿qué es mejor?”, el libro o la pantalla, yo creo que es más útil preguntar qué es “mejor” para qué propósito. Considero que la noción de pérdidas y ganancias semióticas de Kress es útil para pensarlo (Kress, 2003). Esta idea puede ser aplicada para la diferencia (las pérdidas y ganancias) para la lectura en el cambio de un medio, el libro impreso, a otro, la pantalla digital. En otro trabajo yo he discutido la lectura de los estudiantes de “una novela en CD ROM” y cómo esto permitió que los estudiantes se involucraran con la novela como “película”, “historieta” y “musical” (Jewitt, 2005). Aquí discuto cómo esas diferentes dan forma a la práctica de la lectura usando un ejemplo de la lectura de los estudiantes de una simulación en CD ROM en ciencia escolar. La aplicación Multimedia Science School es multimodal y, como ya he mencionado, la escritura se restringe a un etiquetado mínimo. Los estudiantes tienen que leer color, movimiento e imagen para poder construir sentido del concepto de “partículas”. La aplicación Multimedia Science School usa imagen y color para construir las entidades de “estados de la materia” (sólido, líquido y gas) y “partículas”. En el CD ROM las imágenes se presentan como evidencia de aspectos criteriales de “partículas”. El trabajo de los estudiantes (en este ejemplo estudiantes de séptimo año en una clase de Ciencia) consiste en “leer” el significado para construir la noción de partícula. Para “leer” las imágenes los estudiantes necesitan ser capaces de comprender qué es y a qué deberían prestar atención. Ellos necesitan saber qué seleccionar como elementos relevantes representación visual.

e importantes de la

Los estudiantes usando la aplicación que he observado y

videograbado, estaban activamente involucrados con los recursos visuales exhibidos en la pantalla del CD ROM. En algunos puntos los recursos visuales de color, textura y forma empleados en la aplicación parecían estar en conflicto con su lectura visual cotidiana del mundo. Para algunos estudiantes existía una tensión entre la realización visual de la teoría científica y la vida cotidiana como era mostrada en el CD ROM. Esto causó una confusión

17


considerable en la lectura de los estudiantes y en la construcción de las partículas. Un ejemplo de esto fue la lectura que realizaron los estudiantes de la secuencia de simulación que mostraba la transformación de sólido a líquido. La imagen, el movimiento animado y el color están diseñados para representar la disposición de las “partículas” de sólido a líquido. Este diseño intenta mostrar las partículas animadas superpuestas sobre el agua como una representación alternativa de un líquido. Durante la clase yo noté que varios estudiantes interpretaron las “partículas” en la imagen como “una parte de” un líquido (el agua mostrada en el fondo). Mientras trabajaban con el CD ROM, una de las estudiantes, Lucy, comentó que las partículas estaban “sostenidas en el agua como gelatina”. Ella no entendió la imagen de las partículas como una representación del agua. Lucy no distinguió entre el recurso visual del fondo o primer plano (capa superpuesta). En cambio, su construcción de la entidad “partícula” es la de algo que “existe dentro” de un líquido, un sólido o un gas más que la partícula como una cosa que constituye un líquido, sólido o gas. Otra representación visual problemática en el CD ROM es la transformación de líquido a sólido. El uso del color en esta secuencia fue lo más problemático a “ser leído” por los estudiantes. La pantalla de apertura de la transformación de “líquido” a “sólido” muestra una cubeta de precipitación dentro de otra cubeta. La exterior contiene hielo y la interior contiene agua. El agua es representada con un color celeste blancuzco pálido con cualidades de reflejos. La escritura en el “marco” de la pantalla muestra claramente que eso es lo que los estudiantes están observando. A pesar de la clara etiqueta, los estudiantes estaban confundidos con respecto a qué estaban observando. Los estudiantes no “tomaron en cuenta” la información escrita que se les había ofrecido a través de la escritura en el “marco” científico del CD ROM. En cambio, ellos se apoyaron solamente en la imagen y el color para “leer” la transformación. Este es un ejemplo de la dominancia del modo visual y su impacto en la lectura de los estudiantes. Pareciera ser que la “brecha” conceptual entre la escritura en el “marco” y la imagen en la “pantalla dentro de la pantalla” es simplemente demasiado importante para que los estudiantes sean capaces de construir sentido a partir de esto. Esta dificultad pareció ser una consecuencia de una diferencia en los principios que emplearon los estudiantes y los principios que emplearon los diseñadores de la aplicación en relación con el uso de los recursos modales de color, textura y forma. Los principios de los diseñadores entraron en conflicto con los principios de los estudiantes para comprender esos recursos. Los estudiantes a menudo privilegian un modo por sobre otros modos cuando leen textos multimodales.

Desde mi perspectiva, sucede de manera

incremental que los lectores, especialmente los lectores jóvenes y los lectores alfabetizados en

18


computadoras, privilegian la imagen y el color por sobre la escritura cuando leen un texto multimodal.

En el ejemplo de la transformación de líquido a sólido los estudiantes “leyeron” la representación de un líquido para “ser un sólido”. Este episodio muestra cómo los estudiantes se enganchan con las representaciones modales en la pantalla de manera diferente para construir sentido de una representación. Esto muestra cómo los estudiantes privilegian o ponen en primer plano algunos modos como modos más “confiables” en su lectura. La secuencia multimodal está claramente etiquetada mediante la escritura en el “marco” como transformación de ”líquido a sólido”. Las “partículas” se muestran en movimiento más libre y más veloz al principio de la secuencia que en la pantalla final en la que las “partículas se mueven lentamente o “casi no se mueven” y están distribuidas de forma compacta. La dirección de una línea trazada sobre el gráfico muestra la temperatura en la parte superior del gráfico como “más alta” que la temperatura que figura en la parte inferior del gráfico. En otras palabras, la direccionalidad del gráfico representa una disminución de la temperatura. Incluso la conversación de los estudiantes demuestra que ellos comprenden que la sustancia está siendo enfriada y que el gráfico está mostrando una disminución de temperatura. A pesar de esta información, los estudiantes no leen la transformación como una transformación de líquido a sólido. La prominencia y el alto valor de realismo dado a los recursos de imagen, color y textura invalidan todo lo que los estudiantes saben. Los diseñadores produjeron un texto multimodal, estos estudiantes “lo leyeron” visualmente. Esto resalta el rol importante del docente en mediar con las aplicaciones computacionales en el aula. Por ejemplo, el docente podría haber empleado esta lectura como un punto útil para la discusión del realismo y las formas en que la ciencia escolar ofrece formas alternativas de visualizar y pensar acerca del mundo. Junto con la elección de qué modo “leer”, la estructura de muchos textos digitales abre opciones sobre dónde comenzar a leer un texto/qué camino de lectura seguir. Esta pregunta está intrínsecamente ligada con el foco central de este artículo, por ejemplo: cómo la relación entre imagen y escritura cambia ambos: las formas de conocimiento y las prácticas de lectura y escritura. El diseño de modos a menudo ofrece a los estudiantes diferentes puntos de entrada a un texto, caminos posibles a través de un texto y resalta el potencial de los lectores para rehacer un texto a través de su lectura. El “lector” está involucrado en la tarea de encontrar y crear caminos de lectura a través de los textos multimodales y multidireccionales en la pantalla, una fluidez que está comenzando a filtrarse en la página de los libros impresos

19


(Kress, 2003; Moss, 2001). La escritura, la imagen y otros modos se combinan para comunicar múltiples significados y alientan al lector a rechazar una única interpretar y a asumir múltiples lecturas posibles de un texto (Coles y Hall, 2001). El carácter multimodal de la pantalla no indica un único punto de entrada, un comienza y un final, en cambio indica que los textos están presentados en capas y ofrecen múltiples puntos de entrada. Esto ofrece al lector nuevas potencialidades para la lectura de un texto y el diseño de un texto a través de su involucramiento con éste. La lectura de un texto escrito sobre una página es usualmente un evento lineal en el que el autor y el ilustrador guían el ojo en una dirección particular conectada con la lectura de un texto. Ciertamente es el caso de que los múltiples caminos de lectura son siempre parte del repertorio de un lector experimentado (Coles y Hall, 2001). Los textos multimodales de la pantalla redefinen el trabajo del lector quien tiene el trabajo de construir una narrativa o imponer sus propios significados a través de su camino a través del texto. Algunos han proclamado que la narrativa lineal ha muerto y otros afirman que nunca ha estado viva. Yo creo que las narrativas “siguen viviendo” en diferentes formas a través de una gama de medios. Dicho esto, yo creo que las facilidades de las nuevas tecnologías hacen que la narrativa no lineal se logre más que en la página impresa. El diseño de algunos libros para niños (por ejemplo The jolly pocket postman, Ahlberg y Ahlberg, 1995) y muchas revistas dirigidas a la gente joven sirven para fragmentar la noción de narrativa lineal y alientan a los lectores a verse a sí mismos como escritores. Al hacerlo, estos textos “deshacen” las formas literarias de clausura y narrativa. Sin embargo, el potencial para el movimiento y la clausura a través de textos en pantalla es fundamentalmente diferente de la mayoría de las formas literarias clásicas basadas en los libros y ofrece al lectora el potencial de crear (aunque parcialmente) el texto a ser leído. La pregunta no es qué tipo de narrativa es mejor, sino qué puede hacerse (significar) con los recursos que los diferentes tipos de narrativas ponen a disposición. Es una pregunta que refiere a qué tipos de narrativas se ajustan mejor con las facilidades de los diferentes medios para propósitos particulares y qué rol tienen la imagen y la escritura en su configuración.

Comentarios finales A pesar del carácter multimodal de los textos basados en pantallas y del proceso de diseño y producción del texto, la lectura de la política educativa y la evaluación continúan para proveer una visión lingüística de la alfabetización y una visión lineal de la lectura. Esto fracasa al

20


conectar los tipos de alfabetismos que se requieren en la escuela con “los mundos fuera de la escuela” para la mayoría de la gente. La Estrategia de Alfabetización nacional del gobierno (Departamento de Educación y Habilidades, 1998) en Inglaterra es ese tipo de política. Está formada por una conceptualización de la alfabetización lingüística y basada en lo impreso en la que el foco está puesto en la “palabra”, la oración y el texto. Simultáneamente, las estrategias de los gobiernos proclaman el poder de las nuevas tecnologías para cambiar todo. El carácter multimodal de las nuevas tecnologías produce una tensión para las concepciones tradicionales de alfabetismo que mantienen el lenguaje escrito en su centro. Las formas tradicionales de evaluación continúan poniendo énfasis en la escritura a mano y la ortografía, habilidades que las facilidades de las computadoras hacen que sean relevantes de manera diferente para el aprendizaje. Al mismo tiempo, la evaluación fracasa para acreditar la adquisición de nuevas habilidades que las nuevas tecnologías demandan a los estudiantes, tales como encontrar, selección, procesar y presentar información de Internet y otras fuentes Somekh et al., 2001). Yo quiero sugerir que el carácter multimodal y las facilidades de la nueva tecnología requieren que los conceptos de alfabetismo tradicionales (basados en lo impreso) sean reformados. Lo que significa ser alfabetizado en la era digital del siglo XXI es diferente de lo que era necesario previamente (Gardener, 2000). Si la alfabetización escolar quiere ser relevante en función de las demandas del entorno multimodal del mundo ampliado debe apartarse de la reducción del alfabetismo como “una serie estática de habilidades técnicas” o arriesgarse a fomentar una población de analfabetos funcionales (McClay, 2002). En síntesis, la alfabetización escolar necesita ser expandida para reflejar los sistemas semióticos que usan los jóvenes (Unsworth, 2001; Jewitt, 2005).

Referencias Ahlberg, J., & Alhberg, A. (1995). The jolly pocket postman. London: William Heinemann. Carr, D., & Jewitt, C. (2005). Multimodality and the playable text . Paper presented at Computer Assisted Learning Conference, Bristol University, 6 April 2005. Chaplin, E. (1994). Sociological and visual representation . London: Routledge. Coles, M., & Hall, C. (2001). Breaking the line: New literacies, postmodernism and the teaching of printed texts. United Kingdom Reading Association , 35(3), 111/114. Department for Education and Skills. (1998). The National Literacy Strategy . Retrieved February 13, 2005, from http://www.nc.uk.net. Elkins, J. (1999). The domain of images. New York: Cornell University Press.

21


Gardener, P. (2000). Literacy and media texts in secondary English . London: Cassell Education. Graham, J. (1996). Trouble for Arthur’s teacher: A close look at reading CD-ROMs. InM. Simons (Ed.), Where we’ve been: Articles from the English and Media Magazine (pp. 285/290). London: English and Media Centre. Jewitt, C. (2002). The move from page to screen: The multimodal reshaping of school English. Journal of Visual Communication, 1(2), 171/196. Jewitt, C. (2003). Reshaping literacy and learning: A multimodal framework for technology mediated learning. Unpublished doctoral dissertation, Institute of Education, London University. Jewitt, C. (2005). Technology, literacy, learning . London: Routledge Falmer. Kenner, C. (2004). Becoming biliterate: Young children learning different writing systems. Stoke on Trent: Trentham Books. Kenner, C., & Kress, G. (2003). The multisemiotic resources of biliterate children. Journal of Early Childhood Literacy, 3(2), 179/202. Kress, G. (2003). Literacy in the new media age . London: Routledge. Kress, G., & van Leeuwen, T. (2001). Multimodal discourse: The modes and media of contemporary communication. London: Arnold. Kress, G., Jewitt, C., Bourne, J., Franks, A., Hardcastle, J., Jones, K., et al. (2005). Urban classrooms, subject English: Multimodal perspectives on teaching and learning . London: RoutledgeFalmer. Lanham, R. (2001). What next for text? Education, Communication, and Information , 1(1), 59/74. Levinson, P. (1999). Digital McLuhan: A guide to the information millennium. London: Routledge. McClay, J. (2002). Intricate complexities. English in Education, 36(1), 36/54. Maeda, J. (2000). Maeda @ Media. London: Thames and Hudson. Manovich, L. (2002). The language of new media. Cambridge, MA: MIT Press. Moss, G. (2001). To work or play? Junior age non-fiction as objects of design. Reading, Literacy and Language, 35(3), 106/110. Ormerod, F., & Ivanic, R. (2002). Materiality in children’s meaning making practices. Visual Communication, 1(1), 65/91. Shortis, T., & Jewitt, C. (2004). The multimodal ecology of texts in A-level examinations . Paper presented at British Association of Applied Linguistics, Kings College, London, 13 September 2004. Somekh, B., Barnes, S., Triggs, P., Sutherland, R., Passey, D., Holt, H., et al. (2001). NGfL Pathfinders: Preliminary report on the roll-out of the NGfL Programme in ten Pathfinder LEAs. London: Department for Education and Skills. Unsworth, L. (2001). Teaching multiliteracies across the curriculum: Changing contexts of text and image in classroom practice . Buckingham: Open University Press. van Leeuwen, T. (1999). Speech, music, sound. London: Macmillan. van Leeuwen, T. (2005). Introducing social semiotics . London: Routledge.

22


Aplicaciones New Media Press. (2001). Multimedia science school (CD ROM). Oxon: New Media Press. Penguin Electronics. (1996). Of mice and men (CD ROM), Steinbeck Series. New York: Penguin Electronics. Sony. (2001). Ico . San Mateo, CA, USA: Sony. Sony. (2002). Kingdom hearts . San Mateo, CA, USA: Sony.

Notas 1. Esta discusión se basa en videograbaciones y observaciones de uso del CD ROM Of mice and men/ De ratones y hombres en una serie de clases de Lengua en noveno año en una escuela de la ciudad de Londres.

23

Multimodalidad Lectura y Escritura Jewitt

Recommend Documents