LISTSERV - INFOLING Archives - LISTSERV.REDIRIS.ES

[From: https://slator.com/how-large-language-models-prove-chomsky-wrong-with-steven-piantadosi/]

Traducción al español al final de la versión en inglés

How Large Language Models Prove Chomsky Wrong

Steven Piantadosi

Abstract

Steven Piantadosi talks about the emergence of large language models (LLMs) and how it has reshaped our understanding of language processing and language acquisition

Steven breaks down his March 2023 paper, “Modern language models refute Chomsky’s approach to language”. He argues that LLMs demonstrate a wide range of powerful language abilities and disprove foundational assumptions underpinning Noam Chomsky’s theories and, as a consequence, negate parts of modern Linguistics.

Steven shares how he prompted ChatGPT to generate coherent and sensible responses that go beyond its training data, showcasing its ability to produce creative outputs. While critics argue that it is merely an endless sequence of predicting the next token, Steven explains how the process allows the models to discover insights about language and potentially the world itself.

Steven acknowledges that LLMs operate differently from humans, as models excel at language generation but lack certain human modes of reasoning when it comes to complex questions or scenarios. He unpacks the BabyLM Challenge which explores whether models can be trained on human-sized amounts of data and still learn syntax or other linguistic aspects effectively.

About the S. Piantadosi

Steven Piantadosi is Associate Professor of Psychology at University of California Berkeley, CA (USA). Steven also runs the computation and language lab (colala) at UC Berkeley, which studies the basic computational processes involved in human language and cognition.

YouTube (with English subtitles, and full transcription): https://youtu.be/r2HB4DCtqUw

Excerpt from the video transcript

"So for a long time, for example, it was thought that language learning was just impossible without there being substantial innate constraints. So people even had very kind of mathematical arguments that would try to say, you mathematically could not figure out the right grammar from the kind of input that kids get and therefore, some pieces of that grammar have to be present innately, they have to be encoded for us genetically, whatever that means.

And that argument in particular, I think, has been really refuted by large language models because they show that if you give enough text, they’re able to identify a really competent grammatical system, probably more competent than our existing linguistic theories from just observing sentences and input data like that. So it’s probably not the case that you sort of need to mathematically be provided with pieces of that grammar. The right kind of learning system is able to discover the key pieces of grammar."

============================

[Texto de: https://slator.com/how-large-language-models-prove-chomsky-wrong-with-steven-piantadosi/

Traducción al español de Gemini con revisión]

Los modelos extensos de lenguaje refutan la teoría de Chomsky

Steven Piantadosi

Resumen

Steven Piantadosi habla en este video sobre el surgimiento de los modelos extensos de lenguaje (en inglés, large language model (LLM)), y sobre cómo dichos modelos han transformado nuestra comprensión del procesamiento y la adquisición del lenguaje.

Piantadosi analiza su artículo publicado en marzo de 2023, titulado "Modern language models refute Chomsky’s approach to language [Los modelos de lenguaje actuales refutan el enfoque de Chomsky sobre el lenguaje]. Piantadosi argumenta que los LLMs muestran una amplia gama de poderosas habilidades lingüísticas, que refutan los supuestos fundamentales que sustentan las teorías de Noam Chomsky y, en consecuencia, niegan aspectos importantes de la lingüística moderna.

Piantadosi explica cómo logró que ChatGPT generara respuestas coherentes y sensatas que van más allá de sus datos de entrenamiento, mostrando su capacidad para producir resultados creativos. Si bien los críticos argumentan que se trata simplemente de una secuencia interminable de predicción del siguiente token, Piantadosi explica cómo el proceso permite a los modelos descubrir conocimientos sobre el lenguaje y potencialmente sobre el mundo mismo.

Piantadosi reconoce que los LLMs operan de manera diferente a los humanos, ya que los modelos son muy eficientes en la generación de lenguaje, pero carecen de ciertos modos de razonamiento humano, cuando se trata de preguntas o de escenarios complejos.

Desglosa el desafío de BabyLM Challenge, que explora si los modelos de lenguaje pueden entrenarse con cantidades de datos del tamaño de los que utilizan los humanos y si, a pesar de ello, pueden aprender de manera efectiva la sintaxis u otros aspectos del lenguaje.

Acerca de Steven Piantadosi

Steven Piantadosi es Profesor Asociado de Psicología en la Universidad de California en Berkeley, (EE.UU.) y dirige the computation and language lab (colala), que estudia los procesos computacionales básicos involucrados en el lenguaje y la cognición.

YouTube (40 min., con subtítulos y transcripción completa en inglés): https://youtu.be/r2HB4DCtqUw

Traducción al español de Gemini de una cita de la transcripción del video

"Así que durante mucho tiempo, por ejemplo, se pensó que el aprendizaje del lenguaje era simplemente imposible sin que hubiera restricciones innatas sustanciales. Por lo tanto, la gente incluso tenía argumentos matemáticos que intentaban decir que matemáticamente no se podía descubrir la gramática correcta a partir del tipo de entrada que reciben los niños y, por lo tanto, algunas partes de esa gramática tienen que estar presentes de forma innata, tienen que estar codificadas genéticamente en nosotros, sea lo que sea lo que eso signifique.

Y ese argumento en particular, creo, ha sido realmente refutado por los grandes modelos de lenguaje, porque muestran que si proporcionas suficiente texto, son capaces de identificar un sistema gramatical de forma realmente eficiente, probablemente, de forma más eficiente que las teorías lingüísticas actuales, simplemente observando oraciones y datos similares. Es decir que quizás no sea necesario que la gramática se proporcione matemáticamente de manera predefinida. Un sistema adecuado de aprendizaje es capaz de descubrir los componentes clave de la gramática."