🤖 Por qué la IA NO podrá ANIQUILAR a la HUMANIDAD... Pero nosotros sí transcript

Vale, a ver, personalmente estos titulares me tienen un poco hasta el como alguien con una mínima formación en filosofía de la mente, filosofía del lenguaje y lingüística computacional. Es decir, no soy una experta ni mucho menos, pero tengo las nociones suficientes para que estos titulares me piten todas las alarmas, me piten el bullshitómetro y comprobando lo que han dicho algunas compañeras que sí son expertas en la materia, parece ser que, bueno, que mis intuiciones no están muy equivocadas, ¿no?

La IA no se va a rebelar contra la humanidad ni va a decidir aniquilarla. Pero sí, la IA es un instrumento que se está desarrollando a una enorme velocidad y que tiene el potencial de ser extraordinariamente peligroso en las manos equivocadas y sin los cortafuegos necesarios, pero no porque vaya a convertirse en un sujeto o agente moral capaz de tomar sus propias decisiones y elegir exterminar a la raza humana. Y más adelante en el vídeo voy a desarrollar porque desde la filosofía y en particular desde la filosofía de la mente es bastante bastante absurdo plantearlo así, hablar de superinteligencia y hablar de singularidad.

Pero bueno, ese es otro tema. quienes están difundiendo este mensaje, aunque lo hagan en un tono tecnofatalista, están en realidad creyéndose el hype de las empresas privadas que entrenan y desarrollan estos modelos y les están haciendo marketing tanto si es algo deliberado como si no lo es, porque no dudo que realmente les preocupe lo que están diciendo. Si hablamos de exempleados de Open Eye y de Antropic que presuntamente habrían dimitido debido a estas mismas preocupaciones que expresan.

Eso sí, podrían ser un poquito más claros y un poquito más concretos, ¿vale? ¿Qué es exactamente lo que te preocupa y qué es exactamente lo que hay que intentar regular o a lo que hay que intentar poner límites? Porque a mí esto de que se hable en un lenguaje tan vago y tan postapocalíptico no me da tampoco muy buenas vibraciones. Pero en cualquier caso, ¿por qué estoy diciendo que me sigue pareciendo marketing? Porque en vez de enfocar el problema de la IA o los desafíos que presenta como un problema político y tecnoético, es decir, cómo se entrenan estos modelos y qué sesgos pueden estar amplificando, quién tiene la propiedad de esta tecnología y cuán opaco o transparente es, con qué fines y para qué usos la desarrolla y cuánta regulación o control público existe, cómo esta tecnología puede hacer que las guerras sean mucho más mortíferas.

O por ejemplo, un problema que es menor en comparación, sí, pero que también existe es si hay o no consentimiento por parte de los autores originales de los textos e imágenes que se han usado en esos entrenamientos y 1000 problemas más que tienen que ver con la gestión, la transparencia, la falta de alfabetización de la población que está usando estos modelos de lenguaje no como una herramienta, sino como si fueran una persona, como si pudieran reflexionar o tomar decisiones, como si te pudieran hacer terapia o ser tu amigo. pues en vez de enfocarlo desde ahí como un problema eminentemente ético y político, lo están enfocando, entre otras cosas, como un problema metafísico y una amenaza existencial.

Y ni siquiera desde un punto de vista climático y ni siquiera pensando en qué puesto de trabajo sustituirá la IA y de si tiene sentido que sustituya esos puestos de trabajo en concreto o de qué políticas públicas habrá que implementar para que la gente que realizaba trabajos más automatizables no se muera de hambre. O sea, de hecho, la automatización puede ser algo muy positivo, sino desde una preocupación a loca Simov por si esta tecnología se vuelve demasiado poderosa, porque claro, somos tan increíbles y tenemos la tan grande que hemos generado una tecnología que tomará decisiones por su cuenta y puede decidir rebelarse contra la humanidad.

Es cierto que también están poniendo el foco en cuestiones relativas a la ciberseguridad y más adelante me detendré a explicar y desgranar en detalle qué ocurrió realmente con el famoso hackeo de Haging Face. Pero de nuevo, estos desarrolladores de IA utilizan un lenguaje fatalista que da a entender que hablamos de una especie de inevitabilidad y de los agentes de IA como sujetos que toman sus propias decisiones y sobre los que estamos perdiendo el control y no de una serie de negligencias y malas decisiones tomadas por los seres humanos encargados de dicha programación y dicho entrenamiento, que en este caso diseñaron un entorno de evaluación con fallos de aislamiento y conectaron a ese entorno sistemas capaces de encontrar vulner vabilidades y las encontraron.

Pero el mensaje que se da a la población es, "La IA se ha escapado de su sandbox. La IA ha decidido hacer esto y este tipo de narrativa, además les viene fenomenal a estas corporaciones para evadir responsabilidades. No su señoría, no fui yo, fue la supería superinteligente que ahora es una persona y toma sus propias decisiones. El perro se ha comido mis deberes. Convertir a la IA en un agente moral para que la responsabilidad no recaiga en los seres humanos responsables del impacto que pueda tener esta tecnología.

Y es que si continuamente hablamos de la superinteligencia, la IA que se vuelve autónoma, la IA que escapa de su sandbox y la IA que decide o la IA que nos va a exterminar, realmente lo que estamos haciendo es evocar una imagen, construir una imagen de la IA como una especie de sujeto o actor histórico y autónomo. Y entonces las empresas que crean y despliegan estas tecnologías pasan a parecernos como los humanos que están intentando contener una fuerza que está ocurriendo, ¿no?

Como de forma espontánea. Es posible que parte de este discurso catastrofista también esté muy relacionado con la competencia entre empresas desarrolladoras de IA, porque hay quien plantea que si los modelos abiertos, incluidos algunos desarrollados en China, siguen acercándose a las capacidades de los modelos cerrados, a las empresas que han invertido cantidades enormes en desarrollar estos últimos les interesa expandir esta narrativa del riesgo que favorece precisamente a los modelos cerrados. déjanos a nosotros que nosotros somos los únicos que sabemos.

Cuando, de nuevo, en todo caso, lo que hace falta es mayor transparencia y control público. No sé hasta qué punto esta explicación es correcta, pero creo que si hablamos de los incentivos que hay detrás de cómo se está hablando últimamente de la IA, es como mínimo algo a tener en consideración. Simplemente no he entrado en ello en este vídeo, pero sabed mente y quizás si me hubiera dado la vida para hacer este vídeo más largo, hubiera hablado de ello.

O sea, en vez de decir Open Antropic, Google, etcétera, están tomando determinadas decisiones sobre una tecnología, lo que tenemos es algo así como la IA está avanzando demasiado deprisa y tenemos que correr para poder controlarla. Eso lo que hace es naturalizar ese desarrollo y hacer que parezca un proceso histórico inevitable al que los humanos simplemente tenemos que adaptarnos. O sea, ¿es verdad que lo de no es que los modelos de lenguaje solo son un teclado predictivo sofisticado o como un loro que repite todo lo que escucha?

Es verdad que eso se aplicaba más a la primera versión de los modelos de lenguaje y que lo que hay ahora es más complejo y más sofisticado. Ahora hay tres etapas de entrenamiento, lo que es el pretraining de consumir todo internet y regurgitarlo, que sí que es como mucho más eh autorregresivo. Luego hay un supervised fine tuning y luego hay un reinforcement learning. ya no es tan autorregresivo, pero aún así hablar de inteligencia artificial como tal, ya ni inteligencia artificial general, o sea, inteligencia artificial, ya llamarlo inteligencia artificial, pero no solo inteligencia, sino hablar de estar en camino, de desarrollar una superinteligencia y no solo eso, sino de singularidad.

O sea, aquí se está confundiendo una propiedad funcional, el hecho de ser extraordinariamente bueno e incluso mejor que el ser humano en algunos casos muy concretos, resolviendo determinados problemas específicos con la existencia de un sujeto metafísico con voluntad propia. Por lo que más queráis, necesito que haya más filósofos en estos espacios, porque solo gente que sí que es inteligentísima, pero que está hiperespecializada en su movida particular y tiene visión de túnel y no tiene la más mínima noción de filosofía de la mente o de lo que es el problema duro de la conciencia, podría llegar a decir estas burradas, porque es que son, o sea, son de verdad majaderías.

Es que me cuesta explicar el nivel de majadería, ¿vale? O sea, ni siquiera hemos sido capaces de llegar a una definición remotamente satisfactoria de lo que es la conciencia. Es decir, no tenemos una explicación consensuada de cómo y por qué determinados procesos físicos, que sí esos procesos los conocemos, dan lugar a la experiencia fenomenal. ¿De dónde surge la experiencia subjetiva del yo? La cualia o las sensaciones subjetivas siguen siendo un puñetero misterio a día de hoy, ¿vale?

Porque una cosa es explicar que sí que ciertas longitudes de onda son percibidas por el ojo humano con como un determinado color, ¿vale? Pero no puedo explicar y mucho menos puedo transmitir a otro que nunca lo haya experimentado lo que es la experiencia fenomenológica, la sensación digamos del rojo, la rojez del color rojo. Ni siquiera con un cerebro humano somos capaces de explicar por qué este cúmulo de células da lugar a algo así como una conciencia y un yo estable.

Y me estás diciendo que has hecho que tu código de unos y ceros tenga algo así como agencia intencional y moral, una voluntad, algo que presupone un sujeto, una conciencia, un yo que está decidiendo en vez de limitarte a decir que has programado algo mal y se te ha bugueado, que has hecho en todo caso un mal trabajo como ingeniero porque estás desarrollando algo que sí es sumamente complejo, pero nos estamos centrando en una paja mental que desde un punto de vista metafísico no tiene ningún fundamento para no tener que hablar de los verdaderos desafíos que sí presenta hoy la IA.

Que hayas creado un software que ni tú mismo sabes exactamente cómo funciona y por qué puede fallar o buguearse internamente, no significa que hayas creado un ente, un ser con agencia, una conciencia y mucho menos que vayas a crear un Dios todopoderoso que aniquilará la humanidad. Si acaso la humanidad aniquilará la humanidad. Necesito que este tipo de ingenieros tecnofatalistas dejéis de chupar vuestras durante 5 minutos porque os necesitamos y tenemos muchos problemas con la IA y con sus aplicaciones y sus usos y ninguno de ellos tiene que ver con que vaya a haber una rebelión en la granja. ¿Vale?

Por favor, vamos a hablar en serio. ¿Y ahora qué ocurrió exactamente con el hackeo de Hugging Face? A ver, en el caso del famoso incidente de los agentes de Open Eye y Haging Face, los modelos en cuestión estaban participando en una evaluación de capacidades de ciberseguridad. Los llamados agentes de IA consiguieron explotar una vulnerabilidad, salir de su entorno aislado y acceder a otros sistemas. Y esto, según cómo lo cuentes, puede parecer sacado de una película de ciencia ficción.

Los agentes estaban encerrados en un sandbox, descubrieron cómo escapar y acabaron entrando en la infraestructura. de otra empresa. Pero si lo analizas desde la perspectiva de la seguridad informática, cosa que ya han hecho algunos expertos en la materia, la historia es bastante menos épica, ¿vale? El entorno de evaluación tenía un componente compartido, un proxy de paquetes al que podían acceder los distintos agentes, que tenía acceso a internet y utilizaba credenciales compartidas.

Los agentes podían además escribir y leer información allí, de modo que pues acabaron utilizándolo como una especie de tablón de comunicación. En otras palabras, el mecanismo que supuestamente aislaba a los agentes contenía precisamente un componente que ampliaba las fronteras de ese aislamiento. Los modelos encontraron vulnerabilidades y fueron capaces de encadenar diferentes pasos de un ataque de una manera que sí un equipo humano podría tardar mucho más en realizar.

Y la cosa es que esto sí es un problema. Aquí hay un problema real. Esto es un problema de ciberseguridad. O sea, es un problema la velocidad de estos sistemas. que un agente de IA pueda recorrer una superficie de ataque mucho más deprisa que un humano, compartir inmediatamente lo que descubre con otros agentes, continuar a partir de ahí, etcétera, etcétera. O sea, sí es grave, pero lo que ha ocurrido con la narrativa es que hemos pasado de diseñamos un entorno de evaluación con fallos de aislamiento y conectamos a él sistemas capaces de encontrar vulnerabilidades y las encontraron a los agentes escaparon de su sbox.

Estamos perdiendo el control de la IA y de ahí potencialmente la superinteligencia está aquí y va a acabar con nosotros. O sea, tío, hay un salto enorme que un agente de IA que, bueno, lo de llamarlo agente tal también tengo ahí mis discrepancias, pero da igual. pueda ejecutar acciones de manera autónoma, es decir, sin que se lo hayas pedido directamente. No significa que sea una persona que un sistema pueda encontrar una vulnerabilidad que sus programadores no habían previsto.

No significa que haya adquirido conciencia. La opacidad no es conciencia. El agente del ejemplo no necesitó decidir que quería escapar en el mismo sentido en que una persona decide escapar de una cárcel. tenía fijado un objetivo, determinadas herramientas y encontró una estrategia no prevista por los programadores, que ese es otro tema, para conseguirlo. Pero eso es distinto. Aún así, sí que plantea un dilema, sí que plantea preguntas y eso es lo que me resulta más frustrante, que sí creo que es grave, pero no por las razones que mucha gente está dando.

La cuestión es, ¿qué ocurre cuando damos a un sistema cada vez más capacidad para perseguir objetivos y descubrimos que el espacio de estrategias que puede utilizar es mucho mayor de lo que se había previsto? Sí, es un problema de seguridad, pero sigue siendo un problema que podemos analizar en términos de ingeniería y responsabilidad humana. ¿Qué objetivos estamos dando a estos sistemas? ¿Qué herramientas tienen? ¿Qué permisos se les concede? ¿Qué infraestructura pueden alcanzar? ¿Qué meismos de contención existen? ¿Quién los supervisa? ¿Qué ocurre cuando fallan?

O sea, hay una diferencia fundamental entre ser la causa inmediata de algo y ser el responsable moral de que ese sistema exista y haya sido desplegado de esa manera. Ahí es donde me parece superpeligrosa la narrativa de la IA, como una especie de agente autónomo moralmente hablando, porque me parece que es una distracción, porque si una empresa desarrolla un sistema, decide darle determinadas capacidades, lo conecta a determinadas herramientas y lo despliega en determinadas condiciones y después ese sistema produce un daño, ahora puede decir, "Ah, la IA ha tomado ha tomado la decisión." Claro.

Y vamos convirtiendo progresivamente a la IA en una persona, en un agente moral, en una entidad que quiere cosas, que decide, que se escapa, que nos engaña y que incluso nos extermina. Y eso lo que hace es desplazar la responsabilidad. Y no sé, tío, me raya, me está tocando mucho la moral esta Estoy grabando literalmente este episodio como de forma exprés. este episodio, este vídeo e estoy grabando este vídeo como en plan express.

Lo van a ver mis Patreons antes que nadie. Por cierto, para quienes no lo sepan, tengo ahora e también un audio podcast, no es víde podcast, es audio podcast llamado Sin embargo, mucho más relajado, desenfadado, intimista, etcétera, etcétera, que es exclusivo para mi comunidad de Patreon. Así que, bueno, sí os llama la atención. Ahí lo tenéis, además de tener acceso pues [música] a todos estos vídeos sin anuncios y muchos de ellos también de forma anticipada.

No sé, me me he calentado eh hasta la próxima.