Dimite un enxeñeiro de Anthropic porque a súa compañía e OpenAI xogan "coas nosas vidas"

Un enxeñeiro británico de Anthropic, que tamén traballou nos pasados tres anos para OpenAI -a creadora do popular ChatGPT- presentou a súa dimisión nas últimas horas porque di que ambas as compañías "non están a actuar con responsabilidade" e están "a xogar coas nosas vidas".

Jacob Coxon, enxeñeiro de software ao que os medios identifican como un dos desenvolvedores de GPT-4o e GPT-4.5, aínda que sen responsabilidades executivas, asegurou nun fío da súa conta de X que as persoas que están tras o desenvolvemento exponencial da IA "cren que poderá matarnos a todos ao cabo desta década", porque "non hai outra actividade humana que supoña este nivel de ameaza".

Para o enxeñeiro, de 27 anos, estase subestimando o poder da tecnoloxía, pero os proxectos de IA "serán pronto sistemas sobrehumanos que poderán hackear calquera cousa, revolucionar todos os ámbitos e gañar verdadeiro poder e recursos".

Na súa opinión, hai unha conciencia desta realidade tanto en OpenAI como en Anthropic, pero ve unha diferenza: os primeiros "tal vez non internalizaron en profundidade os retos civilizacionais", mentres que os segundos os comprenden ben pero "están atrapados na carreira por chegar primeiro", aínda cando no caso máis optimista trátese de chegar primeiro "para actuar con responsabilidade".

Coxon non ve outra saída que a coordinación entre os distintos proxectos de IA e das empresas involucradas neles, pero sente que non se está producindo e avoga entón por "accións custosas, como unha prohibición temporal de mellorar as capacidades do modelo ('model capabilities'), e pide aos investigadores da IA que reflexionen profundamente sobre a cuestión.

"Queredes potenciar unha 'aprendizaxe por reforzo' (RL na xerga técnica) superintelixente sen un entendemento rigoroso da súa mente? -pregunta aos seus colegas na IA- Ides baixar a cabeza porque 'total, xa está a ocorrer', ou aproveitar este momento para avogar por condicións diferentes?", conclúe Coxon nun fío que tivo xa unha enorme repercusión mediática.

Nesta liña, Evan Hubinger, investigador de Anthropic, replicou os comentarios a Coxon en X e matizou o discurso do enxeñeiro:

"Jacob ten razón aquí; realmente cremos con sinceridade que a IA podería matar a todos os humanos. Persoalmente, penso que é máis do 10% dentro da próxima década".

A pesar de iso, Hubinger considerou que o risco dos modelos actuais é baixo, aínda que o preocupante é "a superintelixencia que xorde do automelloramiento recursivo (...) que está a ocorrer máis rápido do que pensabamos".

Non é o primeiro que se retira

Coxon non foi o único investigador que se retirou do desenvolvemento dos modelos de IA nos últimos anos tras advertir dos perigos deste desenvolvemento tecnolóxico.

Este é o caso de Geoffrey Hinton, gañador do Nobel de Física, que renunciou en 2023 ao seu posto en Google para poder criticar os riscos da IA sen as cortapisas corporativas.

Tamén hai que mencionar a carta aberta de 2024 na que ex empregados de OpenAI mostraron a súa preocupación polo rápido desenvolvemento da IA e a ausencia de leis que protexan os denunciantes.