Científicos de Stanford encuentran que GPT-4 se vuelve más tonto con el tiempo

Nuevo estudiar de científicos de la Universidad de Stanford confirmaron lo que los internautas se han quejado durante semanas: ChatGPT Plus, basado en GPT-4 se ha vuelto realmente más tonto, a diferencia de GPT-3.5, que ejecuta la versión gratuita del chatbot.

En su estudio, los autores compararon las respuestas a diferentes solicitudes de un chatbot basado en GPT-4 y GPT-3.5. Ellos encontró que el comportamiento del chatbot y la precisión de las respuestas a algunas solicitudes en la nueva versión son significativamente empeoró

Los autores compararon los modelos de lenguaje GPT-4 y GPT-3.5 lanzados en marzo y enero. Descubrieron que durante este tiempo la precisión del GPT-4 se redujo notablemente, mientras que la del GPT-3.5, por el contrario, aumentó.

Por ejemplo, la precisión de responder a la pregunta de si 17077 es un número primo se redujo en un 95,2 %, mientras que GPT-3,5, por el contrario, aumentó del 7,4 % al 86,8 %. Además, la posibilidad de ejecución exitosa del código escrito por la red neuronal ha disminuido en las versiones actuales de ambos modelos.

Anteriormente, el vicepresidente de OpenAI, Peter Welinder, ya contestada a las acusaciones de los usuarios de ChatGPT Plus:

En una de las respuestas a este tuit, Welinder preguntó proporcionar evidencia de que el chatbot ha empeorado. Un estudio de científicos de Stanford apareció 5 días después de eso, y aún no ha habido una respuesta de OpenAI.

Esta no es la primera vez que se acusa a GPT-4 de proporcionar información falsa. En marzo, los analistas de NewsGuard descubiertoque ChatGPT basado en GPT-4 es más fácil de hacer mentir, mientras que OpenAI afirma un aumento del 40% en la precisión de las respuestas en comparación con GPT-3.5. EN en particular, en las pruebas de NewsGuard, la nueva versión de la red neuronal tenía menos probabilidades de refutar información falsa, incluidos datos falsos sobre teorías y eventos modernos. conspiraciones