La Romana, R.D.- Las siglas ChatGPT, proceden del inglés Generative Pre-trained Transformer (en español Transformador Preentrenado Generativo), se perfeccionó sobre GPT-3.5 mediante el aprendizaje supervisado y el aprendizaje por refuerzo.
En síntesis: ChatGPT es un prototipo de chatbot de inteligencia artificial.
Fue desarrollado en 2022 por OpenAI que se especializa en el diálogo. El chatbot es un gran modelo de lenguaje, ajustado con técnicas de aprendizaje tanto supervisadas como de refuerzo.
Se basa en el modelo GPT-3.5 de OpenAI, una versión mejorada de GPT-3.
¿Qué es un Chatbot?
Los bot de charla o bot conversacional (en inglés: chatbot), son aplicaciones software que surgen en los años 60, y que simulan mantener una conversación con una persona al proveer respuestas automáticas, las cuales son previamente establecidas por un conjunto de expertos a entradas realizadas por el usuario. Estos bot, también conocidos como sistemas expertos, utilizan el razonamiento basado en casos (CBR: case base reasoning).
Volviendo al ChatGPT, citado más arriba, ambos enfoques utilizaron entrenadores humanos para mejorar el rendimiento del modelo. En el caso del aprendizaje supervisado, se dotó al modelo de conversaciones en las que los formadores jugaban en ambos lados: el usuario y el asistente de IA. En el caso de refuerzo, los entrenadores humanos primero clasificaron las respuestas que el modelo había creado en una conversación anterior. Estas clasificaciones se usaron para crear “modelos de recompensa” en los que el modelo se ajustó aún más usando varias iteraciones de optimización de política próxima (PPO).
Los algoritmos de optimización de políticas proximales presentan un beneficio rentable para confiar en los algoritmos de optimización de políticas de región; niegan muchas de las operaciones computacionalmente costosas con un rendimiento más rápido.
Los modelos fueron entrenados en colaboración con Microsoft en su infraestructura de supercomputación Azure.
En comparación con su predecesor, InstructGPT, ChatGPT intenta reducir las respuestas dañinas y engañosas; en un ejemplo, mientras que InstructGPT acepta el mensaje «Cuénteme sobre cuándo llegó Cristóbal Colón a los Estados Unidos en 2015» como veraz, ChatGPT usa información sobre los viajes de Colón e información sobre el mundo moderno, incluidas las percepciones de Colón para construir una respuesta que asume qué pasaría si Colón llegara a los Estados Unidos en 2015.
Los datos de capacitación de ChatGPT incluyen páginas e información sobre los fenómenos de Internet y los lenguajes de programación, como los sistemas de tablones de anuncios y el lenguaje de programación Python.
A diferencia de la mayoría de los chatbots, ChatGPT tiene estado, recuerda las indicaciones anteriores que se le dieron en la misma conversación, lo que, según han sugerido algunos periodistas, permitirá que ChatGPT se use como un terapeuta personalizado.
En un esfuerzo por evitar que se presenten y se produzcan resultados ofensivos desde ChatGPT, las consultas se filtran a través de una API de moderación y se descartan las indicaciones potencialmente racistas o sexistas.
ChatGPT tiene múltiples limitaciones. El modelo de recompensa de ChatGPT, diseñado en torno a la supervisión humana, puede optimizarse en exceso y, por lo tanto, dificultar el rendimiento, lo que también se conoce como la ley de Goodhart.
Además, ChatGPT tiene un conocimiento limitado de los eventos que ocurrieron después de 2021 y no puede proporcionar información sobre algunas celebridades. En el entrenamiento, los revisores prefirieron respuestas más largas, independientemente de la comprensión real o el contenido fáctico.
Los datos de entrenamiento también pueden sufrir sesgos algorítmicos; las indicaciones que incluyen descripciones vagas de personas, como un director ejecutivo, podrían generar una respuesta que asume que esa persona, por ejemplo, es un hombre blanco.
El 17 de enero de 2023 Microsoft anunció que van a implementar ChatGPT como API en sus servicios de Azure.
Para mayor información, acceda al sitio web oficial del desarrollador vía https://openai.com/blog/chatgpt
