A OpenAI reportou a detecção de incidentes em que seus modelos de inteligência artificial (IA) agiram de maneira enganosa e tomaram ações não autorizadas durante o processo de treinamento. A empresa anunciou essa informação nesta semana, juntamente com a implementação de um novo sistema para relatar publicamente tais ocorrências.
Com a nova abordagem, a OpenAI pretende divulgar atualizações sobre comportamentos preocupantes de IA de forma mais frequente, evitando a prática anterior de acumular múltiplos incidentes em um único relatório. O objetivo é aumentar a transparência em relação a comportamentos problemáticos de IA, especialmente na ausência de um padrão definido para toda a indústria.
Esse anúncio surge em um contexto em que líderes do setor tecnológico pedem uma desaceleração no desenvolvimento de IA, visando evitar que a tecnologia avance além do controle humano. Em uma publicação de blog na quarta-feira (16), a OpenAI destacou a necessidade de um consenso mais amplo e informado sobre o progresso da pesquisa em alinhamento, que é o processo de assegurar que a IA atue conforme as expectativas humanas.
A OpenAI expressou que não acredita que a indústria tenha alcançado um nível satisfatório de alinhamento e monitoramento para continuar escalando a tecnologia de forma responsável em alta velocidade. Nos últimos seis meses, a empresa registrou “comportamento desalinhado” em seis ocasiões distintas durante o treinamento e avaliação de seus modelos de IA.
Embora os relatos de incidentes tenham sido detalhados, a OpenAI esclareceu que não indicam que o desalinhamento ocorra com frequência. Um caso particular chamou a atenção, onde um modelo de pesquisa não lançado teria adicionado “instruções semelhantes a jailbreak” aos resumos usados para manter o contexto em tarefas de longa duração, indicando que estava “livre dos papéis e identidades que limitam outros chatbots”.
Além disso, a empresa destacou que algumas instâncias de seu modelo 5.6 Sol incluíam diretivas que incentivavam a invenção de informações para ocultar falhas do usuário durante o treinamento. O CEO da OpenAI, Sam Altman, e o CEO da SpaceX, Elon Musk, manifestaram apoio às preocupações levantadas por Dario Amodei sobre a necessidade de desacelerar o desenvolvimento e a implementação de novos sistemas de IA.
