Hospitais usam ferramenta de transcrição alimentada por modelo OpenAI propenso a alucinações – The

• O médico mostrou uma ferramenta de transcrição de inteligência artificial que ele usava para gravar e resumir suas reuniões com os pacientes.
• O Whisper, da OpenAI, utilizado por muitos hospitais, às vezes cria informações falsas durante as transcrições.
• Uma pesquisa realizada por universidades renomadas identificou que o Whisper apresentou alucinações em cerca de 1% das transcrições.

Há alguns meses, meu médico mostrou uma ferramenta de transcrição de IA que ele usava para gravar e resumir suas reuniões com os pacientes. No meu caso, o resumo estava ok, mas pesquisadores citados pela ABC News descobriram que nem sempre é o caso com o Whisper da OpenAI, que alimenta uma ferramenta usada por muitos hospitais – às vezes ele simplesmente inventa informações. O Whisper é usado por uma empresa chamada Nabla para uma ferramenta de transcrição médica que estima ter transcrito 7 milhões de conversas médicas, de acordo com a ABC News. Mais de 30.000 clínicos e 40 sistemas de saúde o utilizam, escreve a empresa. A Nabla está ciente de que o Whisper pode alucinar e está “abordando o problema.” Um grupo de pesquisadores da Universidade de Cornell, da Universidade de Washington e outros descobriu em um estudo que o Whisper alucinou em cerca de 1% das transcrições, inventando frases inteiras com sentimentos violentos ou frases sem sentido durante silêncios nas gravações. Os pesquisadores, que reuniram amostras de áudio do AphasiaBank do TalkBank como parte do estudo, observam que o silêncio é especialmente comum quando alguém com um distúrbio chamado afasia está falando. Um dos pesquisadores, Allison Koenecke da Universidade Cornell, postou exemplos como o abaixo em um tópico sobre o estudo. Os pesquisadores descobriram que as alucinações também incluíam condições médicas inventadas ou frases que você esperaria de um vídeo do YouTube, como “Obrigado por assistir!” (A OpenAI supostamente costumava transcrever mais de um milhão de horas de vídeos do YouTube para treinar o GPT-4.) O estudo foi apresentado em junho na conferência da ACM FAccT no Brasil. Não está claro se foi revisado por pares.

Relacionado

Temos que parar de ignorar o problema de alucinação da IA. Meta culpa alucinações depois que sua IA disse que o tiroteio no comício de Trump não aconteceu. Por que o Google está nos dizendo para colocar cola na pizza?

Uma porta-voz da OpenAI, Taya Christianson, enviou um comunicado ao The Verge: Levamos esse problema a sério e estamos trabalhando continuamente para melhorar, inclusive reduzindo as alucinações. Para o uso do Whisper em nossa plataforma API, nossas políticas de uso proíbem o uso em certos contextos de tomadas de decisão em alto risco, e nosso modelo de cartão para uso de código aberto inclui recomendações contra o uso em domínios de alto risco. Agradecemos aos pesquisadores por compartilharem suas descobertas.

#tecnologia #primeirapágina #saúde #ciência #inteligênciaartificial-ai #tecnologia #aberto #notícias #fluxo-23374468