- Uso de ferramenta de transcrição de IA em consultas médicas
- Relatório cita problemas com transcrições do OpenAI’s Whisper
- Pesquisadores identificam alucinações em transcrições médicas
Há alguns meses, meu médico mostrou uma ferramenta de transcrição de IA que ele usava para gravar e resumir reuniões com pacientes. No meu caso, o resumo estava bom, mas pesquisadores citados neste relatório da Associated Press descobriram que nem sempre é o caso para transcrições criadas pelo Whisper da OpenAI, que alimenta uma ferramenta usada por muitos hospitais – às vezes inventa conteúdo inteiramente. Whisper é usado por uma empresa chamada Nabla para uma ferramenta que estima ter transcrita 7 milhões de conversas médicas, de acordo com a AP. Mais de 30.000 clínicos e 40 sistemas de saúde o utilizam, escreve a reportagem. O relatório diz que os oficiais da Nabla “reconhecem que o Whisper pode alucinar e estão lidando com o problema.” Em um post de blog publicado na segunda-feira, os executivos escreveram que seu modelo inclui melhorias para lidar com as “limitações bem documentadas do Whisper.” Um grupo de pesquisadores da Universidade Cornell, da Universidade de Washington e outros descreveram suas descobertas em um estudo revisado por pares apresentado em junho na conferência FAccT da ACM. Segundo os pesquisadores, “Embora muitas transcrições do Whisper fossem altamente precisas, descobrimos que aproximadamente um por cento das transcrições de áudio continham frases ou sentenças inteiras alucinadas que não existiam em nenhuma forma no áudio subjacente… 38% das alucinações incluem danos explícitos, como perpetuação de violência, criação de associações imprecisas ou implicando em falsa autoridade.” Os pesquisadores observaram que “as alucinações ocorrem de forma desproporcional para indivíduos que falam com longas durações não vocais,” o que, segundo eles, é mais comum em pessoas com um distúrbio de linguagem chamado afasia.
Muitas das gravações utilizadas foram coletadas do AphasiaBank do TalkBank. Um dos pesquisadores, Allison Koenecke da Universidade Cornell, postou um tópico sobre o estudo mostrando vários exemplos como o incluído acima. Os pesquisadores descobriram que as palavras acrescentadas pela IA poderiam incluir condições médicas inventadas ou frases que você esperaria de um vídeo do YouTube, como “Obrigado por assistir!” (OpenAI teria transcritas mais de um milhão de horas de vídeos do YouTube para treinar o GPT-4.) Um porta-voz da OpenAI, Taya Christianson, enviou um comunicado ao The Verge: Levamos este problema a sério e estamos trabalhando continuamente para melhorar, incluindo a redução de alucinações. Para o uso do Whisper em nossa plataforma API, nossas políticas de uso proíbem o uso em certos contextos de tomadas de decisão de alto risco, e nosso modelo card para uso de código aberto inclui recomendações contra o uso em domínios de alto risco. Agradecemos aos pesquisadores por compartilharem suas descobertas.
Na segunda-feira, o CTO da Nabla, Martin Raison, e o engenheiro de aprendizado de máquina, Sam Humeau, publicaram um post de blog intitulado “Como a Nabla usa o Whisper.” Raison e Humeau dizem que as transcrições da Nabla “não estão diretamente incluídas no prontuário do paciente,” com uma segunda camada de verificação por um grande modelo de linguagem (LLM) consultando a transcrição e o contexto do paciente e que “Apenas fatos para os quais encontramos uma prova definitiva são considerados válidos.” Eles também dizem que processaram “9 milhões de encontros médicos” e que “enquanto alguns erros de transcrição foram às vezes relatados, a alucinação nunca foi relatada como um problema significativo.” – Atualização, 28 de outubro: Adicionado post do blog da Nabla. – Atualização, 29 de outubro: Esclarecido que o estudo da Universidade Cornell, etc., foi revisado por pares. – Correção, 29 de outubro: Uma versão anterior desta história citou a ABC News. A história citada foi publicada pela Associated Press, não pela ABC News. Comentários
#tecnologia #primeirapágina #saúde #ciência #ia-inteligência-artificial #tecnologia #aberto #notícias #fluxo-23374468