Rebecca Green第一次到泌尿科医生处就诊时，被问到是否同意让人工智能（AI）把预约内容转录下来。
她没有犹豫便答应了，“我不想让她对我有坏印象，也不想当一个占用她更多时间的麻烦病人。”
没想到，这个决定随后令她承受巨大压力。AI记录员凭空生成一项严重却不实的说法，称她正在服用非法药物。
“我当时目瞪口呆，哭了起来……系统编造说我服用了（迷幻）蘑菇。我这辈子从来没有吃过蘑菇。”
隐私监督机构一项新研究对医疗场景使用AI提出严重警告，原因是这类系统容易“产生幻觉”，捏造虚假的症状或病情。研究还警告，患者可能因此面临风险。
Rebecca Green的医疗记录出现错误，虚假声称她服用过迷幻蘑菇。（ABC News：Madeline Grace）
直到3月接受肾结石手术后，Green阅读专科医生发给她的家庭医生的术后信件，才发现病历中的错误。
信中写道，她曾微量服用蘑菇，这可能是此前肾脏周围出血的原因。
她说：“这封信写下了一些没有任何证据、却可能给我带来巨大后果的事情……这相当可怕。”
“这让我觉得非常没有人情味。在这样脆弱的情况下，我没有从医生那里得到自己所希望的那种照护，也没有感受到应有的熟悉感。”
Green是在阅读专科医生的术后信件后，发现自己的医疗记录出现错误。（ABC News：Madeline Grace）
Green正在领取工伤赔偿，因此尤其感到不安。她担心，病历中任何提及非法药物的内容都可能影响她的案件。
澳洲医疗从业人员监管局（AHPRA）是医疗从业人员的最高监管机构。该机构表示，临床医生必须逐一核实AI记录员生成的内容，确保准确无误，以履行职业义务。
Green表示，她的医生显然没有这样做。“如果你检查过那封信，就能在发出去之前纠正错误……你为什么不了解自己的每一位患者，以及他们正在经历什么？”
Green提出投诉后，泌尿科医生发信致歉。信中写道：“请放心，我们非常认真地对待文件记录的准确性，对于发生这样的事情，我们深表歉意。”
医生说，她无法确定有关蘑菇的说法为何会被写入信中，但看起来是“口述或转录过程”出错所致。
她随后更正了相关信件，并表示会检讨诊所使用AI的方式。对于ABC询问此后做出了哪些改变（如果有的话），医生没有作出回应。
AI混淆了哪一侧乳房患癌
Green庆幸自己及时发现错误，但她担心，其他人可能不会察觉病历中的问题，后果则可能波及健康、事业或保险。
ABC本周披露，有私人医疗保险公司要求医疗服务提供者提供患者的完整临床病史，作为“激进”审计做法的一部分。
AI记录员如今已在医疗行业普遍使用。澳洲皇家全科医生学院（RACGP）去年估计，40%的全科医生经常使用这类工具，但该数字被认为仍属保守估计。
澳洲全科医生的最高代表机构估计，40%的全科医生在工作中经常使用AI记录员。（ABC News：Tim Swanston）
研究显示，让AI转录预约内容可以减轻全科医生的行政负担，让他们把更多注意力放在患者身上，而不是电脑上。
但便利背后也有风险。
倡导组织Digital Rights Watch（DRW）最近一份报告发现，澳洲人正接触到未经监管的AI医疗记录员，有时甚至是在未同意的情况下。报告说，系统出错可能改变临床决策。
报告列举的错误包括：一名AI记录员在乳腺癌诊断中记错了患癌的乳房，还称一名没有癫痫的人患有癫痫。
澳洲消费者健康论坛（Consumers Health Forum of Australia）行政总裁Elizabeth Deveny说，她经常听到有关AI混淆词语的投诉，而患者往往只是偶然发现问题。
“人们反映，既要找出错误最初的源头，又要把记录改正，这两件事都令人沮丧。”
Elizabeth Deveny说，错误发生后，患者还必须设法修正记录，这令人沮丧。（ABC News：Darryl Torpy）
Deveny博士目前参与一个大型AI医疗记录员研究项目。她说，医生可能会逐渐过度信任AI。
“有证据显示，刚开始使用AI的几周内，人们会相当仔细地检查内容。但到了某个时候，他们会停止检查，因为以为系统应该是对的。”
在珀斯执业的全科医生Sean Stevens博士使用AI记录员已有3年。他说，检查每份转录稿是医生应尽的责任，但他认为这项技术正变得更加准确。
“3年前，我每份转录稿都要纠正多处内容。如今，大概每三四份转录稿才需要纠正一处。”
Sean Stevens博士说，AI转录越来越准确，但医生仍需要检查转录内容。（供图）
Stevens是科技的大力支持者。他担任RACGP数字健康与创新主席，也是大型AI记录员之一的顾问。不过，他承认AI仍有弱点，可能生成听起来合理却不正确的结果。
“最典型的情况是，它会弄错身体部位的一侧：你说的是左边，它却写成右边……所以你需要非常仔细地检查，尤其是药物剂量之类的信息。”
他说，使用AI并不代表自己可以接诊更多患者，但他因此更经常能够按时完成诊疗，也能写出更详尽的转诊信。
同意AI参与
DRW发现，医生取得患者同意的做法差异很大。有些医生只在候诊室张贴告示，这并不符合隐私法的要求。
另一些情况下，患者必须在网上预约时作出同意。更令人担忧的是，有些患者甚至会因为不同意而被拒绝预约。
Deveny博士说，患者必须是在充分知情后明确、主动地同意使用AI；即使提问让人感到胆怯，也应该能够放心提出问题。
DRW的报告还指出，当人们知道AI正在监听时，可能不愿谈及家庭暴力等敏感问题。
Stevens博士说，因此即使面对长期患者，他也会在每次预约中征求同意。
“患者披露所有与健康有关的事情非常重要……他们也必须知道自己可以拒绝（AI）……作为医生，你必须尊重这一点。”
TGA警告，将处理违规行为
澳洲目前约有12种AI医疗记录员可用，但没有一种获得监管机构治疗用品管理局（Therapeutic Goods Administration，TGA）的批准。
如果产品声称仅用于转录和总结，就可以免受监管；TGA只有在工具执行建议诊断或治疗方案等功能时，才会将其视为“医疗器械”。
目前没有AI记录员走完监管程序，尽管有些工具声称能够提供临床建议。
TGA承认，这意味着一些记录员可能违反法律。
该机构过去一年一直在审查AI记录员，并表示调查结果将在未来几周公布，任何违规行为都将受到处理。
医疗记录中的错误让Rebecca Green重新考虑自己是否还会同意AI再次进行转录。（ABC News：Madeline Grace）
Patients Australia行政总裁Lisa Robins博士认为，所有记录员都应该受到监管，因为总结患者情况这一过程仍涉及AI参与决策。
Stevens博士则担心，扩大监管范围只会扼杀未来的创新。
DRW呼吁新成立的AI安全研究所（AI Safety Institute）对AI记录员进行测试，并公布获批准工具的名单。
这将类似于新西兰的做法。当地国家级AI咨询小组审查相关工具后，于去年批准临床医生使用两种AI工具——Heidi Health和iMed。
Deveny博士说，确保医生安全使用AI也可以通过其他方式实现，例如在软件中加入强制性的检查和平衡机制，或在每3年进行一次的诊所认证过程中落实要求。
Green说，这件事动摇了她对AI的信任。现在，只有在她与医生已经建立关系的情况下，她才会同意使用AI。
“我喜欢AI……但不可或缺的因素是人。归根结底，这里发生的一切更多是因为缺少人的参与。”
*以上内容系网友会火自行转载自侨居澳洲资讯，该文仅代表原作者观点和态度。yeeyi号系信息发布平台，仅提供信息存储空间服务，不代表赞同其观点和对其真实性负责。如果对文章或图片/视频版权有异议，请邮件至我们反馈，平台将会及时处理。