量子位 | "大众年夜众号 QbitAI
昔时夜模型踏入医疗行业与人类年夜夫一较高下时，它能达到什么水平？
就在最近，医学顶刊BMJ便给出了这样一个结论：
在遵照公认的临床烦闷症治疗标准方面，前辈大模型可能比年夜夫要强！
从研究结果上来看，大措辞模型（LLM）在轻度和重度烦闷症治疗方面，已经达到了公认的治疗标准。
不仅如此，它们还不会被患者的外在成分所影响（包括性别、社会阶层等等），这就比人类低级年夜夫还要强上一点了。
这是否就意味着类LLM选手们现在可以“持证上岗”了呢？
非也，非也。
考虑到烦闷症治疗的持续性和患者病情的多样性，这项研究认为，真正的治疗过程还是须要人类年夜夫来进行。
不过研究同样指出，LLM对付现阶段医疗可以起到赞助决策的帮助：
有可能加强低级卫生保健的决策，提高精神卫生做事的质量和公道性。
毕竟自从LLM热潮以来，包括谷歌在内的浩瀚AI玩家，都致力于推动其在医学领域中的浸染。
乃至像“男孩阅医无数，末了竟被AI成功诊出病因”这样的新闻也是频频被曝出。
那么问题来了——LLM在现实中的医疗领域，到底走到了哪一步？
LLM，已然深扎医疗一贯以来，医疗行业都被视为AI落地的主要领域。
在深度学习浪潮刚刚兴起之时，深度学习三巨子之一Hinton就说出了名言：
5年内AI可以取代放射科年夜夫。
只管这个表达有些激进，但它戳穿了一个事实，至少在科研层面，AI和医疗的结合是非常被看好的。
在过去一段韶光以来，AI医疗场景不断开拓，比如利用CV算法识别病灶、检测心电图等。科技巨子们都紧跟趋势，如微软、谷歌、IBM等都在持续投入资金，推进AI医疗落地。
尤其在ChatGPT趋势到来往后，LLM更强的学习能力、更好的迁移能力以及更深的理解能力，都为AI医疗落地打开新局势。
而且这会是一个很确定的趋势，由于技能、运用落地和行业发展都准备好了。
首先技能方面，今年是大模型爆发的一年，目前海内已经形成“百模大战”格局。
诸多大模型厂商都主打To B路线，正在加速推动大模型在各个行业的运用。还有一些厂商直接推出面向医疗的行业大模型，比如谷歌推出的Med-PaLM 2就已经在诊所实测。
以是对付医疗领域而言，当下是不缺“模”的。
其次，大模型和医疗领域也天生非常契合。
在常见的问诊、病历天生、患者病史剖析等场景，都须要年夜夫基于历史信息进行整合总结、剖析判断，这正是大模型的长项。
比如利用大模型的总结择要能力，可以快速对多类数据进行总结并形成择要，帮年夜夫完成繁琐、重复性高的事情，提升效率。
并且实际落地上，只需以基座大模型为底，运用专业医疗数据演习，就能得到一个强大的医疗大模型，这能从根本上加速AI医疗落地。还能在一个别系中集成多个子模型，即可快速覆盖更多场景。
再来看行业发展方面，以海内幕况为例，数字化医疗、AI医疗逐渐发展为一个独立赛道，玩家们利用数据剖析、自然措辞处理（NLP）、构造化数据等技能，已经成功将AI引入临床诊断决策、病例数据管理等。
如惠每科技开拓的面向医院的核心运用Dr.Mayson。
大略理解，这是一个能优化医院看诊、决策、预警、管理等方面的智能运用，核心目标便是让医院数字化系统运行更加丝滑流畅，提高年夜夫诊疗效率。
它紧张融入了PDCA过程管理和CDSS（临床决策支持系统）。利用机器学习、深度学习、大数据挖掘等技能，可以智能识别剖析病历文书、LIS/RIS报告等患者完全病历数据；为医院构建专门的医学知识库；给年夜夫、医技、护士、管理方供应实时智能参考与建议。
在惠每科技最新发布的CDSS 3.0架构中，新一代AI大数据处理平台已集成了医疗大模型，并已经在某互助医院的病历天生等场景中得到了年夜夫的认可。
综上，医疗大模型运用落地路径已经比较明确。但是落地的过程却没有想象中的那般随意马虎。
医疗大模型落地，怎么解？医疗大模型落地目前碰着的两大核心问题，都非常具有原生性：
为担保患者数据安全，医院数据仅能内网利用当前GPU算力紧张，医院很难包袱如此高昂的采购本钱这意味着，医疗大模型须要进行私有化支配，且须要探求一条能够针对付提升大模型算力的“性价比”道路。
以是，AI加速成为了比来业界备受关注的领域。它直接关乎大模型落地的效率和本钱，行业内各大厂商的加速方案也都受到热捧。
比如刚刚提到的惠每科技便携手英特尔，在基于第四代英特尔® 至强® 可扩展处理器的根本举动步伐上，打造了量化和非量化两种大模型推理加速方案。
如何实现？
先来看量化部分，也便是通过降落模型精度来实现加速。
以FP32量化到INT8为例，它能让GPU或CPU适应更快、更低本钱的8位张量来打算卷积和矩阵乘法，可有效提高打算吞吐量。还能减少模型数据搬运所需的韶光和资源，这是数据从内存移动到打算单元的一定花费，精度从32位降落到8位，能实现4倍减少量。
同时量化也能减少内存的利用，让模型须要更少的存储空间、参数更小、缓存利用率更高。
详细实现方案上，惠每科技引入了英特尔开拓和开源的BigDL-LLM大措辞模型加速库，其供应对各种低精度数据格式的支持与优化，同时合营不同型号和代际的英特尔处理器内置指令集（如英特尔® AVX-512_VNNI、英特尔® AMX等）在大模型运用中可以实现较优推理加速。
利用方面，此方案供应了便捷命令和编程接口两种方法，能方便预览量化后模型性能是否符合预期；其余在性能达标的情形下，凭借BigDL-LLM供应的HuggingFace API/Langchain API，用户可以轻松将优化性能整合到支配推理做事中去。
△BigDL-LLM为医疗大模型供应推理加速
对付非量化技能路径，英特尔也能供应键值（KV）缓存、算子领悟的OpenVINO™ 加速方案。
KV缓存用于通过键值对的办法存储数据，能加速和优化数据访问。算子领悟是将神经网络中多个连续运算符领悟成一个运算符，从而减少内存访问、提高打算效率。
在惠每科技紧张利用的开源基座大模型ChatGLM上，基于英特尔® OpenVINO™ 工具套件打造的非量化方案能利用零拷贝（Zero-Copy）视图通报预分配的KV所需的内存副本空间，避免数据的多次拷贝，实现KV缓存加速；
也能引入第四代英特尔® 至强® 可扩展处理器内置的英特尔® AMX指令集，帮助ChatGLM等医疗大模型加速BF16/INT8打算，实现算子领悟，在担保精度的条件下提升运算效率、加速推理；
同时OpenVINO™ 工具套件供应了在HuggingFace上的Optimum接口，让优化效果可扩展到更多医疗大模型推理运用中。
总结来看，英特尔与惠每科技联手打造的两个大模型加速方案，成功帮助医疗机构用较低本钱支配了高质量大措辞模型，并且为更多准备“入局”的同行们供应了一套完全教程。
更关键的是，本次互助也让我们看到了一个事实：大模型演习推理并非唯GPU一种解法，CPU也可以作为大模型在行业落地的平台。
CPU，大模型的另一种解法或许很多人一提到大模型，刻板印象每每会是“堆GPU”。
但事实上，英特尔在通过自身的实践在证明——CPU，亦是一种解法。
例如在我们耳熟能详且经典的OCR（光学字符识别）领域，在英特尔第四代至强® ️可扩展处理器的加持之下，相应延时指标在原有根本上足足提升达25倍！
△数据来源：英特尔互助伙伴
再比如媒体娱乐场景中，尤其在AMX加速引擎加持下，英特尔能帮助个性化内容推举速率提升达6.3倍；零售行业里，能将视频剖析速率提升高达2.3倍，还有像工业毛病检测、医疗做事也都能从容应对。
即便是在生命科学和医药等前沿探索领域，CPU也已经成为不容忽略的存在：乃至在某些场景下的表现效果比GPU还要好。
而这些案例，也只是英特尔CPU在大模型时期表现中的一隅；更主要的应该是英特尔在过去一段韶光和未来，所坚持的 “走法”：不仅重视硬件产品性能的提升，对付软件优化和打造生态系统同样付出大量心血，给用户供应全流程支持。
这也是为什么在今年的Intel Innovation 2023上，英特尔敢于喊出“AI everywhere（让AI无处不在）”的口号；为什么在12月中旬即将发布的新一代至强® 可扩展处理器、产品和加速方案，充斥着“AI”和“大模型”的味道。
总而言之，CPU巨子英特尔，在大模型时期之下确实在开辟着分歧凡响的路数。
至于新一代至强® 可扩展处理器和其他产品又会给大模型带来若何的性能提高，也是值得期待一波的。
— 完 —
量子位 QbitAI · 头条号
关注我们，第一韶光获知前沿科技动态签约
