AI iPhone前奏?苹果发表论文,解决“在手机内存上运行大模型”
来源:华尔街见闻 这项新研究支持有限容量的设备运行内存2倍大小的LLM,GPU的推理速度可以提升数十倍。媒体称,苹果将生成式AI集成到iOS 18的计划或将加快推进。 AI iPhone要来了? 据媒体报道,近日,苹果发布了一篇论文,介绍了一种可以再超出可用DRAM容量的设备上运行LLM(大语言模型)的方法。 通过大幅提高内存使用效率,这项新研究支持有限容量的设备运行内存2倍大小的LLM,GPU的推理速度可以提升数十倍。 论文称,L...