欢迎光临
我们一直在努力

AMD为锐龙AI Max带来更强AI支持 可运行128B大模型

  AMD在年初的CES 2025上推出了锐龙AI Max系列处理器,拥有2个Zen 5架构CCD最多16个内核,并拥有最多40组RDNA 3.5架构CU的超大核显,并配备256位的LPDDR5X内存控制器,尽管很多用户对这款产品的期待是更小体积的游戏机产品,但是从AMD自身的规划以及厂商的反应来看,该系列处理器似乎更多的被计划用于本地AI以及大模型等需求。

  显然AMD对于AI更加重视,现已宣布对锐龙AI Max的可变显存进行重大升级,即将推出的Adrenalin Edition 25.8.1 WHQL驱动程序可以让配备128GB内存的锐龙AI MAX设备划分96GB作为显存使用,这让它能够运行128B参数的大模型。

  AMD表示已经成功使用锐龙AI Max+ 395处理器成功在本地运行Meta的Llama 4 Scout 109B模型,成为首款成功运行该模型的Windows AI处理器,并支持视觉和MCP,Llama Scout采用混合专家模式,所以每次只有17B处于活动状态,所以可保持较快的输出,最多可实现15tokens/s的生成速度。

  锐龙AI Max处理器对大模型提供了广泛的支持,从最小的1B微型模型到最大128B的模型,支持包括GGUF在内的多种量化格式,使其能够灵活地适用于不同场景。这次升级还增大了对大型上下文大小的支持,大多数设置的最大token数约为4096个,但这次升级后锐龙AI Max平台可以扩展至256000个token,但需要开启Flash Attention功能,启用KV Cache Q8,这运行在上下文中保存大量token,使其支持更高级的任务,例如解析和汇总大型文档的内容。

  当然,上述功能都需要你拥有的锐龙AI Max搭载了128GB内存,特别是考虑到该系列处理器使用了板载的LPDDR5X内存的情况下。目前拥有这类设备的用户可以在AMD官网上下载预览版驱动提前尝鲜。

赞(0)
未经允许不得转载:粤佳机械 » AMD为锐龙AI Max带来更强AI支持 可运行128B大模型