科技、数字和网络新闻都成为公众关注的焦点。目前,互联网、科技和数字与我们的生活密切相关。我们应该为自己收取更多的费用,掌握更多的知识,以便掌握更多的信息,不断提高自己的个人能力。边肖今天整理了一篇关于互联网技术数字化方向的文章,希望大家喜欢。
亚马逊宣布将把人工智能处理移植到自己定制的AWS推理芯片上。这意味着亚马逊最大的推理服务(比如语音助手Alexa)将由更快更专业的芯片来处理,而不是NVIDIA的多用途GPU。
亚马逊已经将Alexa语音助手处理的大约80%迁移到弹性计算云(EC2) Inf1实例。与使用传统GPU的G4实例相比,Inf1实例的吞吐量提高了30%,成本降低了45%。亚马逊认为它们是推断自然语言和语音处理工作量的最佳例子。
Alexa是这样工作的:实际的智能音箱(或音箱)什么都不会做,所有的任务都是由AWS处理器完成的。或者更准确的说,一旦Echo设备上的芯片检测到唤醒字,系统就会启动。它开始将音频实时传输到云中。在数据中心的某个地方,音频被转换成文本(这是一个推理的例子)。然后从文本中提取意思(另一个推理例子)完成所有需要的操作,比如获取当天的天气信息等等。
Alexa完成你的请求后,她需要把答案传达给你。然后,脚本被转换成一个音频文件(另一个推理示例),并被发送到您的回声设备。回放文件,这样你就可以决定旅行时是否带伞。显然,推理是工作的重要组成部分。毫不奇怪,亚马逊已经投入了数百万美元来制作完美的推理芯片。
推理芯片由四个神经元组成。每个都实现了“高性能脉冲阵列矩阵乘法引擎”。每个神经元细胞或多或少地由大量以线性和独立方式处理数据的小数据处理单元组成。每个推理芯片也有一个巨大的缓存,这增加了延迟。
版权声明:内容来源于互联网和用户投稿 如有侵权请联系删除