ai芯片吧 关注:19贴子:51
  • 4回复贴,共1

北京启明创想投资管理集团有限公司最强AI芯片助力人工智能!

只看楼主收藏回复

北京启明创想投资管理集团有限公司最强AI芯片助力人工智能!


IP属地:山东1楼2024-03-19 10:54回复
    号称今年全球头号人工智能(AI)领域开发者大会的英伟达2024 GTC AI大会于美东时间3月18日周一拉开帷幕。今年是英伟达时隔五年首次让年度GTC重回线下,也是此前分析认为英伟达要“拿出点真家伙”的AI盛会。
      当地时间周一下午,英伟达创始人兼CEO黄仁勋在美国加州圣何塞SAP中心进行主题为“面向开发者的1#AI峰会”(1#AI Conference for Developers)演讲。黄仁勋介绍了运行AI模型的新一代芯片和软件。英伟达正式推出名为Blackwell的新一代AI图形处理器(GPU),预计将在今年晚些时候发货。


    IP属地:山东2楼2024-03-19 10:54
    回复
      据报道,英伟达CEO黄仁勋在GTC宣布,将在其企业软件订阅中增加一款名为NIM的新产品。NIM可以更容易地使用旧的英伟达GPU进行推理,并允许公司继续使用他们已经拥有的数亿个英伟达GPU。该产品将使新人工智能模型的初始训练推理所需的算力更少。该公司的策略是让购买英伟达服务器的客户注册英伟达企业版,每个GPU每年收取费用4500美元。黄仁勋表示,该软件还将帮助在配备GPU的笔记本电脑上运行人工智能,而不是在云服务器上运行。此外,英伟达CEO黄仁勋宣布推出下一代人工智能超级计算机,英伟达还发布6G研究云平台,以便用AI技术推进无线通信。


      IP属地:山东3楼2024-03-19 10:55
      回复


        IP属地:山东4楼2024-03-19 10:56
        回复
          据悉,英伟达称,Blackwell拥有六项革命性的技术,可以支持多达10万亿参数的模型进行AI训练和实时LLM推理:
            全球最强大的芯片:Blackwell架构GPU由2080亿个晶体管组成,采用量身定制的台积电4纳米工艺制造,两个reticle极限GPU裸片将10 TB/秒的芯片到芯片链路连接成单个统一的GPU。
            第二代Transformer引擎:结合了Blackwell Tensor Core技术和TensorRT-LLM和NeMo Megatron框架中的英伟达先进动态范围管理算法,Blackwell将通过新的4位浮点AI支持双倍的计算和模型大小推理能力。
            第五代NVLink:为提高数万亿参数和混合专家AI模型的性能,最新一代英伟达NVLink为每个GPU提供了突破性的1.8TB/s双向吞吐量,确保最复杂LLM之间多达576个GPU之间的无缝高速通信。
            RAS引擎:Blackwell支持的GPU包含一个专用引擎,实现可靠性、可用性和服务性。此外,Blackwell架构还增加了芯片级功能,利用基于AI的预防性维护进行诊断和预测可靠性问题。这可以最大限度地延长系统正常运行时间,并提高大部署规模AI的弹性,使其能连续运行数周甚至数月,并降低运营成本。
            安全人工智能:先进的机密计算功能可在不影响性能的情况下保护AI模型和客户数据,并支持新的本机接口加密协议,这对于医疗保健和金融服务等隐私敏感行业至关重要。
            解压缩引擎:专用解压缩引擎支持最新格式,加快数据库查询,提供数据分析和数据科学的最高性能。未来几年,在企业每年花费数百亿美元的数据处理方面,将越来越多地由GPU加速。


          IP属地:山东5楼2024-03-19 10:57
          回复