美国留学

据韩联社3月6日报道，韩国科学技术信息通信部6日宣布，PIM半导体研究中心和人工智能半导体研究生院柳会俊教授研究团队韩国科学技术院（KAIST）通过了三星电子的28纳米工艺。开发了核心人工智能（AI）半导体技术“Complementary-Transformer”，可以超高速处理大型语言模型（LLM），同时最大限度地降低功耗。

图片来自：韩联社

此次开发的AI半导体硬件单元是DNN和SNN相结合的神经网络架构，可以降低输出单元的功耗，并采用LLM参数的压缩技术。 GPT-2巨型模型的参数从7.08亿减少到1.91亿，用于翻译的T5模型的参数从4.02亿减少到7600万。通过这种压缩，从外部存储器加载语言模型参数的功耗已成功降低了70%。其功耗是NVIDIA A100 GPU的1/625，同时实现了使用GPT-2模型的语言生成0.4秒和使用T5模型的语言翻译0.2秒的高速运行。生成语言的准确度降低了1.2个分支系数。 （较低意味着语言模型学得更好）。

Hoejun Yoo教授表示：“神经拟态计算是设备端人工智能的核心技术，这是一项连IBM、英特尔等公司都无法实现的技术。我们很自豪能够成为世界上第一个使用超低功耗的技术运行大型模型的神经形态计算。”

（编译：天荣）