工联网消息(IItime) 2024年4月15-26日,国际电信联盟电信标准分局第十六研究组(ITU-T SG16)于法国雷恩召开全体会议。由中国信息通信研究院(简称“中国信通院”)牵头的6个新立项申请顺利通过,分别是:
ITU-T F.FDM-AC-BK “Assessment criteria for foundation models: Benchmark”(基础模型的评估标准:基准测试),该标准由中国电信集团有限公司联合供稿,提供了基础模型评估中基准评测的参考架构、技术要求和评估方法,包括模型能力、测试数据集、测试方法以及测试工具四个部分。
ITU-T F.TE-RAG “Requirements and evaluation methods for retrieval augmented generation of large scale pre-trained model”(大模型检索增强生成技术要求与评估方法),该标准由南京新一代人工智能研究院有限公司联合供稿,围绕RAG全生命周期过程中的技术能力和应用能力,从知识库构建能力、检索能力、生成能力、优化能力、应用成熟度、应用稳定性等维度进行展开。
ITU-T F.TE-AIA “Requirements and evaluation methods of artificial intelligence agents based on large scale pre-trained model”(基于大模型的智能体能力要求与评估方法),该标准由南京新一代人工智能研究院有限公司和中国电信集团有限公司联合供稿,针对智能体产品和应用提出能力要求及评估方法,包括感知认知、规划、记忆、行动四个方面。
ITU-T F.TE-CG “Technical requirements and evaluation methods of AI based code generation in multimedia applications”(基于人工智能的代码生成技术要求和评估方法)基于《智能化软件工程技术和应用要求 第一部分:代码大模型》标准提出,围绕代码大模型相关的通用能力、专用场景能力和应用成熟度,主要从输入多样性、任务多样性、语言完备度、结果可接收性、结果准确度等维度,对代码大模型提出了全栈技术和管理要求。
ITU-T F.AICP-RM “Technical specification for artificial intelligence cloud platform: Resource management”(人工智能云平台技术规范:资源管理),该标准由之江实验室联合供稿,主要包含人工智能云平台资源管理模块的功能架构,以及资源管理、作业管理、调度管理、运维管理等的功能要求。
ITU-T F.DPLM-REM “Requirements and evaluation methods of data provision capability for large models in multimedia applications”(多媒体应用中大模型数据供给能力要求与评估方法),该标准由中国联合网络通信集团有限公司联合供稿,面向大模型的数据服务,提出参考框架、能力要求和评估方法。
此外,本次会议上还顺利完成4项标准文稿更新,包括:
ITU-T F.RA-GAI “Technical requirements and assessment methods of generative artificial intelligence enabled multimedia applications”(生成式人工智能对多媒体应用服务的技术要求和评估方法)。
ITU-T F.AICP-DA “Technical specification for artificial intelligence cloud platform Data annotation”(人工智能云平台技术规范:数据标注)。
ITU-T F.FC-AM “Functional capabilities for artificial intelligence development within the Al cloud platform: Automated machine learning”(人工智能云平台中面向人工智能开发的功能能力:自动机器学习)。
ITU-T F.FFMP “Framework for the foundation model platform”(基础模型平台框架)。