
2024年12月20日,神州数码旗下神州问学居品在arXiv上发布了一篇名为《Adaptable and Precise: Enterprise-Scenario LLM Function-Calling Capability Training Pipeline》的论文。该筹谋专注于构建一个顺应性强且精确的企业场景大型谈话模子(LLM)功能调用才能覆按经过,大约更好地运转AI智能体应用。跟着企业对东谈主工智能贬责决议的需求日益复杂化和具体化,这一覆按经过旨在进步大模子在特定业务环境下的反馈才能和操作成果,通过定制化的覆按让模子大约更好地一语气和实施企业级的任务教唆。这篇论文代表了神州问学在鼓动AI手艺更靠近本色应用、为企业提供更具针对性的智能工作方面所作出的死力。
论文作家:曾冠程、丁文韬、徐贝凝、张弛、韩文强、李刚、莫晶晶、邱鹏旭、陶心然、汪涛、胡浩文(通信)
在目下数字化的企业中,各式API接口构成了业务的中枢,奈何高效把握这些金钱以提高操作成果是企业靠近的主要挑战。通用的LLM(大谈话模子)虽在一般功能调用任务中发扬不俗,但在精熟化企业场景下,频发的打算资源瓶颈和功能调用精度问题仍待贬责。基于此,神州问学提倡需要一种高效的覆按活水线,专为企业制定,以闲静其特定需求。
图1:企业场景函数调用大型谈话模子的举座覆按经过
场景数据合成与增强
在生成式AI时间,AI智能体通过调用函数器具(如API、算法、代码经过等)来已毕复杂任务的解析与实施,并与企业系统整合以进步运营成果。相关词,关于专考场景,开源或商用的大模子由于特定场景的覆按数据的局限性,在提供准确、巩固的函数调用教唆方面存在显着不及,主要体现在函数认知、选用、参数填写及使用场景识别上的造作。这不仅影响了任求实施的准确性,还导致了资源毒害和反馈速率放慢等问题,为了贬责这些问题,需要针对专考场景进行特定的数据合成。基于少许的确实种子数据自动化生成高质地、各样化的覆按集,从而让模子赢得顺应特定业务环境的才能。这种行为不仅能克服数据稀缺的问题,还能显耀改善模子的专考场景适用性和经济效益。
在数据合成与增强阶段,神州问学使用14个责任流集会生成了一套完好意思的覆按数据。这些数据包括1260个全自动生成的样本和1035个东谈主工标注增强样本,确保了模子大约在本色业务中精确调用对应器具,索求正确的参数。数据的各样性和衡量大幅进步了模子的泛化才能,使其能更好地顺应不同的业务需求。
图2:14种数字东谈主力资源场景器具的数据量和离别
LoRA微调:资源优化的贬责决议
在模子微调阶段,神州问学遴荐了Qwen2.5-Coder-7B-Instruct模子动作基础模子,并通过LoRA行为在四个24GB VRAM的GPU上进行微调。LoRA(Low-Rank Adaptation)行为不仅减少了参数过多的问题,还显耀裁汰了打算资源的铺张,使得中微型企业也能粗心包袱模子覆按所需的资源。这种行为在约五小时的覆按后,微调模子在评估中发扬优异,结构完好意思性、器具遴荐准确性和参数输入准确性均跳跃了GPT-4o。
表1:不同基础模子对覆按性能的影响
量化模子性能:精确评估器具遴荐与调用
在评估模子性能时,神州问学采用了基于AST的行为,对模子生成的函数调用教唆进行迟缓认知。这一行为不仅灵验评估了模子的结构完好意思性、器具遴荐准确性和参数输入准确性,还通过混浊矩阵分析,进一步优化了器具功能描摹,提高了模子的举座发扬。此外,评估行为还具备多方面上风,包括无需本色实施调用教唆、高效考证输出戒指等,这些齐确保了评估过程的全面和高效。
瞻望异日:多界限的应用后劲
神州问学的这一立异贬责决议,不仅在DHR场景中取得了显耀见效,还展示了其在其他专科界限的世俗应用后劲。无论是集成边际成立中的边际模子营救会诊系统,还是为组织内的超等职工提供能源,这一贬责决议齐具备广泛的应用出息。异日,通过引入数据反馈模块,系统将大约麇集用户与代理当用的交互数据,自动进行数据标注并握续迭代优化模子,进一步增强企业的智能化水平。
神州问学通过其功能调用才能覆按活水线开云(中国)Kaiyun·体育官方网站-登录入口,不仅贬责了企业智能化转型中的本色贫窭,还为企业提供了经济高效的模子覆按行为。这一立异贬责决议的告成应用,必将鼓动更多企业已毕智能化、高效化的业务运作,开启企业智能化发展的新旅途。