A1--范雨欣--面向行业智能体评测的高质量数据合成技术.pdf

1、范雨欣蚂蚁集团行业技术团队算法工程师范雨欣蚂蚁集团 算法工程师蚂蚁集团行业技术团队算法工程师，负责行业智能体评测工作。主要研究方向为合成数据与数据质量，致力于为智能体构造全流程提供海量多样化高质量数据支撑。目录CONTENTS行业智能体评测流程及痛点分析0102 Synthi 数据合成框架个性化数据合成03未来展望04PART 01行业智能体评测流程及痛点分析增长投资技术Trends-Artificial Intelligence（BOND,2025.5）可量化地跟踪领域进展多个模型之间的对比评测训练/微调过程中的进展1行业智能体政务助手出行助手行业作为支付宝的业务先锋，积极与外部机构深度合作

2、，在 政务民生、出行酒旅、物流 行业为用户提供智能化的服务。就业AI知识问答、政策解读AI访谈、智能简历出行问答、旅游规划评测方法演进路径2-5数据质量决定信度！高质量数据为何重要评测数据面临的挑战传统方式难以支撑高质量Agent评测PART 02Synthi 数据合成框架合成数据介绍由算法生成、模拟真实分布的人工数据Gartner预测：到2028年，合成数据预计将占人工智能数据的80%，相比2024年的20%有显著提升合成数据的技术路径演进演进趋势：可控性 自然度 多样性 复杂性6主流合成方式面临困境7Synthi：工程化数据流水线挑战：通用框架 个性化输出PART 03个性化数据合成ste

3、p模板库设计：个性化合成三阶闭环从无到有从粗到精从生成到验证数据生成场景1:评测数据数据生成场景2:Planning训练数据plannertools复杂任务分解tools调用景点推荐酒店推荐餐饮推荐天气查询query 理解 规划 抽参 执行 label数据生成场景2:Planning训练数据数据治理：高效去重89PART 04未来展望感谢聆听关注公众号1.Trends-Artificial Intelligence Link2.MedBench:A Comprehensive,Standardized,and Reliable Benchmarking System for Evaluatin

4、g ChineseMedical Large Language Models Link3.TravelPlanner:A Benchmark for Real-World Planning with Language Agents Link4.GAIA:a benchmark for General AI Assistants Link5.The Berkeley Function Calling Leaderboard(BFCL):From Tool Use to Agentic Evaluation of Large LanguageModels Link6.Live LLM-Synthetic-Data Papers Link7.Distilabel:An AI Feedback(AIF)framework for building datasets with and for LLMs Link8.A survey on dataset quality in machine learning Link9.From Crowdsourced Data to High-Quality Benchmarks:Arena-Hard and BenchBuilder Pipeline Link