模型评测专家 at Meshy AI in Shanghai

负责音视频生成大模型的评测与质检工作，涵盖 Benchmark 建设、评测方案设计、主观质量评估、评测质量管理及专业报告输出，保障评测时效与质量，为模型迭代和产品优化提供依据。
1. 评测体系建设与迭代：结合技术发展、行业变化及真实创作需求，持续完善 Benchmark、评测维度、评分标准、指标权重和测试用例；沉淀分级标准、正反样例及验收流程，提升评测体系的覆盖度、区分度与可执行性。
2. 音视频主观质量评测：对模型生成内容开展专业评审，覆盖视频的语义遵循、画质、美学构图、镜头语言、叙事逻辑、人物表演、运动合理性、时空连续性，以及音频的音质、音色、台词表达、节奏和音画匹配等维度；将主观感受拆解为具体、可解释、可复测的问题，判断其对内容可信度和创作可用性的影响。
3. 评测方案设计与质量管理：参与制定并执行评测方案，设计覆盖单镜头、多镜头叙事、多角色互动、复杂运动及声画协同等场景的测试集；开展评测人员培训、试评校准、抽检与争议样本复核，保障标注质量和评测结论的一致性、准确性。
4. 评测数据分析与优化跟进：整理和分析评测数据，比较不同模型版本、场景及能力维度下的效果变化，识别共性问题与典型失效模式；输出量化结果、典型案例和专业评测报告，协同算法、产品与数据团队开展问题分析，提出优化建议并跟进复测验证。
5. 竞品研究与线上效果分析：持续跟进行业主流音视频及多模态生成、理解模型的能力变化，从用户体验和创作需求出发开展竞品评测、线上效果分析及专项研究，明确不同模型的优势、短板与适用场景，为模型迭代和项目决策提供参考。
6. 评测流程与效率优化：主动使用 AI 工具及数据处理方法，提升样本整理、问题归类、数据分析和报告产出效率；持续沉淀评测规范、标注指南与案例库，支持规模化评测和多版本并行交付。

1. 本科及以上学历，数字媒体艺术、美术、设计、动画、影视编导、导演、摄影、录音艺术、技术美术，或计算机、人工智能、数据分析等相关专业优先。
2. 具备良好的审美判断力和视听语言理解能力，能够对音视频内容质量作出有依据的专业判断；熟悉画质、美学构图、镜头语言、叙事逻辑、人物表演、运动合理性、音质、音色、节奏、音画匹配等评价维度，并在其中至少一个方向具备较深入的理解或实践经验。
3. 具备 AIGC 创作实践经验，熟悉从创意构思、Prompt 设计、素材准备、模型生成、结果筛选、后期调整到成片交付的完整流程；能够结合实际创作需求，识别影响生成结果可用性的关键问题。
4. 熟悉并持续使用主流文生图、文生视频、多模态大模型或音频生成工具，能够通过调整提示词、参考素材和生成流程分析结果变化；具备多工具对比使用经验，能够清晰说明不同模型的效果差异、优势短板与适用场景。
5. 具备较强的主观判断和结构化分析能力，能够区分个人偏好、风格差异与质量缺陷，将主观视听感受转化为可观察、可分级、可复核的评价标准，并清晰表达判断依据、问题边界和改进优先级。
6. 具备良好的数据敏感度、文档表达和跨团队沟通能力，能够输出评测方案、标注规范、质检报告及评测报告，与算法、产品、数据和标注团队高效协同，推动问题解决。
7. 学习能力强，工作细致严谨，具备质量意识、时间管理和项目推进能力；能够适应多轮模型迭代、批量样本评测及紧急交付，在高频评测中保持判断标准与交付质量稳定。

加分项
1. 有 AI 算法测试、数据标注、评测体系建设、标注 POC 或版本验收经验，能够独立参与标准制定、质量校准和评测分析。
2. 有影视、动画、广告、游戏等内容制作经验，或具备完整的 AIGC 项目交付经验；能够提供代表作品或项目案例，并说明个人承担的工作。
3. 有音视频或多模态模型竞品评测、Benchmark 建设、专项能力测试经验，对生成模型的能力边界与常见问题有系统认识。
4. 具备 Python、SQL、数据处理、自动化评测脚本或可视化分析能力，或能够熟练使用 AI 工具提升评测与数据分析效率。