AI 驱动的多模型评估工作台v0.1 Beta
测试多个模型，
让 AI 写评估报告
上传数据看板截图与模型产物，AI 自动识别硬指标、分析软维度、 输出专业结构化评估报告。把时间留给决策，而不是整理表格。
model-eval.studio/report
// AI 正在汇总 4 个模型的评估结果...
const report = {
ranking: ["sigma", "prism", "raven", "quartz"],
hardMetrics: { tools: 92%, latency: 2.4s, success: 98% },
softMetrics: { logic: A+, creativity: A, style: A- },
recommendation: "推荐主力模型：sigma"
}
报告生成完成 · 耗时 8.2s
Features
为 AI 评估而生的完整工具链
从看板截图识别到结构化报告输出，覆盖多模型对比评估的每一个环节。
硬指标自动识别
上传数据看板截图，AI 自动提取成功率、延迟、工具调用率等可量化指标，无需手动抄录。
多模型产物对比
为每个模型上传输出产物（代码、文档、JSON），AI 横向对比逻辑完整性、风格一致性、创意质量。
结构化评估报告
自动生成包含排名、评分矩阵、优劣势分析、推荐结论的专业 Markdown 报告，可导出 ZIP。
AI 对话助手
每个任务内置 AI 助手，随时提问评估维度定义、产物分析思路、报告修改建议。
团队协作共享
通过链接或邮箱邀请协作者，支持只读/编辑权限，团队共同完成评估、查看报告。
灵活导出
报告支持 Markdown/JSON 导出，产物支持 ZIP 打包下载，便于归档、二次分析与汇报。
Workflow
五步完成一次专业评估
01
任务设计
AI 辅助设计评测题目与评分标准，明确评估维度
02
任务信息
确认评估目标、用户画像、约束条件等背景信息
03
看板识别
上传执行过程截图，AI 自动提取硬指标数据
04
产物分析
上传各模型输出产物，AI 进行横向对比分析
05
评估报告
自动生成包含排名、评分、建议的结构化报告
FAQ
常见问题
支持哪些类型的评估任务？
目前支持编程类（CODING）和 Agent 类（AGENT）两种任务类型。可评估代码正确性、工具使用能力、多轮对话逻辑、创意产出等维度。
我的数据安全吗？
所有数据存储在 Neon Postgres 数据库中，传输全程 HTTPS 加密，会话使用 iron-session 加密存储。文件存储在 Vercel Blob，不与第三方共享。
需要配置自己的 AI 模型吗？
是的。在「设置」页面配置你的 AI 服务端点（支持 OpenAI 兼容接口）和 API Key，所有 AI 分析请求将通过你的配置发送。
一次评估通常需要多长时间？
取决于模型数量和产物复杂度。典型场景（3-5 个模型，含截图识别+产物分析+报告生成）通常在 1-3 分钟内完成。
可以自定义评分维度吗？
可以。在「任务设计」阶段，你可以定义自定义评测维度和评分标准，AI 将按照你的 rubric 进行评估和打分。