# GUI-CEVAL Foundation

Foundation任务是我们基于Mobile环境精心构建的多种基础能力的测试套件，包括感知、规划、反思与评估四个维度。为了便于统一测试，我们使用单选题形式构建测试。
`eval_foundation.py`为测试脚本，支持通过vllm部署模型进行测试，如需支持其他api模型，可以自行添加。
此外，我们使用`circularEval`策略进行测试，该策略会将测试选项循环4次，以保证测试结果的鲁棒性。

1. 修改`gpt_4o.py`的初始化参数；或者`vllm_model.py`的初始化参数。
2. 运行`eval_foundation.py`文件。
```bash
python eval_foundation.py \
    --json_path ROOT/gui_ceval/ocr.jsonl \
    --image_root ROOT/image \
    --result_path your_result_dir \
    --model_name your_deploy_model_name \
    --ip your_vllm_ip
```