2023-ChatUniTest: A Framework for LLM-Based Test Generation

[skyleaworlder]

https://arxiv.org/pdf/2305.04764

Yinghao Chen Zhejiang University China [email protected]
Zehao Hu Zhejiang University China [email protected]
Chen Zhi∗ Zhejiang University China [email protected]
Junxiao Han Hangzhou City University China [email protected]
Shuiguang Deng Zhejiang University China [email protected]
Jianwei Yin Zhejiang University China [email protected]

FSE' 24

from arxiv. I need to graduate on time!

[skyleaworlder]

流程如下：

1. parsing：解析待测目录下的所有 java 文件，获得 AST；
2. analysis：这里引用了 lin yun 的 EvoObj，说是要构造一个 object construction graph；
3. adaptive focal context：自适应机制，尽可能的提供更多信息，但是不超出 token limits；同时，随着要测试的内容不同，提供不同的信息；
4. syntactic validation：用 javaparser 来校验；文中用 rule-based repair 修复；
5. compile validation：可能有 missing package 或者 unresolved symbol，需要增加 import stmts 来解决；文中用 rule-based repair 修复；
6. runtime validation：文中用 llm-based repair 修复。

https://github.com/ZJU-ACES-ISE/ChatUniTest

[skyleaworlder]

总的来说，本文考虑了 syntatic error & compile error & runtime error 以及用规则或者 llm 做自动修复。

本文在 prompt 构造上有一些小巧思，自适应的 prompt 长度以及基于 OCG 的构造方式。