微软新工具准确率达80%，程序员：真的栓 Q
微软宣布推出一种可以提高大型语言模型性能的新工具Jigsaw。“大型的预训练语言模型（如GPT-3、Codex等），可以被调整为从程序员意图的自然语言规范中生成代码。这种自动化模型有可能提高世界上每个程序员的生产力；但是，由于这些模型可能难以理解程序语义，因此所生成的代码的质量不能得到保证。”
根据介绍，Jigsaw部署了理解程序语法和语义的后处理技术，然后利用用户反馈来提高未来的性能；该工具旨在使用多模式输入为PythonPandasAPI合成代码。Pandas是数据科学中广泛使用的API，具有数百个用于manipulatingdataframes或具有行和列的表的函数。
微软方面称，其经验表明，随着这些大型语言模型演变为根据意图合成代码，Jigsaw可以在提高系统准确性方面发挥重要作用。
像OpenAI的Codex这样的大型语言模型正在重新定义编程领域。软件开发人员在解决编程任务时，可以为预期的代码片段提供英文描述，Codex可以用Python或JavaScript等语言合成预期的代码。但合成的代码可能不正确，甚至可能无法编译或运行。Codex用户有责任在使用代码之前对其进行审查。Jigsaw团队解释称，通过ProjectJigsaw，其目标是使部分审查自动化，以提高使用Codex等大型语言模型进行代码合成的开发人员的生产力。
微软认为Jigsaw可以“完全自动化”检查代码是否编译、处理错误信息以及测试代码是否产生开发人员希望输出的内容的整个过程。“Jigsaw将预期代码的英文描述以及I/O实例作为输入。通过这种方式，它将输入与相关的输出配对；并提供质量保证，即输出的Python代码将在提供的输入上编译并产生预期的输出。
”在其ICSE2022论文Jigsaw：LargeLanguageModelsmeetProgramSynthesis中，微软方面在PythonPandas上评估了这种方法。使用Jigsaw，用户可以提供对预期转换的英文描述、inputdataframe和相应的outputdataframe，然后让Jigsaw合成预期代码。
Jigsaw获取英语查询并使用适当的上下文对其进行预处理，以构建可以馈送到大型语言模型的输入。微软在实验中发现，Jigsaw可以在30%的时间内创建正确的输出。如果代码失败，那么修复过程在后处理阶段开始。
在后处理过程中，Jigsaw应用了三种变换来修复代码。这些转变中的每一个都是由他们在GPT-3和Codex中观察到的故障模式所激发的。而GPT-3和Codex失败的方式都类似，因此Jigsaw解决这些失败模式的后处理对两者都很有用。
微软在各种数据集上评估了Codex和Jigsaw(withCodex)，并测量了准确率。Codex给出了约30%的开箱即用的准确性，Jigsaw则将准确率提高到60%以上；通过用户反馈，准确率可提高到80%以上。接下来，他们将继续致力于完善Jigsaw，努力将在PythonPandasAPI上的经验推广到其他API和其他语言上；在通过自动化提高程序员生产力方面发挥重要作用。
对于微软推出会编程的AI，然后又让AI学会代码审核，如今准确率还达到80%，有网友表示：程序员们啊，本是同根生，相煎何太急。
来源：程序员那些事