🗓 HCI+NLP @ EMNLP 2025

🅰️ 4-9 ноября в Сучжоу в Китае проходит одна из знаковых конференций по - EMNLP 2025. Выходные на мероприятии посвящены воркшопам. И сегодня мы представляли (увы, тоже онлайн) нашу работу [1] на воркшопе HCI+NLP, тематика которого посвящена человеко-компьютерному взаимодействию с применением NLP.

🧑‍💻 Работа представляет попытку смоделировать восприятие программистом кода, сгенерированного LLM, в форме простого MDP. Такая модель может использоваться как синтетический фидбэк (например, для сценариев ), как метод оценки при ранжировании, фильтрации, оценке или в более сложных сценариях типа AI-as-a-judge. В условиях, когда ни лингвистические метрики [2] (работа тоже была представлена на EMNLP, но в 2022), ни тестовые метрики [3] не применимы напрямую, это становится еще более важным.

Ссылки
[1] Predictive Modeling of Human Developers’ Evaluative Judgment of Generated Code as a Decision Process
[2] Human perceiving behavior modeling in evaluation of code generation models
[3] Test-based and metric-based evaluation of code generation models for practical question answering