👁‍🗨 Как мы прокачали пайплайн обучения моделей Cotype На днях вышла в свет наша новая и самая мощная модель в семействе Cotype – Cotype Pro 2. В процессе ее разработки мы применили усовершенствованный подход к оценке языковых моделей. Его мы выработали в рамках исследования по автоматизированному сравнению LLM методом Side-by-Side – с применением LLM-оценщиков. Об этом наша новая статья на Хабре: https://vk.cc/cKrrWl Рассказываем: ▪ Как мы трансформировали метод Side-by-Side и что придумали, чтобы повысить корреляцию результатов LLM-оценщика с результатами оценки экспертов. ▪ Какие известные LLM, которых мы использовали в качестве судей, оказались наиболее близки к человеческим суждениям. ▪ Как можно нивелировать влияние позиционного сдвига с помощью нехитрого изменения в промт. А ещё — выложили лидерборд на HuggingFace, где можно сравнить коммерческие и open-source LLM. #MTSAI_Хабр #LLM #Cotype