2.1.16.1. Расчет метрики качества переводов от LLM
Для того чтобы сгенерировать отчет с данными о количестве правок постредактуры перевода LLM, перейдите в проект, затем на вкладку Reports, которую можно найти вверху страницы. При переходе на эту вкладку автоматически откроется боковая панель, где можно выбрать необходимый тип отчета.

Для генерации отчета в поле Report Type выберите значение Edit distance, затем нажмите на кнопку Generate.
После этого в UI выведется следующая информация:
  1. Target - целевой язык проекта;
  2. Model - название модели, которая сделала перевод;
  3. Prompt - промпт, который использовался;
  4. Edit distance - общий процент правок по всему проекту.
Чтобы увидеть более детальный отчет, в котором будет информация по каждому сегменту с указанием процента внесенных редактором правок, где можно отсмотреть первичный перевод сегмента от LLM, а также его конечный вариант, измененный и подтвержденный редактором, можно скачать отчет в формате Excel. Для этого в правом боковом меню для генерации отчета нажмите на иконку “скачивания”.

При необходимости можно удалить сгенерированный отчет. Для этого нажмите на иконку “корзины” рядом с иконкой “скачивания”. При нажатии кнопки удаления запись об отчете, соответственно, будет удалена.
Для того чтобы сегмент попал в данный отчет, он должен отвечать следующим условиям:
  1. Сегмент должен быть переведен с помощью LLM.
  2. Сегмент должен быть подтвержден. Если сегмент был переведен через LLM, но не был подтвержден редактором, он также в отчет не попадает.
Для того чтобы в самом редакторе посмотреть через какую модель был сделан перевод определенного сегмента, зайдите в сам файл, в нижней части страницы в информационной панели перейдите на вкладку Activity. В ней, в поле LLM Model будет информация о модели, которая сделала перевод данного сегмента.