1.О передаче стилей текста с помощью языковых моделей с масками стилей(arXiv)
Автор: Шаран Нарасимхан, Пуджа Шекар, Суводип Дей, Маунендра Санкар Десаркар
Аннотация. Перенос стиля текста (TST) осуществляется с помощью таких подходов, как распутывание скрытого пространства, потеря согласованности циклов, редактирование прототипа и т. д. Подход редактирования прототипа, который, как известно, весьма успешен в TST, включает в себя две ключевые фазы: а) маскирование токенов, связанных с исходным стилем, и б) реконструкция этого замаскированного предложения исходного стиля, обусловленного целевым стилем. Мы следуем аналогичному методу преобразования, в котором мы переносим более сложную задачу TST с прямым источником в целевую задачу в более простую задачу Style-Masked Language Model (SMLM), где, как и в случае с BERT \cite{bert}, целью нашей модели является теперь, чтобы восстановить исходное предложение из его версии с маской стиля. Мы естественным образом приходим к механизму SMLM, формулируя методы редактирования/преобразования прототипа в вероятностной структуре, где TST сводится к оценке гипотетического параллельного набора данных из частично наблюдаемого параллельного набора данных, где предполагается, что каждый домен имеет общий скрытый стиль, замаскированный до. Чтобы создать этот априор с маской стиля, мы используем «Объяснимое внимание» в качестве нашего выбора атрибуции для более точного шага маскирования стиля, а также вводим экономичный и точный метод «Атрибуция-избыток» для определения положения масок из любого произвольная модель атрибуции за время O(1). Мы эмпирически показываем, что этот негенерационный подход хорошо соответствует критериям «сохранения содержания» для такой задачи, как TST, даже для такого сложного стиля, как манипулирование дискурсом. Наша модель Style MLM превосходит сильные базовые показатели TST и находится на одном уровне с современными моделями TST, которые используют сложную архитектуру и порядки большего количества параметров.
2. Уроки начальной загрузки и вознаграждения за пошаговое усиление: полуконтролируемая платформа для переноса стиля текста(arXiv)
Автор:Чжэнъюань Лю, Нэнси Ф. Чен
Аннотация . Перенос стиля текста является важной задачей при создании управляемого языка. Контролируемые подходы подтолкнули к повышению производительности при переписывании, ориентированном на стиль, например при преобразовании формальностей. Однако проблемы остаются из-за нехватки крупномасштабных параллельных данных во многих областях. Хотя неконтролируемые подходы не полагаются на аннотированные пары предложений для каждого стиля, они часто страдают от проблем нестабильности, таких как сбой режима или ухудшение качества. Чтобы воспользоваться преимуществами как контролируемых, так и неконтролируемых парадигм и решить проблемы, в этой работе мы предлагаем полуконтролируемую структуру для передачи стиля текста. Во-первых, процесс обучения начинается с наблюдения, управляемого автоматически построенными псевдопараллельными парами с использованием лексических и семантических методов. Затем модель учится на немаркированных данных с помощью подкрепления. В частности, мы предлагаем улучшить градиент политики от последовательности к последовательности за счет пошаговой оптимизации вознаграждения, предоставления детализированных сигналов обучения и стабилизации усиленного процесса обучения. Экспериментальные результаты показывают, что предлагаемый подход обеспечивает современную производительность на нескольких наборах данных и обеспечивает эффективную генерацию с минимальным объемом 10% обучающих данных.
3. Такие разные, но такие похожие! Ограниченная неконтролируемая передача стилей текста(arXiv)
Автор: Абхинав Рамеш Кашьяп, Деваманью Хазарика, Мин-Йен Кан, Роджер Циммерманн, Суджанья Пориа
Аннотация. В последнее время стала популярной автоматическая передача текста между доменами. Одной из его целей является сохранение семантического содержания текста при переводе из исходного в целевой домен. Однако он явно не поддерживает другие атрибуты между исходным и переведенным текстом, например, длину текста и описательность. Сохранение ограничений при передаче имеет несколько последующих приложений, включая увеличение данных и устранение смещения. Мы представляем метод такой ограниченной неконтролируемой передачи стиля текста, вводя две дополнительные потери в семейство моделей генеративно-состязательной сети (GAN). В отличие от конкурирующих потерь, используемых в GAN, мы вводим кооперативные потери, когда дискриминатор и генератор взаимодействуют и уменьшают одни и те же потери. Первая - это потеря контраста, а вторая - потеря классификации, направленная на дальнейшую упорядочение скрытого пространства и сближение похожих предложений в разных областях. Мы демонстрируем, что такое обучение сохраняет лексические, синтаксические и доменные ограничения между доменами для нескольких эталонных наборов данных, включая те, в которых изменяется более одного атрибута. Мы показываем, что дополнительные кооперативные потери улучшают качество текста как в соответствии с автоматическими, так и с человеческими мерами оценки.
