но, конечно, и задача не совсем "обычная"

+1 за sequence tagging, что-то похожее делает Grammarly для исправления орфографии и пунктуации в английском https://www.grammarly.com/blog/engineering/gec-tag-not-rewrite/

ну вообще, видимо, можно поизучать, что делали для задачи Automatic Diacritic Restoration

Всем большое спасибо за ценные идеи! Буду читать и пробовать!

Всем привет! Приглашаем всех поучаствовать в соревновании по симплификации предложений на русском языке. Что такое симплификация? Например, когда вы пытаетесь своей бабушке объяснить, чем занимаетесь – вы стараетесь не употреблять жаргона и специальных терминов, строить предложение, не используя сложных оборотов.
То есть на входе дается сложное предложение, а на выходе должно быть простое.
Соревнование начнется 15 февраля и продлится до 15 марта. Для русского языка нет доступного большого набора данных, поэтому мы предоставим небольшой валидационный датасет, а также переведенный англоязычный корпус. В качестве метрики качества будет использоваться SARI (полнота по n-граммам). Мы также приглашаем всех описать свой опыт участия в статье на конференцию Диалог. Ждем всех!

Репозиторий соревнования: https://github.com/dialogue-evaluation/RuSimpleSentEval

Страница соревнования:
https://competitions.codalab.org/competitions/29037

Чат:
https://t.me/rsse2021

🚀 Онлайн семинар по ML/DS от "SBERLOGA"  
⌚ Четверг 18 февраля, 19.00 по Москве
👨‍🔬 "Jounral club (Short talk club)" Семинар с несколькими короткими (10-15 минут) докладами.

Богдан Салып
"Удачные и неудачные попытки удержать GPT"  LogitProcessors в HuggingFace, форсированная генерация слов, GPT+NER, GPT+USE, настройка датасета под ключевые слова и куда двигаться дальше

Глеб Ерофеев (Lead ML Sbermarket)
"ML Хакатон-страйк"
Поделиться опытом как преуспеть в хакатонах.

Никита Варганов, Юрий Барамыков (Сбер)
Это команда Optimization Guys. Сегодня мы расскажем про наш опыт участия в хакатоне от ODS. Наша команда разрабатывала AutoML for dummies - AutoML решение для людей, которые не умеют программировать и вообще не разбираются в анализе данных. Юра расскажет про команду и процесс написания AutoML, а Никита расскажет про фреймворк streamlit - простейшее решение для создания web-приложений для работы с данными.

Ссылка на зум будет доступна ближе к началу доклада через чат  @sberlogadataclub - присоединяйтесь.
Записи докладов на ютубе:
https://www.youtube.com/watch?v=rMNA68wLAxk&t=15s - подписывайтесь !
Избранные вакансии в @sberlogajobs

А есть ли системы, которые из русского текста формулируют вопрос?

https://github.com/orzhan/rugpt3-question-generation
Та часть, которая multiple choice, генерирует в том числе вопросы

Можно еще попробовать zero shot на том же rugpt3, в качестве prompt текст + строка «Вопрос: «

Всем привет!
В рамках Dialogue Evaluation 2021 с 8 февраля по 12 марта мы проводим соревнование по кластеризации, выбору и генерации заголовков для новостей.
Соревнование состоит из 3 дорожек. В рамках первой дорожки нужно определить, относятся ли 2 новости к одному событию, в рамках второй - выбрать лучший заголовок для кластера, а в рамках третьей - попытаться по текстам новостей из кластера сгенерировать лучший заголовок. Для первой дорожки датасет готов и соревнование уже идёт, для второй и третьей всё начнётся на следующей неделе.
По результатам участия можно будет подать статью на конференцию Диалог.

Более подробное описание по ссылке.
Соревнование: https://competitions.codalab.org/competitions/28830
Чат в Telegram: https://t.me/dialogue_clustering

Всем привет, а есть русские датасеты для суммаризации?

Как в тему то про суммаризацию лол

Есть лента https://github.com/yutkin/Lenta.Ru-News-Dataset
И Россия сегодня https://github.com/RossiyaSegodnya/ria_news_dataset

Пасибо

Мб кто-то знает и ещё, будет тоже интересно

👌

У меня есть сет vc.ru но он такой себе

Привет! Недавно в каком-то из ML-чатиков проскакивала ссылка на некую красивую компанию с красивым сайтом, которая предоставляет разработку ML-моделей для бизнеса под ключ, берет стажеров/интернов, и кажется, связана с одним из ВУЗов (МФТИ?). По такому размытому описанию можно сделать извлечение сущности? 🙂 Спасибо )

Похоже на "MIL. Лаборатория машинного интеллекта"

Да, это оно ) Благодарю ) Работает NLP ))