AW
Как думаете, есть шансы?
Size: a a a
2020 December 04
A
Как думаете, есть шансы?
Есть шанс, что они увидят Вас тут ;))
ES
Я сейчас подписан на …
Анонимный опрос
0%
@natural_language_processing, да, я понимаю, что опрос среди участников этого чата
0%
Канал #nlp в ODS
0%
@{dlinnlp,dlinnlp_discuss} — МФТИ, DeepPavlov, Лялин
0%
@nlp_ru
0%
Остальное: @nlp_spb, @nlp_seminar, @nlp_weekly, @towards_nlp
Спасибо, Александр)! 🤝🤝
ES
Sergei Markoff
Не за что) Мы сейчас используем меньше половины «Кристофари» (512 карточек, вроде), но, вроде, по прикидкам с такими темпами к НГ примерно должна доучиться.
Ахренеть)). Всему миру потом расскажете итог)!.
Удачи и терпения!!!!!))
Удачи и терпения!!!!!))
A
Никаких эмоций. мне понравилось, что система РПЦ точно репрезентовала как Российская православная церковь.
Это не точно, так как РПЦ это русская православная церковь, а не российская;)
MT
Sergei Markoff
13B во вторник начала учиться.
А на каком объеме данных учитесь? И что за данные?
AW
Sergei Markoff
Не за что) Мы сейчас используем меньше половины «Кристофари» (512 карточек, вроде), но, вроде, по прикидкам с такими темпами к НГ примерно должна доучиться.
Спасибо вам за модель, очень крутая
AW
Есть шанс, что они увидят Вас тут ;))
)
2020 December 05
SM
А на каком объеме данных учитесь? И что за данные?
Примерно то же, что я описывал тут https://habr.com/ru/company/sberbank/blog/524522/#comments
Ключевые отличие: 1) починены html-entities, 2) докинуты arXiv и Pubmed Central, 3) докинуты датасеты символьной логики кое-какие, 4) немного улучшена фильтрация, теперь она на основе оценки энтропии, в итоге выкинулся разный флуд и мусор.
Ключевые отличие: 1) починены html-entities, 2) докинуты arXiv и Pubmed Central, 3) докинуты датасеты символьной логики кое-какие, 4) немного улучшена фильтрация, теперь она на основе оценки энтропии, в итоге выкинулся разный флуд и мусор.
SM
Около 1Тб общий объём датасета.
MT
Sergei Markoff
Около 1Тб общий объём датасета.
Спасибо за информацию!
SA
Для тех, кто интересуется языками, — сегодня идет фестиваль языков https://docs.google.com/spreadsheets/d/149Q4MVNqmq-_PVjXCZLltoIgiGpzxJCKl_u7say5xAk/htmlview?ts=5fca3be3&urp=gmail_link&pru=AAABdlYzzjQ*RbUZLqPHYnHIls-YrlvYdQ#gid=925135537
DK
Мне тут стало интересно провести инвентаризацию пабликов про NLP на русском. Дополняйте:
- https://t.me/natural_language_processing — этот чат, изначально чат пользователей проекта Natasha
- https://ods.ai/ #nlp
- https://t.me/dlinnlp2020spring https://t.me/dlinnlp https://t.me/dlinnlp_discuss — МФТИ
- https://t.me/nlp_seminar https://t.me/nlp_spb — Вышка
- https://t.me/NLP_weekly — ШАД
- https://t.me/nlp_ru
- https://t.me/towards_nlp
- https://t.me/Pullenti
- https://vk.com/mathlingvo
- https://www.facebook.com/dialogue21 — конференция Диалог
- https://t.me/liliyanews
- https://t.me/natural_language_processing — этот чат, изначально чат пользователей проекта Natasha
- https://ods.ai/ #nlp
- https://t.me/dlinnlp2020spring https://t.me/dlinnlp https://t.me/dlinnlp_discuss — МФТИ
- https://t.me/nlp_seminar https://t.me/nlp_spb — Вышка
- https://t.me/NLP_weekly — ШАД
- https://t.me/nlp_ru
- https://t.me/towards_nlp
- https://t.me/Pullenti
- https://vk.com/mathlingvo
- https://www.facebook.com/dialogue21 — конференция Диалог
- https://t.me/liliyanews
DK
Это наш канал про продукты
НК
Sergei Markoff
Около 1Тб общий объём датасета.
Любопытно, что обычный человек и 1Гб не прочитывает за десятилетия, а шарит в бою так сказать.
EB
Любопытно, что обычный человек и 1Гб не прочитывает за десятилетия, а шарит в бою так сказать.
У человека особенность, обычно в течение жизни он движется от низкоуровневых источников инфы к высокоуровневым (в широком смысле). С букваря к простым текстам, от простых текстов к средним и оттуда к сложным / специализированным. Машины же обучают на всех текстах вперемешку, насколько я понимаю.
EB
Думаю, если инфу выстроить иерархически и обучать машины поэтапно, это должно дать прирост "интеллектуальности" так сказать.
EB
Возможно, это уже делается, я просто не в курсе?
EB
По идее, такое разбиение может быть и автоматическим. Тексты выше по иерархии ссылаются на понятия ниже по иерархии, но не наоборот.