AZ
у меня задача как раз с твитами ассоциирована
а еще такой вопрос — в препроцессинге, конечно, убираются эмодзи. а есть ли что-то, что анализирует и их тоже? и, может быть, сарказм и иронию?
тут готовых решений не видела тоже
Size: a a a
2021 January 28
ВГ
вот посмотрите здесь https://colab.research.google.com/drive/1EY0eL8Dfj7EuvUyR0fhJ4OyutwW4IZhT?usp=sharing функцию
norm_chunk , она переводит фразу в именительный падеж.
там используется комбинация spacy + pymorphy для повышения качества работы по сравнению с просто pymorphy .
но, если у вас несколько noun_chunks в предложении, то нужно понимать, какой сегмент вам нужно исправлять.
для этого вам нужен синтаксический анализ (который там как раз и делается), а после него — как-то понять, какой именно сегмент нужно исправлять. вот эту логику поиска сегмента написать нужно будет вам (искать клаузу со словом "ты", потом взять глагол-родитель?).
norm_chunk , она переводит фразу в именительный падеж.
там используется комбинация spacy + pymorphy для повышения качества работы по сравнению с просто pymorphy .
но, если у вас несколько noun_chunks в предложении, то нужно понимать, какой сегмент вам нужно исправлять.
для этого вам нужен синтаксический анализ (который там как раз и делается), а после него — как-то понять, какой именно сегмент нужно исправлять. вот эту логику поиска сегмента написать нужно будет вам (искать клаузу со словом "ты", потом взять глагол-родитель?).
Тут скорее так, у меня имеется некоторый алгоритм - который подбирает релевантный ответ из истории сообщений клиентов - Его нужно адаптировать под конкретного, а именно род взять -
У меня первое что на ум приходит - Находить NER-сущности, и вокруг, допустим, имени смотреть морфологические зависимости и все приводить в род в соответствии главной сущностью
Ответ из истории : Привет, Наташа ты уже посети(ЛА) наши курсы, как твоя курсовая работа - прош(ЛА) отбор?
Будет: Привет, <NAME : род> ты уже (посетил -> род : NAME) наши курсы, как твоя курсовая работа - прош(ЛА) отбор?
У меня первое что на ум приходит - Находить NER-сущности, и вокруг, допустим, имени смотреть морфологические зависимости и все приводить в род в соответствии главной сущностью
Ответ из истории : Привет, Наташа ты уже посети(ЛА) наши курсы, как твоя курсовая работа - прош(ЛА) отбор?
Будет: Привет, <NAME : род> ты уже (посетил -> род : NAME) наши курсы, как твоя курсовая работа - прош(ЛА) отбор?
ВГ
А задача с зависимыми словами, вроде как уже решенная
AZ
Тут скорее так, у меня имеется некоторый алгоритм - который подбирает релевантный ответ из истории сообщений клиентов - Его нужно адаптировать под конкретного, а именно род взять -
У меня первое что на ум приходит - Находить NER-сущности, и вокруг, допустим, имени смотреть морфологические зависимости и все приводить в род в соответствии главной сущностью
Ответ из истории : Привет, Наташа ты уже посети(ЛА) наши курсы, как твоя курсовая работа - прош(ЛА) отбор?
Будет: Привет, <NAME : род> ты уже (посетил -> род : NAME) наши курсы, как твоя курсовая работа - прош(ЛА) отбор?
У меня первое что на ум приходит - Находить NER-сущности, и вокруг, допустим, имени смотреть морфологические зависимости и все приводить в род в соответствии главной сущностью
Ответ из истории : Привет, Наташа ты уже посети(ЛА) наши курсы, как твоя курсовая работа - прош(ЛА) отбор?
Будет: Привет, <NAME : род> ты уже (посетил -> род : NAME) наши курсы, как твоя курсовая работа - прош(ЛА) отбор?
тут, мне кажется, надо через лексикографические деревья заходить
SS
Мне кажется, здесь можно все решить даже без ner, надо только обойти дерево парсера зависимостей и все.
SS
А парсер возьми от spacy или natasha, они хорошо работают
ВГ
Спасибо, попробуем)
N
А что сейчас есть из открытого и свежего по переводу rus<>eng?
Б
Есть какая нибудь библиотека на питоне конвертирующие текст в дату и время типа через час завтра в пятницу шестого числа
SS
Есть какая нибудь библиотека на питоне конвертирующие текст в дату и время типа через час завтра в пятницу шестого числа
Для английского есть daking от Фейсбук.
SS
Правда, там не питон
Б
На русском надо бы
GF
Есть какая нибудь библиотека на питоне конвертирующие текст в дату и время типа через час завтра в пятницу шестого числа
есть https://github.com/DenisNP/Hors на c# . Очень хорошо работает
SS
Всем надо)
GF
можно обернуть в микросервис
SS
Ну или враппер написать
SS
есть https://github.com/DenisNP/Hors на c# . Очень хорошо работает
О, возьму в копилку. Осталось в питон запихнуть
Eg
еще heideltime есть, но он на Java. Но вроде есть обертка какая-то...
https://github.com/amineabdaoui/python-heideltime
https://github.com/amineabdaoui/python-heideltime
DI
Друзья, коллеги, а здесь можно обьявление о вакансии на проект опубликовать? 🙂 Или где можно? Проект на 1-2 месяца, NPL, NER, русский язык, вот это все.