Size: a a a

Natural Language Processing

2020 October 19

EB

Evgeniy Blinov in Natural Language Processing
Andrew Dakhnovsky
гугл говорит что существует
Оу, спс :)
источник

VR

Vladimir R in Natural Language Processing
Newer ask Google first, google it in telega groups
источник

A

Ajay in Natural Language Processing
I've text like 1 1/2 (equivalent to 1.5),
one and one half into 1.5,
two and two-fifth into 2.4,
3 3 / 5 into 3.6

I'm confused as to how to convert such text that represents number and fraction in string into their corresponding decimal values.

Can anyone give some idea?
источник

DP

Defragmented Panda in Natural Language Processing
Ajay
I've text like 1 1/2 (equivalent to 1.5),
one and one half into 1.5,
two and two-fifth into 2.4,
3 3 / 5 into 3.6

I'm confused as to how to convert such text that represents number and fraction in string into their corresponding decimal values.

Can anyone give some idea?
do it manually. there isnt many variants to justify machine learning i think
источник

VR

Vladimir R in Natural Language Processing
regular expressions
источник

SS

Sergey Sikorskiy in Natural Language Processing
Ajay
I've text like 1 1/2 (equivalent to 1.5),
one and one half into 1.5,
two and two-fifth into 2.4,
3 3 / 5 into 3.6

I'm confused as to how to convert such text that represents number and fraction in string into their corresponding decimal values.

Can anyone give some idea?
A parser (LL or LR, LL is easier to write) which will produce an AST. You can evalute this AST after that.
All this stuff is related to formal languages. It doesn’t require anything NLP-related.
источник

A

Ajay in Natural Language Processing
Sergey Sikorskiy
A parser (LL or LR, LL is easier to write) which will produce an AST. You can evalute this AST after that.
All this stuff is related to formal languages. It doesn’t require anything NLP-related.
I tried regex for inputs like '1 1/3' but 'two-fifth' is difficult to do.
What if it is 'one-tenth' or some bigger value ? How do I turn those strings into numbers of the form '1/10'?
источник

SS

Sergey Sikorskiy in Natural Language Processing
Ajay
I tried regex for inputs like '1 1/3' but 'two-fifth' is difficult to do.
What if it is 'one-tenth' or some bigger value ? How do I turn those strings into numbers of the form '1/10'?
LL parser —> AST —> text
Google for “dragon book”. Read it. Practice.
источник

SS

Sergey Sikorskiy in Natural Language Processing
Ajay
I tried regex for inputs like '1 1/3' but 'two-fifth' is difficult to do.
What if it is 'one-tenth' or some bigger value ? How do I turn those strings into numbers of the form '1/10'?
A discipline dealing with this kind of stuff is called “compiler design”.
источник

A

Ajay in Natural Language Processing
Yeah, i think this will be like going deep into what i need. I thought of doing it the simple way.
источник

SS

Sergey Sikorskiy in Natural Language Processing
It is a simple way. You just need to build an AST and transform it back into text in the form you need.
But you need to understand a formal theory behind all of this.
After that coding will be easy.
источник

C

CAXHOB in Natural Language Processing
Приветствую. У меня вопрос, есть ли решения, позволяющие разбирать текст на цитаты? Допустим есть рассказ/повесть/роман, можно ли как-то разобрать его на условные части, которые будут считаться цитатами?
источник

C

CAXHOB in Natural Language Processing
нужно обработать большой объём текстов, и делать это вручную сложно
источник

DP

Defragmented Panda in Natural Language Processing
CAXHOB
Приветствую. У меня вопрос, есть ли решения, позволяющие разбирать текст на цитаты? Допустим есть рассказ/повесть/роман, можно ли как-то разобрать его на условные части, которые будут считаться цитатами?
скорее всего нет

цитаты подразумевает фразы которые какие-то глубокомысленные

я не вижу чтобы мл мог выделять такое

в теории можно скормить мл кучу цитат и не цитат (классификатор). и потом смотреть что в книге мл выделяет как цитаты
источник

C

CAXHOB in Natural Language Processing
Defragmented Panda
скорее всего нет

цитаты подразумевает фразы которые какие-то глубокомысленные

я не вижу чтобы мл мог выделять такое

в теории можно скормить мл кучу цитат и не цитат (классификатор). и потом смотреть что в книге мл выделяет как цитаты
я тоже думаю в этом направлении
источник

C

CAXHOB in Natural Language Processing
или с помощью эмоциональной окраски
источник

C

CAXHOB in Natural Language Processing
но есть надежда, что кто-то уже придумал, как это сделать)))
источник

EB

Evgeniy Blinov in Natural Language Processing
CAXHOB
Приветствую. У меня вопрос, есть ли решения, позволяющие разбирать текст на цитаты? Допустим есть рассказ/повесть/роман, можно ли как-то разобрать его на условные части, которые будут считаться цитатами?
Взвешивать по сумме значимости слов предложения и выдавать топ-n?
источник

C

CAXHOB in Natural Language Processing
Evgeniy Blinov
Взвешивать по сумме значимости слов предложения и выдавать топ-n?
да, что-то такое
источник

C

CAXHOB in Natural Language Processing
у меня задача такая: на вход подаются эмоции (грусть, радость и т.д.), а на выходе цитата соответствующая этой эмоции
источник