Телеграмм чат группы natural_language

Size: a a a

Natural Language Processing

3198 membersпожаловаться на группу

2021 July 26

Kutuz4 in Natural Language Processing

Я использую файл pretrain_transformers от сбера. Вопрос в том, пытался ли кто-то его самовольно модифицировать

источник

18:37пожаловаться #1

David Dale in Natural Language Processing

Можно написать свой датасет для потокового чтения с диска (или поискать готовые такие решения), но я не пробовал.
Я файнтюнил буквально на мегабайте)
(ну ладно, максимум на сотнях мегабайт текста)

источник

18:38пожаловаться #2

2021 July 27

Futorio Franklin in Natural Language Processing

Я со временем понял, что datasets просто не нужен, большую часть можно спокойно реализовать в своих утилитах, это даёт возможность проще изменять логику загрузки/обработки данных

UPD. Я перепутал datasets от hf с torchtext. Но, как мне кажется, суть принципиально не поменялась

источник

09:03пожаловаться #3

Anton in Natural Language Processing

Опыт или пример обработки большого json/csv файла есть?

источник

09:06пожаловаться #4

Dmitry in Natural Language Processing

Большого настолько что не влезает в память?

источник

09:08пожаловаться #5

Dmitry in Natural Language Processing

Поточные парсеры вам в помощь

источник

09:08пожаловаться #6

Anton in Natural Language Processing

Да, 100 гб

источник

09:10пожаловаться #7

Futorio Franklin in Natural Language Processing

Я пробовал в классе датасета семплировать из id-шников, а потом в collate_fn батч из них маппил в данные из sqlite3 базы

источник

09:18пожаловаться #8

Futorio Franklin in Natural Language Processing

Код, к сожалению не сохранился и это довольно медленно было

источник

09:19пожаловаться #9

Futorio Franklin in Natural Language Processing

В коде к модели TinyBert делали memory mapping numpy массивов с предобработанными данными, но в их реализации при обучении начинает сильно утекать память

источник

09:21пожаловаться #10

Futorio Franklin in Natural Language Processing

https://github.com/huawei-noah/Pretrained-Language-Model/blob/master/TinyBERT/general_distill.py#L103

GitHub

Pretrained-Language-Model/general_distill.py at master · huawei-noah/Pretrained-Language-Model

Pretrained language model and its related optimization techniques developed by Huawei Noah's Ark Lab. - Pretrained-Language-Model/general_distill.py at master · huawei-noah/Pretrained-Langu...