Ребята, какой наиболее универсальных подход к чистке контекста от  не цифр и от небуквенных символов? В стеке  SpaCy, подумали о проверке  через

token.is_alpha

но это выкинет и токены с цифрами. Грубо говоря нужно убивать

'1ый!$#& переулок д!!!!2%'

, но не  

'1ый переулок д2'

пусть пример вас не смущает, в нашей задаче это не NER'ы

ну кроме очевидного - регэксы

Еще очевиднее, посимвольно выбивать non Ascii символы)

В пайтоне смотри для символа фичу вида ord()

token.isalnum? :D

а non ascii выкинет кириллицу

что то не вижу такого поля или метода у токена)

то есть token.text.isalnum()

возможно, не самый элегантный способ, но если известен конечный набор того, от чего надо очистить, то:

import string
#print(string.punctuation) # ← здесь дефолтные фильтры, их не оч много.
spec_chars = string.punctuation + '\n\xa0«»\t—…'
clean_text = " ".join([ch for ch in text if ch not in spec_chars])

Спасибо, я смотрел примерно в эту сторону, но тоже подумал что может есть что то элегантнее. @YallenGusev вот и подсказал что следовало бы в стандартную библиотеку заглядывать))

Такой вопрос, есть текстовый файл, в котором находится несколько типов документов (акт сдачи-приемки, счёт-фактура, договор купли-продажи, приложения к нему и т.д.). Как это разделить на отдельные файлы? Что посоветуете? Перечень всех возможных документов известен.

Если каждый документ лежит на новой странице, то можно с помощью бинарного классификатора (является ли текст на новой странице продолжением документа на предыдущей странице) сегментировать один файл на несколько, но понадобится разметка для обучения.  Если задача ещё в том, чтобы отдельно положить счета-фактуры, отдельно акты и т.д., то получившийся набор документов классифицировать по шапке документа.  На ods выступали со схожей задачей из ВТБ осенью.

Да, задача как раз положить отдельно

Блин, разметка это сложно. Для данной задачи у меня в моменте нет большой выборки (

ИМХО самый простой способ.
суть идеи - для каждой пустой формы (бланка документов) считаете свой мешок слов.
Проверяете на всякий случай, что нет одинаковых мешков слов и вот вам критерий для типа.
По каждому документу считаете мешок слов и сверяете с мешками слов, которые посчитали для пустых бланков.

Желательно хоть по десятку доков каждого типа разметить, дальше хоть бы TF-IDF. Но без разметки мультиков не будет.

Это позволяет типизировать документы, но не решает проблему деления на документы. Если у меня идут два документа одного типа подряд, то такой подход не сработает.

Может быть через  мешки / similarity строить на заголовках , последних n токенах каждого документа , а по условию что между  [0:n-1] и n упаковывать в файл с шапкой и последними токенами .

Для разделения каждая страница становится документом ;)

Ребята у вас есть запикленный лист со всеми именами и отчествами из СНГ, хотелось бы удалить всё из своих текстов?