Телеграмм чат группы scrapy

Size: a a a

Scrapy

802 membersпожаловаться на группу

2021 January 22

Andrey Rahmatullin in Scrapy

SoHard 🎄

Подскажите чем строку с кириллицей в валидное имя файла конвертировать

строка с кириллицей - уже валидное имя файла

источник

16:24пожаловаться #1

Maksim in Scrapy

Всем привет. Есть прямая ссылка на pdf. Как мне получить его текст ? Подскажите, пожалуйста.

Всем привет. Есть прямая ссылка на pdf. Как мне получить его текст ? Подскажите, пожалуйста.

скачать и отдать либе которая умеет читать пдф

источник

19:21пожаловаться #3

i in Scrapy

SoHard 🎄

Подскажите чем строку с кириллицей в валидное имя файла конвертировать

а чем тебе кириллица не валидная? просто надо с кодировкой не ошибиться.

источник

21:49пожаловаться #4

SoHard 🎄 in Scrapy

а чем тебе кириллица не валидная? просто надо с кодировкой не ошибиться.

да я думал может что есть что будет сразу резать спецсимволы и тд.

источник

21:50пожаловаться #5

i in Scrapy

а, ты про это. я такую штуку в джанго видел. своруй оттуда

источник

21:50пожаловаться #6

Кирилл in Scrapy

Да, лучше какой-то рандомный генератор взять

Да, лучше какой-то рандомный генератор взять

да я уже уговорил id туда писать, один фиг никто не будет 100500 файлов вручную смотреть

источник

21:51пожаловаться #8

i in Scrapy

https://stackoverflow.com/questions/58959191/remove-special-characters-and-replace-spaces-with

Stack Overflow

Remove special characters and replace spaces with "-"

I'm trying to make a directory that is okay to appear in a URL. I want to ensure that it doesn't contain any special characters and replace any spaces with hyphens.

from os.path import join as os...

источник

21:52пожаловаться #9

i in Scrapy

slugify из джанги.

источник

21:52пожаловаться #10

i in Scrapy

а если тебе прям хочется новое имя создавать. лично я для себя хэширую. в последнее время через from blake3 import blake3

источник

21:53пожаловаться #11

i in Scrapy

из того, что читал - в нем коллизий меньше чем в каком-нибудь md5 и он тоже оптимизирован на быструю работу

источник

21:54пожаловаться #12

Кирилл in Scrapy

Но это всё равно хэш. Уж тогда лучше uuid

источник

21:54пожаловаться #13

Кирилл in Scrapy

Надо глянуть что там в джанго используется, там же тоже генератор есть для файлов, если уже существует имя файла

источник

21:55пожаловаться #14

Andrii in Scrapy

кто-то sourceforge.net парсил? У меня почему-то 500 еррор идет на некоторих страницах и ни в какую скрепи их не берет

источник

21:55пожаловаться #15

SoHard 🎄 in Scrapy

из того, что читал - в нем коллизий меньше чем в каком-нибудь md5 и он тоже оптимизирован на быструю работу

да есть айди уникальный и так, это была хотелка заказчика.

источник

21:56пожаловаться #16

i in Scrapy

Кирилл

Но это всё равно хэш. Уж тогда лучше uuid

ну можно сверху полирнуть еще датетаймом. А в чем проблема хэша, что надо калькулировать таки контент? Или ты про коллизии?

источник

21:57пожаловаться #17

i in Scrapy

но я не хочу полировать - мне наоборот хорошо, что если прям такое же 1 в 1 содержимое, то диск не насилуется

источник

21:57пожаловаться #18

Кирилл in Scrapy

я про добавление таймстэмпа

источник

21:58пожаловаться #19

Кирилл in Scrapy

ну так тоже норм

источник

21:58пожаловаться #20