Ну он такой, да

https://m.habr.com/ru/post/527588/
Зато можно чекнуть хабр :D

спасибо

не, это не то, что надо. 🙁

#Идея: html -> фичи #Идея: html -> фичи (опенс сорс)

Очень часто приходится работать с веб-страницами. При этом также часто нужно информацию о них складывать в таблицу (например, для поиска или для ML). Нужен инструмент, который на вход получает ссылку / html, а на выходе выдает структурированный JSON с фичами, которые дальше либо складываются в бд, либо обрабатываются.

Эту задачу приходится делать каждый раз с нуля. Было бы круто иметь библиотеку / микросервис, который бы сам структурировал данные из HTML. Подобная штука есть для Reading view (достает заголовки, тексты, картинки из статьи, чтобы только их отобразить).

Примеры фичей, которые можно считать:
1) метатеги: title, description, keywords, logo, OG graph tags, Twitter graph tags
2) содержимое: весь текст со страницы,
3) исходящие ссылки на внутренние страницы, на внешние
4) время загрузки страницы, редиректы, айпишник, страна

Выдавая свойства страницы в структурированном виде позволит гораздо быстрее анализировать содержимое.  И да, все это уже всеми делалось миллионы раз с нуля. Поэтому нужна либа. Готов поменторить.

#срочно
Нашли двух собак на обочине шоссе, что лучше сделать? Кто в этом разбирается?

Первый к этому шаг - https://github.com/alirezamika/autoscraper

#whois
Студент 2 курса ВМК МГУ
Писал на разных ЯП(Паскаль, С,С++, АСМ, Python)
В последнее время осваиваю Flask(первый опыт, связанный с бэком)
Изучал и изучаю NLP
Писал свои классификаторы, игрался с GPT-3 от сбера, учил его о чесать на вопросы
В дальнейшем хочу написать приложение для аналитики крипты(чтобы контролировать свои финансы и видеть наглядно сделки, объемы и прибыль), если уже есть такое, то буду рад узнать о нем, лично искал, но не нашёл
Также хочу найти какие-нибудь полезные применения нейронок для себя и для людей в целом и по возможности воплотить это в жизнь.
Хочу спросить: Mac/Mac mini для программиста-датасайнтиста - годный инструмент или аналоги лучше(к примеру, colab)?

@LinFerrr, Спасибо, вы приняты в сообщество! У нас целая экосистема чатов, подробнее в закрепленном сообщении.

Я хоть не дата саентист, но я думаю инструмент годный там, где ГПУшка помощнее

Да, гпушка решает, согласен

С ноутбучными видеокартами не все так просто.
Мощные GPU много потребляют и выделяют много тепла, как следствие требуют мощные системы охлаждения, много весят и быстро разряжаются.

В итоге ноутбук становится не слишком удобным для перемещения: и тяжелый, и батарея быстро садится, а аккумулятор еще и деградирует со временем, приковывая ноутбук к розетке. При этом десктоп аналогичной конфигурации все равно оказывается мощнее, мобильные видеокарты делают урезанными по сравнению со своими большими собратьями.

В свое время словил все обозначенные выше проблемы на ноутбуке с дискреткой и в итоге для себя пришел к конфигурации легкий походный ноутбук + удаленный коннект к полноразмерным видеокартам.

Если все-таки хочется что-нибудь запускать прямо на ноутбуке, то в качестве компромисса можно поискать ноутбук со слабенькой GPU, чтобы на нем можно было проводить какие-то легкие эксперименты, а что-то большое и долгое отправлять на удаленные машины.

Спасибо за ответ 💪

>можно поискать ноутбук со слабенькой GPU
У меня Asus Vivo с 1050Ti, 2 года полет нормальный.
Легкий, можно брать в поездки.
Но при интенсивных вычислениях конечно греется и нужна розетка

Добро пожаловать

#whois

* Ex-Amazon SDE
* Сейчас работаю в Берлине на удаленке в калифорнийском стартапе
* веду канал про экспатство и бекенд t.me/better_and_better

А почему ушел из Амазона? И где именно ты там работал? :)

Привет! Как раз сижу твой код рефакторю

мне очень тоскливо с точки зрения culture и процессов разработки, особенно в Европе