AP
предполагаю что там в личном кабинете вкладка API
именно там я и смотрел и как понял что это api для платежей, а не переводов или конвертации валюты или торговли на бирже
Size: a a a
2021 February 10
AP
предполагаю что там в личном кабинете вкладка API
спасибо )
AP
но видимо не для коиптобиржи, так что в плане чекнуть баланс да, но в плане криптобиржи нет :(
DO
Посоветуйте тулзу, которая на вход получает html, а на выходе выдаёт JSON с фичами типа
1) исходящие ссылки на внутренние сайты
2) исходящие ссылки на внешние сайты
3) html метаданные (description, keywords, title, ...)
4) мб ещё что-то.
Вдруг есть что-то готовое.
1) исходящие ссылки на внутренние сайты
2) исходящие ссылки на внешние сайты
3) html метаданные (description, keywords, title, ...)
4) мб ещё что-то.
Вдруг есть что-то готовое.
AR
10 минут на парселе же
DO
Написать своё - это всегда можно. Но мне показалось, что это чуть и не стандартная задача, поэтому вдруг есть библиотека / тулза, которая все это умеет. И уже обрабатывает все подводные камни
МС
Угу, такая стандартная, что я, к примеру, первый раз про такое слышу😁
AR
я думаю такое где-то есть, но не опубликовано, потому что нафига
DO
Угу, такая стандартная, что я, к примеру, первый раз про такое слышу😁
Мне кажется, как минимум, все search engines это делают.
AR
вряд ли они делают это какой-то отдельной тулзой, я анализируют они побольше всякого
DO
вряд ли они делают это какой-то отдельной тулзой, я анализируют они побольше всякого
Я не против собирать ещё больше данных)
Короче спасибо)
Короче спасибо)
A
Переслано от Andrii
Кто-то работал с поиском бинга? Как можно задать точну локацию поиска в урле или хедером?
BL
Посоветуйте тулзу, которая на вход получает html, а на выходе выдаёт JSON с фичами типа
1) исходящие ссылки на внутренние сайты
2) исходящие ссылки на внешние сайты
3) html метаданные (description, keywords, title, ...)
4) мб ещё что-то.
Вдруг есть что-то готовое.
1) исходящие ссылки на внутренние сайты
2) исходящие ссылки на внешние сайты
3) html метаданные (description, keywords, title, ...)
4) мб ещё что-то.
Вдруг есть что-то готовое.
xpath //a вот тебе и все ссылки, аналогично для остального
DO
xpath //a вот тебе и все ссылки, аналогично для остального
Спасибо. Я понимаю, что с нуля можно легко написать. Но кажется, что может быть готовая тулза, чтобы не писать свой велосипед с нуля. Которая учитывает все потенциальные подводные камни. Выдает содержимое в структурированном виде.
BL
Спасибо. Я понимаю, что с нуля можно легко написать. Но кажется, что может быть готовая тулза, чтобы не писать свой велосипед с нуля. Которая учитывает все потенциальные подводные камни. Выдает содержимое в структурированном виде.
с какого нуля, уже есть готовый инструмент и называется xpath
BL
Спасибо. Я понимаю, что с нуля можно легко написать. Но кажется, что может быть готовая тулза, чтобы не писать свой велосипед с нуля. Которая учитывает все потенциальные подводные камни. Выдает содержимое в структурированном виде.
отфильтруй потом ссылки которые ведут на тот же домен и все, никаких подводных камней нету. либо если ты настолько не уверен то поищи в гугле ченить типа "xpath get outer links", увидишь что решается в пару строк и успокоишься
DO
отфильтруй потом ссылки которые ведут на тот же домен и все, никаких подводных камней нету. либо если ты настолько не уверен то поищи в гугле ченить типа "xpath get outer links", увидишь что решается в пару строк и успокоишься
Видимо я не умею ясно выражать свои мысли. Я прекрасно понимаю, как это можно сделать, в тч через xpath. Но ссылки - это одна фича. Их может быть много. Может быть даже то, что я не перечислил. Логично, что все это можно руками сделать, но было бы удобней иметь библу, которая сразу достает все возможные потенциально интересные фичи из html страницы.
BL
Видимо я не умею ясно выражать свои мысли. Я прекрасно понимаю, как это можно сделать, в тч через xpath. Но ссылки - это одна фича. Их может быть много. Может быть даже то, что я не перечислил. Логично, что все это можно руками сделать, но было бы удобней иметь библу, которая сразу достает все возможные потенциально интересные фичи из html страницы.
вроде бы в bs4 есть подобные функции типа выгрузи мне все таблицы, думаю его за это и любят в широких массах, только на деле чуток нестандартная таблица или запрос на выгрузку и все ломается, поэтому лучше освоить универсальный инструмент и все
еще в requests-html видел подобные надстройки как ты говоришь типа все ссылки итд
еще в requests-html видел подобные надстройки как ты говоришь типа все ссылки итд