Сейчас на форуме: Kybyx (+1 невидимый пользователь) |
eXeL@B —› Оффтоп —› github - Поточное скачивание |
Посл.ответ | Сообщение |
|
Создано: 05 декабря 2019 13:54 · Личное сообщение · #1 Тема .. Может кто уже сталкивался, нужно скачать примерно 6000 репозиториев, по результату поиска, т.е. пропарсить ответ, а потом скачать последний мастер зип архив. Эти проекты носят технический характер в области обработки визуальной информации, т.е. это не тупо жадность, давай сразу и всё .. другими словами, здесь не обойтись без скачивания Не встречали ли Вы скрипты или программы для автоматизации этого процесса?! ----- RE In Progress [!] Coding Hazard [!] Stay Clear of this Cube |
|
Создано: 05 декабря 2019 14:34 · Личное сообщение · #2 mak пишет: Не встречали ли Вы скрипты или программы для автоматизации этого процесса?! телепорт про ? Добавлено спустя 4 минуты и еще есть миллионы программ для поиска на разных сайтах называются парсеры можно взять на античате например ,подправить hex в нутрях адрес сайта и готовый инструмент я бы так сделал.если нет готового профессионального П0 который можно найти на фри софт например |
|
Создано: 05 декабря 2019 14:52 · Личное сообщение · #3 SDK пишет: телепорт про ? Если ссылку поиска как старт сразу задать, наверное всё спарсит, тогда следующий затык .. ограничение в 100 страниц, а это 1000 проектов. Я думал это можно через github апи сделать, но опыта в этом нет, может есть уже что-то готовое .. ----- RE In Progress [!] Coding Hazard [!] Stay Clear of this Cube |
|
Создано: 05 декабря 2019 15:12 · Личное сообщение · #4 |
|
Создано: 07 декабря 2019 23:38 · Личное сообщение · #5 mak Если дружишь с питоном, посмотри Глянь примеры: ----- EnJoy! | Сообщение посчитали полезным: mak |
|
Создано: 08 декабря 2019 15:16 · Личное сообщение · #6 Jupiter Спасибо, удобный врапер, но там глобально не больше 1000 .. There is a limit of 1000 results per search GitHub Developer - REST API v3 The Search API helps you search for the specific item you want to find. For example, you can find a user or a specific file in a repository. Think of it the way you think of performing a search on Google. It's designed to help you find the one result you're looking for (or maybe the few results you're looking for). Just like searching on Google, you sometimes want to see a few pages of search results so that you can find the item that best meets your needs. To satisfy that need, the GitHub Search API provides up to 1,000 results for each search. Решение можно найти обходными путями - Апи на гитхабе не такие сложные, можно и программу написать. Имея все линки, легко любой качалкой закачать всё одним махом. Буду смотреть ... ----- RE In Progress [!] Coding Hazard [!] Stay Clear of this Cube |
eXeL@B —› Оффтоп —› github - Поточное скачивание |