github - Поточное скачивание

Сейчас на форуме: Kybyx (+1 невидимый пользователь)

Посл.ответ	Сообщение
mak Ранг: 673.3 (! !), 400thx Активность: 0.4↘0.31 Статус: Участник CyberMonk	Создано: 05 декабря 2019 13:54 · Личное сообщение · #1 Тема .. Может кто уже сталкивался, нужно скачать примерно 6000 репозиториев, по результату поиска, т.е. пропарсить ответ, а потом скачать последний мастер зип архив. Эти проекты носят технический характер в области обработки визуальной информации, т.е. это не тупо жадность, давай сразу и всё .. другими словами, здесь не обойтись без скачивания Не встречали ли Вы скрипты или программы для автоматизации этого процесса?! ----- RE In Progress [!] Coding Hazard [!] Stay Clear of this Cube

SDK Ранг: 54.0 (постоянный), 49thx Активность: 0.71↗1.1 Статус: Участник	Создано: 05 декабря 2019 14:34 · Личное сообщение · #2 mak пишет: Не встречали ли Вы скрипты или программы для автоматизации этого процесса?! телепорт про ? Добавлено спустя 4 минуты и еще есть миллионы программ для поиска на разных сайтах называются парсеры можно взять на античате например ,подправить hex в нутрях адрес сайта и готовый инструмент я бы так сделал.если нет готового профессионального П0 который можно найти на фри софт например
mak Ранг: 673.3 (! !), 400thx Активность: 0.4↘0.31 Статус: Участник CyberMonk	Создано: 05 декабря 2019 14:52 · Личное сообщение · #3 SDK пишет: телепорт про ? Если ссылку поиска как старт сразу задать, наверное всё спарсит, тогда следующий затык .. ограничение в 100 страниц, а это 1000 проектов. Я думал это можно через github апи сделать, но опыта в этом нет, может есть уже что-то готовое .. ----- RE In Progress [!] Coding Hazard [!] Stay Clear of this Cube
SDK Ранг: 54.0 (постоянный), 49thx Активность: 0.71↗1.1 Статус: Участник	Создано: 05 декабря 2019 15:12 · Личное сообщение · #4 https://a-parser.com/resources/359/ что типа этого наверно из готового я бы попробовал демо версию может этого и хватит на 1 задачу
Jupiter Ранг: 605.2 (!), 341thx Активность: 0.47↘0.25 Статус: Модератор Research & Development	Создано: 07 декабря 2019 23:38 · Личное сообщение · #5 mak Если дружишь с питоном, посмотри --> PyGithub <-- Глянь примеры: --> PyGithub Examples <-- ----- EnJoy! \| Сообщение посчитали полезным: mak
mak Ранг: 673.3 (! !), 400thx Активность: 0.4↘0.31 Статус: Участник CyberMonk	Создано: 08 декабря 2019 15:16 · Личное сообщение · #6 Jupiter Спасибо, удобный врапер, но там глобально не больше 1000 .. There is a limit of 1000 results per search --> https://github.com/PyGithub/PyGithub/issues/824 <-- GitHub Developer - REST API v3 The Search API helps you search for the specific item you want to find. For example, you can find a user or a specific file in a repository. Think of it the way you think of performing a search on Google. It's designed to help you find the one result you're looking for (or maybe the few results you're looking for). Just like searching on Google, you sometimes want to see a few pages of search results so that you can find the item that best meets your needs. To satisfy that need, the GitHub Search API provides up to 1,000 results for each search. --> https://developer.github.com/v3/search/ <-- Решение можно найти обходными путями - --> Link <--, кто-то целые анализаторы пишет - Analyzing 🔝 20k Github Repositories - --> Link <-- Апи на гитхабе не такие сложные, можно и программу написать. Имея все линки, легко любой качалкой закачать всё одним махом. Буду смотреть ... ----- RE In Progress [!] Coding Hazard [!] Stay Clear of this Cube

У вас должно быть 20 пунктов ранга, чтобы оставлять сообщения в этом подфоруме, но у вас только 0

Для печати