Сейчас на форуме: Rio, johnniewalker, vsv1, Magister Yoda, Kybyx (+6 невидимых)

 eXeL@B —› Крэки, обсуждения —› Получить данные из 2GIS
Посл.ответ Сообщение

Ранг: 0.1 (гость)
Активность: 0=0
Статус: Участник

Создано: 20 ноября 2006 00:16
· Личное сообщение · #1

Не пишу в "Запросы на взлом" потому, что:
1. Программа бесплатная
2. Хочу сам разобраться
Есть программа такая --> download.2gis.ru/arhives/2gisKurgan.exe <-- --> download.2gis.ru/arhives/2gisKurgan.exe <-- [3.37 MB]
так вот эта программа - справочник предприятий городов(здесь указываю Курган) с адресами, рубриками и т.д. при инсталяции в установочной директории появляется файл Grym.dat
Так вот вопрос: как получить из этого дата файла данные(карта не нужна).
Пробовал открывать разными редакторами.
Подскажите какие программы использовать




Ранг: 103.3 (ветеран), 8thx
Активность: 0.060
Статус: Участник

Создано: 20 ноября 2006 00:30 · Поправил: NaumLeNet
· Личное сообщение · #2

Что именно интересует? БД? Какие-то определенные выборки из БД?

Я пару лет назад смотрел их базу, так и не смог разобраться, забросил. Не плохо у них там все пошифровано, да и смысла нету. Проще все что тебе надо вытащить из-под интерфейса 2ГИСа. Воспользоваться каким-нибудь "Клептоманом" или еще чем-нибудь.




Ранг: 124.7 (ветеран)
Активность: 0.070
Статус: Участник

Создано: 20 ноября 2006 01:09 · Поправил: Nitrogen
· Личное сообщение · #3

NaumLeNet
ну лучше всю БД
думаю тебя-то это должно заинтересовать, как раз твой профиль судя по последним сообщениям
в идеале конечно возможность редактирования и добавления собственных данных (например справочник телефонный)




Ранг: 103.3 (ветеран), 8thx
Активность: 0.060
Статус: Участник

Создано: 20 ноября 2006 01:20
· Личное сообщение · #4

Nitrogen
Жжошь аццки. Не, это не совсем мой профиль =) Мне 2ГИС как братья, точнее кузены =) Тем более слишком у них там все накручено, чтобы "по мелочам" :p это дело ворошить. Лучше пусть в руки берет Клептоманию, SnagIt, DXSnap или аналоги.



Ранг: 0.1 (гость)
Активность: 0=0
Статус: Участник

Создано: 20 ноября 2006 01:40
· Личное сообщение · #5

Тогда проще, для меня, чере Web-интерфейс весь каталог стянуть.
Если у них действительно все так шифрованно и запутано(а так ли?)
Просто не охото тратить время(много) - я в этом не профи.
Может у кого не напрягаясь получиться оффлайн?




Ранг: 103.3 (ветеран), 8thx
Активность: 0.060
Статус: Участник

Создано: 20 ноября 2006 01:49
· Личное сообщение · #6

Веб-морда тоже вариант. Слить, а потом регулярками выудить нужное.

Базу они свою берегут, как и карту. После того как они в корне формат поменяли (перешли к единому контейнеру - grym.dat) все стало не так уж просто. Шифрование действительно используется. Из "открытых" текстов в grym.dat виден только макет проекта в XML'е, который возможно облегчит разбор структуры и еще некоторые ресурсы (причем из вложенных файлов тоже). В общем не заморачивайся на этой теме и не трать время (я не стал и тебе не советую), лучше проверь другие варианты, быстрее достигнешь желаемого.



Ранг: 0.1 (гость)
Активность: 0=0
Статус: Участник

Создано: 20 ноября 2006 02:13
· Личное сообщение · #7

Спасибо за ответы.



Ранг: 0.2 (гость)
Активность: 0=0
Статус: Участник

Создано: 04 декабря 2010 07:50
· Личное сообщение · #8

Хотелось бы продолжить тему.
Все данные кроме информации из справочника можно получить вполне легально с помощью 2gis.api. Поэтому имеет смысл обсуждать получение только именно этих данных, то есть содержимое боковой колонки. Если через WinHex посмотреть RAM для запущенного 2ГИСа, то среди 90 Мб бинарной каши можно обнаружить аккуратные html-блоки содержащие искомую информацию, по одному блоку на статью справочника. Значит, есть за что уцепиться.
Я поставил перед собой цель автоматом вытащить содержимое нескольких рубрик справочника и пришел к выводу, что с моим уровнем знаний автоматическое вытаскивание должно состоять из двух шагов:
1. Инициирование развертывания раздела справочника
2. Поиск в памяти процесса и сохранение в файл html-блоков
Первый шаг можно реализовать с помощью какого-нибудь автокликера. Думаю vTask вполне подойдет. Второй шаг должен инициироваться тем же автокликером, но с реализацией поиска не все так просто. WinHex ищет в файле подкачки, а 2ГИС туда складывает только часть информации. От Клептомании 2ГИС себя давно защитил, то есть эта грабилка не может сделать прокрутку скрола справочника. Отладчики, типа OllyDbg и IDApro подключаются к процессу 2ГИС так долго, что просто не реально запустить в них поиск (хотя это мой первый опыт использования отладчиков и возможно я делаю что-то не так). В общем поиск в памяти процесса остается для меня не решенной проблемой, для решения которой определенно требуется помощь кого-то более опытного.




Ранг: 81.7 (постоянный), 10thx
Активность: 0.030
Статус: Участник

Создано: 04 декабря 2010 08:52
· Личное сообщение · #9

Кстати актуальная тема, тоже давненько занимался этим вопросом, но так ничего путнего не добился



Ранг: 0.2 (гость)
Активность: 0=0
Статус: Участник

Создано: 05 декабря 2010 18:38
· Личное сообщение · #10

Нашел утилиту userdump, которая создает дамп произвольного процесса. Сдернул дамп с запущенного 2ГИСа, проанализировал его и не поверил своим очам. Полезной информации там не больше чем в файле подкачки . Какое западлянство . Сколько времени потрачено в пустую. И здесь еще угодил на чемпионат игры в молчанку.
В общем, ну его в этот 2ГИС.



Ранг: 0.4 (гость)
Активность: 0=0
Статус: Участник

Создано: 29 декабря 2010 12:47
· Личное сообщение · #11

так это. 2Гис позволяет писать расширения, и как я могу судить из них есть доступ к справочникам. Почему бы не написать и не сдампить то что нужно?




Ранг: 81.7 (постоянный), 10thx
Активность: 0.030
Статус: Участник

Создано: 29 декабря 2010 14:41
· Личное сообщение · #12

к нужным данным как раз через апи не подберешься



Ранг: 51.6 (постоянный), 14thx
Активность: 0.030
Статус: Участник

Создано: 05 января 2011 02:39
· Личное сообщение · #13

1. Инициирование развертывания раздела справочника
2.Печать через вирт.принтер в пдф
3.Пдф в тхт пересохранение
Все




Ранг: 81.7 (постоянный), 10thx
Активность: 0.030
Статус: Участник

Создано: 05 января 2011 08:33
· Личное сообщение · #14

ZXCVB способ боянистый, да собстно не для этого форума




Ранг: 103.3 (ветеран), 8thx
Активность: 0.060
Статус: Участник

Создано: 06 января 2011 01:15
· Личное сообщение · #15

Какие именно данные нужны?




Ранг: 81.7 (постоянный), 10thx
Активность: 0.030
Статус: Участник

Создано: 06 января 2011 06:39
· Личное сообщение · #16

Скорее всего более интересует, разбор формата как такого.
Ну а вообще конечно всем нужны мыла




Ранг: 103.3 (ветеран), 8thx
Активность: 0.060
Статус: Участник

Создано: 06 января 2011 18:55 · Поправил: NaumLeNet
· Личное сообщение · #17

AVE
Мыла проще всего вытаскивать (немного шаманства, а потом регуляркой матчим), но это ориентация на спам, тут я вам не помощник.




Ранг: 81.7 (постоянный), 10thx
Активность: 0.030
Статус: Участник

Создано: 06 января 2011 22:14
· Личное сообщение · #18

NaumLeNet

читай выше
Скорее всего более интересует, разбор формата как такого

спам как таковой не интересен



Ранг: 10.3 (новичок)
Активность: 0=0
Статус: Участник

Создано: 11 января 2011 16:56
· Личное сообщение · #19

NaumLeNet пишет: Какие именно данные нужны?

Интересуют карты 2gis. Возможно ли написать прогу для их извлечения из оф-лайн баз *.dgdat?

Готов оплатить трудозатраты.ЛС.

AVE пишет:
Ну а вообще конечно всем нужны мыла

В сети есть готовые парсеры для web.




Ранг: 81.7 (постоянный), 10thx
Активность: 0.030
Статус: Участник

Создано: 11 января 2011 17:45
· Личное сообщение · #20

motivator
Что вы все меня в спамеры записываете

Допустим нужна база телефонов города по критерию для "обзвона"

Это забавно, у дубля нельзя больше 15 раз скопировать данные в буфер обмена, данные копируются, но уже без телефонов, е-адресов и мыл.

Раз уже тему снова подняли, может кто-нибудь подскажет куда копать?




Ранг: 107.3 (ветеран), 5thx
Активность: 0.20.04
Статус: Участник

Создано: 11 января 2011 17:47
· Личное сообщение · #21

AVE
попробуй им в офис позвонить и спросить - может они предоставляют базу в открытом виде




Ранг: 81.7 (постоянный), 10thx
Активность: 0.030
Статус: Участник

Создано: 11 января 2011 19:59
· Личное сообщение · #22

Magister Yoda
было давно, сейчас не актуально

чисто спортивный интерес

| Сообщение посчитали полезным: Magister Yoda

Ранг: 0.1 (гость)
Активность: 0=0
Статус: Участник

Создано: 21 сентября 2011 10:39
· Личное сообщение · #23

Могу предложить выгрузку следующих данных:
1) id организации (не изменяется от месяца к месяцу)
2) название
3) список рубрик (сфер деятельности)
4) адреса
5) телефоны
6) факсы
7) сайты
8) E-mail'ы
9) тип строения
10 ) почтовый индекс
11) географические координаты (совместимые с google и yandex картами)
12) комментарии организаций
13) skype
14) ICQ
15) наличие статьи, банера

Есть возможность заказать выгрузку:
1) Только новых организаций
2) Организаций по определенным рубрикам
3) Рубрик 1-ого и 2-ого уровня
5) Способов оплаты для каждой организации
6) Только определенных данных, к примеру если нужны только телефоны

Имеются разные форматы выгрузки.

ICQ 578-533-658
почта: grab-dataсобакаyandex.ru




Ранг: 81.7 (постоянный), 10thx
Активность: 0.030
Статус: Участник

Создано: 21 сентября 2011 12:23
· Личное сообщение · #24

Забаньте его чтоли




Ранг: 2014.5 (!!!!), 1278thx
Активность: 1.340.25
Статус: Модератор
retired

Создано: 27 сентября 2011 14:52
· Личное сообщение · #25

Молодец, что можешь, здесь не рекламная доска, если что.

| Сообщение посчитали полезным: manual
 eXeL@B —› Крэки, обсуждения —› Получить данные из 2GIS
Эта тема закрыта. Ответы больше не принимаются.
   Для печати Для печати