Потребовалось разобраться в чужом формате (специфический, конечно, форматец).

Поблочно все разобрал, выявил общую структура файла, все пучком, но вот в чем беда: знаю точно что в файле много текстовой информации (внутри файла есть ряд таблиц, в аффторском формате =), но ничего в явном виде практически не видно. Разобрался с внутренним описанием таблицы, могу вычленить поля (имя / коммент / тип поля), нахожу текстовый блок, соответствующий колонке и...

Offset 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

00154208 C6 C2 D1 78 EC 7A BC 08 64 22 A1 F8 ЖВСxмzј.d"Ўш
00154224 80 BF 4A D0 22 1C 5E 32 18 A2 C6 58 3C 6E 90 1C ЂїJР".^2.ўЖX<nђ.
00154240 4F E7 93 0C 81 44 4A D2 88 B9 6C 96 4E 26 27 0A Oз“.ЃDJТ€№l–N&'.
00154256 FA 64 AD 54 29 69 94 3A 6D 55 AF D6 97 2B 8B DD ъd­T)i”:mUЇЦ—+‹Э
00154272 6A BB 5C B0 2C 06 A3 CD BE DE 70 CD 46 1E 8B 71 j»\°,.ЈНѕЮpНF.‹q
00154288 E6 F2 0D 7D CE A5 75 6A F6 DA DD 96 C7 E9 73 7B жт.}ОҐujцЪЭ–Зйs{
00154304 1D FE 06 DE D0 8C 5D 39 80 F7 74 5C 67 56 CD 27 .ю.ЮРЊ]9Ђчt\gVН'
00154320 B1 A4 F5 16 8D 4E C1 C2 AA 87 A4 B4 46 42 AE 41 ±¤х.ЌNБВЄ‡¤ґFB®A
00154336 49 16 E8 C8 98 82 C3 1D 02 FC EC FA F6 BA CD E0 I.иИ˜‚Г..ьмъцєНа
00154352 03 00 90 16 98 18 19 9A 1A 9B 1C E0 E0 61 62 E3 ..ђ.˜..љ.›.ааabг
00154368 63 64 E5 65 E6 66 E7 67 E8 68 E9 69 EA EA 6B EC cdеeжfзgиhйiккkм
00154384 EE 6F F0 70 F1 71 F2 72 F3 73 F4 74 F5 75 F6 76 оoрpсqтrуsфtхuцv
00154400 F7 77 F8 78 F9 79 FA 7A FB FB 7D FE 7F 71 C1 60 чwшxщyъzыы}юqБ`
00154416 13 AF 39 E8 EA F4 2B 0F 80 CD 07 68 41 E8 06 ED .Ї9икф+.ЂН.hAи.н
00154432 C1 94 48 CB 8B 8D 6F C7 6D C1 B3 FC 62 53 1E B3 Б”HЛ‹ЌoЗmБіьbS.і
00154448 BA E9 C5 3B DC E4 1D 0E B9 C7 B3 FC E2 17 12 92 єйЕ;Ьд..№Зіьв..’
00154464 5B 4B DD E3 71 7D [KЭгq}

Ну вот этот блок 100% текст. Уж не знаю что с ним сделано. Пробовал смотреть и в ANSI и в UNICODE. Скорее всего не сжатый, смотрел несколькими вариантами анализа сжатости. Навряд ли пошифрованный (в программе обработчике формата не обнаружено никаких криптоалго, окромя crc32), только если как-нибудь примитивно (тот же xor).

Существует ли какая-нибудь возможность разобраться с форматом этого текста? Какие методики анализа можете подсказать?

С уважением.

| Сообщение посчитали полезным:

ну если что-нибудь примитивное, то попробуй CryptoStringsSearcher, там как раз xor, add, sub можешь доделать даже, там все с исходниками
hxxp://usar.pp.ru /CryptoStringsSearcher.1.1.rar

| Сообщение посчитали полезным:

Огромное спасибо за тулзу, есть результаты, но они меня окончательно запутали. Проанализировав весь файл, в двух методах (ADD / SUB) выявилось много читабельных строк, но все они www-адреса и e-mail'ы (но из тех же таблиц, что и все остальное). Явно они не видны.

Это большой продвиг, но теперь я запутался, почему только эту инфу получилось выявить? Может ли дело быть в русском языке?

з.ы. Низкий поклон вам, UsAr, но в asm'e я не далеко ушел.

edited
судя по

engine.inc:

.data
szAlphabet db "01234567890QWERTYUIOPASDFGHJKLZXCVBNMqwertyuiopasdfghjklzxcvbnm@:%./\ -?&=",0

только eng ) можно ли модифицировать, чтобы проблем с русским языком не было? заранее благодарен.

| Сообщение посчитали полезным:

конечно можно, только вылезет много мусора =(
там слева пишется ключик которым шифруется. Если он получается одинаковый, то может проще будет по нему уже восстанавливать?

| Сообщение посчитали полезным:

Да, ключ и правда одинаковый. Сейчас попробую разобраться.

edited
было бы кстати не плохо наверное в CSS добавить показ оффсетов для полученных строк.

edited
все получилось, большое спасибо за совет. все вышло прям как надо )

| Сообщение посчитали полезным:

NaumLeNet пишет:
было бы кстати не плохо наверное в CSS добавить показ оффсетов для полученных строк.
держи
hxxp://usar.pp.ru /CryptoStringsSearcher.1.2.rar

| Сообщение посчитали полезным:

Прикольная тулза... постани ее на васм в исходники

-----
Никогда не делай то, что возможно. Стремись сделать то что невозможно впринципе!

| Сообщение посчитали полезным:

UsAr
Программа достаточно интересная. От себя могу сказать следующее:
- добавить больше алгоритмов (операторов)
- реализовать возможность задания константы самому
- предпросмотр, чтобы можно было быстро прокрутить каждый алго по своим константам... контрол UpDown будет кул!

-----
MicroSoft? Is it some kind of a toilet paper?

| Сообщение посчитали полезным:

- исправил один досадный баг, не все строки находил
- файл с результатами теперь можно сразу открыть в блокноте
- можно выбрать алфавит самому
- можно установить минимальную длинну строки от 5 и более символов
- можно сразу выбрать ключ
hxxp://usar.pp.ru/CryptoStringsSearcher.1.3.rar
Tim пишет:
- добавить больше алгоритмов (операторов)
каких например?
- предпросмотр, чтобы можно было быстро прокрутить каждый алго по своим константам... контрол UpDown будет кул!
не совсем понял идею ...

| Сообщение посчитали полезным:

Чего-то не грузится прога, пишет URL недействителен? может в другое место выложишь?
а то я тоже давно пытаюсь расковырять один формат, может твоя прога поможет.
Заранее спасибо.

| Сообщение посчитали полезным:

monter пишет:
Чего-то не грузится прога
грузится, грузится, просто протокол - hxxp->http и лишний пробел

| Сообщение посчитали полезным:

Упс, пробел не заметил. Спасибо.

| Сообщение посчитали полезным:

UsAr
в версии 1.3 как-то некорректно стали работать ADD / SUB алгоритмы. по крайней мере при задании русского алфавита. прогресс бар пролетает мгновенно, результатов 0.

edited
некорретно путь к файлу обрабатывается. открыл файло глубоко в Program Files - путь вверху показывает C:\Program (споткнулся на пробеле), результатов понятное дело 0

edited
шмяк. если второй раз на открытом файле делаешь любой алго выдает 0. короче последние версии как то больно жутко стали глючить (( пофиксишь?

| Сообщение посчитали полезным:

NaumLeNet пишет:
в версии 1.3 как-то некорректно стали работать ADD / SUB алгоритмы. по крайней мере при задании русского алфавита. прогресс бар пролетает мгновенно, результатов 0.
исправил
шмяк. если второй раз на открытом файле делаешь любой алго выдает 0. короче последние версии как то больно жутко стали глючить (( пофиксишь?
тоже исправил
перезалил опять вместо версии 1.3
а баг с пробелом что-то не удалось выловить, просто увеличил буфер под имя файла

| Сообщение посчитали полезным:

1) Caption = "CryptoStrignsSearcher
2) почему то некорректно работают SUB / ADD алгоритмы когда использую русский алфавит. объясню почему.

Беру файл, ставлю английский алфавит, 7 символом минимум (все по дефолту короче), прогоняю SUB'ом, выявляю те строки на английском что пошифрованы, узнаю ключ, с помощью ключа дешифрую уже своей небольшой утилью весь файл, получаю и русский строки тоже.

Но когда беру и прогоняю этот файл с русским алфавитом (остальное по дефолту), то НЕ получаю НИ одной нормальной, корректной строки - только мусор.

В чем фишка?

| Сообщение посчитали полезным:

Еще раз исправил, там просто с полученным ключем неправильно расшифровывалось, вообще странно что с английским алфавитом нашлись строки =)
Кстати, может кто-нибудь знает как нормально отфильтровать мусор?

| Сообщение посчитали полезным:

UsAr
смотря какой мусор. А в алго можешь как раз добавить всякие алгоритмы сжатия аля гзип

| Сообщение посчитали полезным:

мусор можно и регулярками фильтрануть ) но это не повод встраивать парсер и компилятор регвыражений в CSS нормально все, UsAr, не грей моск.

| Сообщение посчитали полезным:

UsAr Огромный респект!!! Твоя прога очень помогла мне решить свою проблему! В моем случае оказался покриптован весь файл с данными. В связи с этим можно ли добавить в твою программу функцию перекодирования всего файла по ранее найденному ключу?

| Сообщение посчитали полезным:

monter
а на кой? это уже комбайн какой-то получается, по крайней мере с название проги не стыкуется. проще ручками, имхо. на чем писать умеешь? Delphi? помочь?

| Сообщение посчитали полезным:

monter
в WinHex'e открываешь свой файл, выделяешь нужный кусок, потом правую кнопку, Edit -> Modify Data (Ctrl + T)

| Сообщение посчитали полезным:

UsAr
Беру последний CSS (1.3) с твоего офф сайта, закладываю туда здоровенький файлец - 22 метра, и прога не говоря не слова (обрабатываю с дефолтовыми настройками, алго = ADD) вылетает процентах на 20... просто закрывается ничего не сообщая. Плиз, помоги разобраццо.

| Сообщение посчитали полезным: