Уважаемые форумчане. Знаю, что данный ресурс создавался для обсуждения тем, связанных с ОС Windows. Но ведь есть уже разделы по андроиду, по flash, по дотнету. Эти все темы не совсем связаны с Windows, точнее сказать, весьма далеки от исследования нативных приложений под винду, поэтому мне кажется логичным обсуждение ос семейства Linux.

Так исторически сложилось, что мне приходится тратить некоторое время на изучение этой темы, а изучать-то и нечего. Есть литература по администрированию Linux, но вот хорошей добротной (и свежей) инфы по линуксу практически нет.

Есть мысли разделить найденный материал на несколько категорий, т.к. благодаря людям с форума и гуглу появилась хоть какая-то инфа.

Настройка рабочей среды
Подраздел охватывает темы, прямо или косвенно связанные с установкой, настройкой и подготовкой к работе ОС Linux.
--> Настройка сети в VirtualBox <--
--> Установка VirtualBox Guest Additions в Kali<--
--> Linux. Карманный справочник. Скотт Граннеман <--
--> Инструменты кросскомпиляции для ARM <--
--> Компилятор GNU GCC<--
--> Команды Linux <--
--> Удалённая отладка с помощью gdbserver и Ida Pro <--
--> Обзор инструментария для исследований (не первой свежести обзор) <--
--> Удаленная отладка в Linux при помощи связки GDB-gdbserver <--

Введение в устройство ОС
Подраздел в общем и целом, без низкоуровневых деталей и кода, описывает устройство ОС. Поверхносто, но нужно для общего представления.
--> Анатомия ядра Linux<--
--> Исследование ядра Linux'а<--
--> Anatomy of Linux dynamic libraries <--
--> Обзор Linux <--
--> Динамическое связывание библиотек в Windows и Linux <--
--> Linkers and Loaders Guide <--

Программирование
Подраздел посвящён системному программированию под Linux.
--> Ядро Linux в комментариях<--
--> Pro Linux Embedded System <--
--> Linux Device Drivers, Third Edition <--
--> Знакомство с межпроцессным взаимодействием на Linux <--
--> Ещё одна книга по модулям ядра <--
--> Netlink Library <--
--> Kernel API Reference <--
--> Литература по программированию модулей ядра <--

Статьи по реверсингу

2002-2004 год:
--> Reverse Engineering Linux x86 Binaries <--
--> Reverse Engineering Linux ELF Binaries on the x86 <--
--> Reverse Engineering using the Linux Operating System.<--

Другие статьи:
--> Отладка двоичных файлов под gdb <--
--> Особенности национальной отладки в UNIX <--
--> Погружение в технику и философию gdb (окончание) <--
--> Детальный анализ бэкдора Linux/Ebury <--
--> 8 gdb tricks you should know <--

Разное

Касперски --> Искусство дизассемблирования<--
--> Linux System Call Table for x86_64 <--
--> System call tables x86 (BoRoV настоятельно рекомендует) <--
--> Отладка с помощью GDB <--
--> Команды GDB<--
--> Что делать, если отлаживаемый процесс форкается <--
--> Про способы внедрения кода в чужое адресное пространство <--
--> Обзор защит программного обеспечения под Linux <--
--> How to build your own kernel on Ubuntu <--
--> EDB - оллиподобный отладчик для х86/x64 <--
--> По многочисленным просьбам трудящихся - Таблица syscall'ов под ARM <--

-----
Stuck to the plan, always think that we would stand up, never ran.

| Сообщение посчитали полезным: VodoleY, OnLyOnE, Carpe DiEm, hors, ELF_7719116, =TS=, verdizela, Tony_Stark, mak, anonymous, synthetic, rd111

Все просто, все так называемые открытые кодеры безумцы, а потому и код у них безумен и бездарен, и есно он не скомпилиться без палочки гарри потера. Сколько раз я не пытался увидеть открытые сорцы без тошноты это не заканчивалось.

-----
have a nice day

| Сообщение посчитали полезным:

reversecode
Да, не очень информативно, ну да ладно, я уже понял, что никто мне в этом не поможет.

-----
Stuck to the plan, always think that we would stand up, never ran.

| Сообщение посчитали полезным:

ничего ты не понял
я тебе предложил запостить лог компиляции о том что не получается на сайт pastebin.com
ты или не понял или проигнорил или вообще ничего не пробовал,
нимнул подтрольнул и ты загрустил

| Сообщение посчитали полезным: RoadTrain

Сколько раз я не пытался увидеть открытые сорцы без тошноты это не заканчивалось.
Подпишусь под каждой буквой и запятой.
Читал тут сурсы валгринда, даже трудно подобрать правильный эпитет
для моей охуевленности

| Сообщение посчитали полезным:

вы просто не умете читать
все там хорошо, и демон ада тоже вчера все свои компилеры поставил
вообщем нужна посто усидчвость что бы все получилось

| Сообщение посчитали полезным:

ARCHANGEL пишет:
Но почему-то нет чего-то похожего на Windows Internals, на русском вообще практически ничего нет.

Ядро Линукс в комментариях

| Сообщение посчитали полезным: ARCHANGEL

ARCHANGEL пишет:
Нагуглил статью --> Вот<--, но что-то тут надо через 7 кругов ада пройти, не вериться мне, что всё так трудно.


Да в общем-то, всё так и есть.
Одни авторы пользуются библиотеками других авторов, те - библиотеками третьих, а эти в свою очередь, библиотеками первых (ну, я утрирую чуть-чуть)).
И всё это со своими сорсами, авторскими выгибонами и прочими чюдачествами.
Причём авторами портов каждой из библиотек в другие системы могут быть не те же люди, что авторы xNIX'ных сборок этих же библиотек.
Но, если постараться, то всё со временем выходит. И работает почти что без глюков.

Опять же, авторы авторам рознь. Есть очень симпатичные в смысле программистских решений вещи. Есть - не очень.

Бывает, что всё Ok - а поддержки кириллицы нет. В одной такой программе мне пришлось дописать враппер для ReadConsoleInput(), пользуюсь той программой постоянно в Windows.



| Сообщение посчитали полезным:

ARCHANGEL пишет:
Люди добрые, дайте ссылку на вменяемую статью по кросскомпиляции.
Установка компилятора GCC для ARM --> Link <--

а теперь начнем с того, что у тебя за дистрибутив линукс ? а то их "овер9000"
ARCHANGEL пишет:
но что-то тут надо через 7 кругов ада пройти, не вериться мне, что всё так трудно.
это опенсорс, привыкай
для линукс есть неплохой отладчик edb, я его правда использую в FreeBSD, и этой ОС только пользуюсь
еще есть класная команда truss, man truss даст больше примера.


| Сообщение посчитали полезным:

Я лично не программировал "системных программ" под линукс но для программирования микроконтроллеров пользовался вот этой статьей --> Link <-- для установки тулчейна.

В качестве развлечения однажды поставил на виртуальной машине --> Link <-- но там очень подробная инструкция как и что делать и у меня вопросов не возникло.

Так же когда я еще пытался поломать APT-x (это такой енкодер для bluetooth чтобы звук был приемлемого качества как по проводам) но в ввиду сложности реализации стека (а для этой либы нужны были изменения в стеке) я это дело забросил но как минимум я пытался собрать стек bluetooth под андроид и использовал для этого компилятор sourcery_g++_lite правда кроме C/C++ части там еще была Java часть ;(

| Сообщение посчитали полезным:

Возник у меня вопрос. Вот есть у меня теперь на убунте компилятор под арм. Есть сорцы, скачанные с инета. Как теперь им что-то собрать? Я пишу ./configure --target=arm-linux-gnueabi --prefix=/usr/mydir. Вначале оно потребовало termcap, в инете сгуглил, что на самом деле это оно требует libncurses5. apt-get install скачал мне их. make; make install сработали (как-то), и я получил бинарь. Но не всё так просто и радужно в этом мире. На бинарь применил команду file, и результат такой:

arm-linux-gnueabi-gdb: ELF 32-bit LSB executable, Intel 80386, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.24, BuildID[sha1]=0x6e4a965ca1ae019dec4863d452d1fbabc6e37753, not stripped


Почему интел 80386, где арм? И ещё вопрос, я хочу, чтоб бинарь был не dynamically linked, а статически слинкованный. Флаг -static не работает в скрипте configure. Что я делаю не так?

Добавлено
По первому пункту пойду попробую всё-таки добавить опцию --host, а то как-то по идиотски получается

-----
Stuck to the plan, always think that we would stand up, never ran.

| Сообщение посчитали полезным:

./configure --help
с чего ты взял что там есть --target=
ARCHANGEL пишет:
make; make install сработали (как-то), и я получил бинарь
то что ты установил arm gcc еще ничего не говорит о том что все собираемые проги будут под арм
в конце концов есть понятие зависимости, и если собирая что то под арм имеет зависимость, то и эту зависимость надо собирать под арм

ARCHANGEL пишет:
Флаг -static не работает в скрипте configure.
опять же
./configure --help
есть ли он ли автор не добавлял такую возможность, тогда надо умеючи все это собирать

| Сообщение посчитали полезным:

reversecode
Вот как мне научиться, чтоб я по каждому чиху не бегал сюда с вопросами, а то уже перед тобой неудобно? Я уже и так тебе должен ящик машину пива подогнать.

Добавлено
./configure --help выдаёт инфу, читаю.
--target и --host присутствуют. Есть ещё много всякого неясного, например:


CC C compiler command
CFLAGS C compiler flags
LDFLAGS linker flags, e.g. -L<lib dir> if you have libraries in a
nonstandard directory <lib dir>
LIBS libraries to pass to the linker, e.g. -l<library>
CPPFLAGS C/C++/Objective C preprocessor flags, e.g. -I<include dir> if
you have headers in a nonstandard directory <include dir>
CXX C++ compiler command
CXXFLAGS C++ compiler flags


Я так понимаю - их надо юзать, т.е. надо как-то задать, какой компиль я буду использовать как С, какой как С++. И теперь, если добавить опцию --host, оно опять требует termcap. Почему оно приклепалось до этого термкап?

-----
Stuck to the plan, always think that we would stand up, never ran.

| Сообщение посчитали полезным:

1) исходные коды всех утил итд открыты, можно скачать и изучить как они работают
2) что бы в чем то разобраться нужно начать сначала, а именно понимать всю цепочку происходящих событий

ты запускаешь configure
а что это? а кто это? кто его создал? а как он работает? а что он создает? а на основе чего? а как там что то менять? итд итп

нарисуй список вопросов для себя, и постепенно ищи ответы-отвечай и понимание прийдет

в юниксах не работает метод "просто запускаем и чет будет", понимать суть действий надо обязательно

| Сообщение посчитали полезным:

reversecode
Ок, с вопросами попробую, а сеть книжка по разработке такая, чтоб я её читал, и вот всё, что там написано, я могу повторить. Т.е. без опечаток, без того, что "ну, вы понимаете, в 2004/5/6 было так, а теперь не так". Вот читаю, делаю, и всё так. И при этом чтоб я не ось собирал, а софт, т.е. чисто программирование. Нет, не без того, конечно, чтоб что-то из оси собрать, но не для того, чтоб не скучно было, а если это действительно нужно. Или для линукса такое не осилили?

-----
Stuck to the plan, always think that we would stand up, never ran.

| Сообщение посчитали полезным:

ARCHANGEL пишет:
а есть книжка по разработке такая, чтоб я её читал, и вот всё, что там написано, я могу повторить.
а черт его знает я никогда книги не читал
но наверняка что то есть, должны же книгоплеты как то зарабатывать
просто система в целом логичная и понятная, книги вроде особо и не нужны, гугл спасает во всяких закавыристых вопросах когда лень углублятся в какойто ньюанс

можешь попробовать поискать какие то книги по программированию под линуксом
но врядли кто то рассписывал все ньюансы отдельных утилит
попробуй только почитай в гугле
how to write make file linux
how to write configure file linux
и поймешь что никто книг писать не будет по ним)


ARCHANGEL пишет:
И при этом чтоб я не ось собирал, а софт, т.е. чисто программирование.
так оно все одинаковое, комманды только могут быть разными
вцелом все собирает make на основе makefile, а вот makefile иногда генерятся по разному, для оси одинм путем, для софта по другому-разному
в целом configure все генерит, но ньюансы могут быть

ARCHANGEL пишет:
оно опять требует termcap. Почему оно приклепалось до этого термкап?
в конфигуре прописано, зависимость видимо есть
и опять же, иногда конфигуре скрипты пишут абы как, и для каких то специфических сборок надо все перепавлять по своему, но ты ж разберешься надо или не надо и переделаешь)

| Сообщение посчитали полезным:

Вот я просто взял и собрал gdb под х86, и он работает, и там всё норм. Ну неужели нет способа его собрать для арм без бубна?

-----
Stuck to the plan, always think that we would stand up, never ran.

| Сообщение посчитали полезным:

все можно если осторожно, но нужно ли?
зачем отладчик gdb на арме? если отлаживать приложения, то ты все равно gdb не умеешь пользоватся же?
тогда проще пойти по пути ida+linux_server под арм

если сильно хочется, то gdb как и gcc уже есть в репозиториях собраны под нужные платформы

| Сообщение посчитали полезным:

ARCHANGEL пишет:
Возник у меня вопрос. Вот есть у меня теперь на убунте компилятор под арм.
ты можешь работать через хост с ARM процом, но там походу еще дебаг кабель надо
для компиляции надо читать INSTALL, README или коментарии в makefile, типа того, не всегда надо начинать с ./configure, иногда просто с make и туда уже вводишь аргументы для кросс компиляции.
И помним самый главный лозунг опенсорс "Зато бесплатно!"

| Сообщение посчитали полезным:

ARCHANGEL пишет:
Вот я просто взял и собрал gdb под х86, и он работает, и там всё норм. Ну неужели нет способа его собрать для арм без бубна?

Без бубна нельзя это же не настолько распространенная задача как собрать gdb под простой линух

Думаю что если поискать в интернетах то можно что нибудь найти.

Например: --> Link <--

Я вот не заморачиваюсь сборкой тулов если они уже есть и работают как мне нужно.

| Сообщение посчитали полезным:

SPLESH пишет:
Думаю что если поискать в интернетах то можно что нибудь найти.

В ссылке упоминаться книга --> Link <-- которая на мой взгляд очень хорошо описывает все этапы разработки линукса под встраиваемые системы.

| Сообщение посчитали полезным: ARCHANGEL

SPLESH пишет:
Я вот не заморачиваюсь сборкой тулов если они уже есть и работают как мне нужно.

Так и я б не заморачивался, но готового дебаггера у меня нет. И если тулчейн можно, наверное, и не собирать, то вот дебаггер собрать придётся. Я просто не пойму, вот, допустим, есть у меня тулчейн, как мне его "установить" и как потом им что-то "собрать"? Именно им, а то получается, как говорил reversecode, если у меня в системе стоит кросскомпиль, это не значит, что теперь всё будет им собираться.

-----
Stuck to the plan, always think that we would stand up, never ran.

| Сообщение посчитали полезным:

готовый дебагер можно стянуть как и другие пакеты

потому что они не расчитаны на то что бы собирать другие платформы на главной системе

что бы собирать нужно подстраивать CC CCX итд на новый компилер, по умолчанию будет тот что в host системе, ну и как минимум не будет зависимостей от других пакетов, иначе и их нужно собирать и потом пути перенастраивать что бы основной пакет уже их подхватил при компиляции

| Сообщение посчитали полезным:

ARCHANGEL пишет:
если у меня в системе стоит кросскомпиль, это не значит, что теперь всё будет им собираться.
верно подмечено, иногда для нужного софта надо определенную версию GCC, в системе GCC 4.8, а для сборки софта надо 4.6 и ты хоть тресни, но компилятору "по транслятору", должна быть версия 4.6

| Сообщение посчитали полезным:

кросc компилей насколько я помню в линуксе нет, нельзя одним и тем же gcc собирать и arm и x86 итд
для этого дожен быть свой gcc

| Сообщение посчитали полезным:

У меня для разных целей сейчас вот такие лежат тулчейны (и в каждом есть gdb)

arm-none-eabi-gcc (Sourcery G++ Lite 2009q3-68) 4.4.1
arm-none-eabi-gcc (Sourcery G++ Lite 2011.03-42) 4.5.2
arm-none-eabi-gcc (Linaro GCC 4.8-2013.07-1) 4.8.2 20130624

Sourcery G++ устанавливаться очень просто скачал - распаковал и все

Linaro описан в ссылке --> Link <--

Переключаю их изменением пути в PATH.

Makefile например:


Makefile делал не я но в общем я знаю как мне его нужно изменить чтобы он делал то что мне нужно.

другое дело что для дебага таких вещей как ARM Cortex-M3/M4 нужен еще отладчик по JTAG и софт для него.

| Сообщение посчитали полезным:

SPLESH
Sourcery G++ Lite не скачивается. Зарегался на сайте, пришло письмо со ссылкой, по ссылке перейти не получается, т.к. сервер не отвечает.

Linaro скачивается, там есть возможность скачать уже собранные бинари как для Linux, так и для Windows. Я их скачиваю, и это прекрсано. Как мне теперь их использовать, как на винде что-то собрать? Зашёл в вики на сайте Linaro - там нет ни одного раздела с упоминанием Windows. И теперь у меня есть тулчейн, я понимаю, что что-то надо писать то ли в параметры ./configure, то ли можно уже сгенеренный makefile редактировать. Но это всё "вода", а не помешал бы пример, как под виндой что-то этим тулчейном собрать.

Добавлено
Курю пока --> Это <--

-----
Stuck to the plan, always think that we would stand up, never ran.

| Сообщение посчитали полезным:

ARCHANGEL пишет:
как под виндой что-то этим тулчейном собрать.
зачем? уже давно все собрано
ARCHANGEL пишет:
Курю пока --> Это <--
а че там курить,
https://launchpad.net/linaro-toolchain-binaries
и справа все екзешники для винды

| Сообщение посчитали полезным:

Хм я даже не знал что у них есть свой сайт )

Тот Makefile что я привел в качестве примера я взял уже готовый сделанный не мной (не использовав configure скрипт)

А для сборок различных пакетов реального линукса под ARM существуют обычно наборы BSP у меня например лежит такая плата SK-iMX53-OEM правда без SK-iMX53-MB

Так вот для нее есть андроид --> Link <--

Я конечно пока еще нечего с платой не делал (хватает других дел) но чисто теоретический если там все так просто как говорит автор то проблем не должно возникнуть.

При сборке реального андроида (CyanogenMod) с измененной библиотекой bluetooth у меня возникли некоторые сложности. Не собирался он, а разбираться что да как уже не было сил.

| Сообщение посчитали полезным:

reversecode
Та ехе я скачал, вопрос в том, что ото туда в них передавать, чтоб они собирали то, что мне надо.

SPLESH пишет:
А для сборок различных пакетов реального линукса под ARM существуют обычно наборы BSP у меня например лежит такая плата SK-iMX53-OEM правда без SK-iMX53-MB

Т.е. вы на плате всё собираете?

-----
Stuck to the plan, always think that we would stand up, never ran.

| Сообщение посчитали полезным:

ну так обычный же гцц

| Сообщение посчитали полезным: