Есть алго, ищет строчку в куче файлов. К поиску в принципе претензий нет, всё работает, но нужно в фоне, а он кушает от процессора много %. Мне бы 1-2% и всё, да и оптимизировать это дело...
Принцип:
* Находим файл
----
* Открываем
* ReadFile на размер буфера
* Ищем в буфере
* Если в буфер попал весь файл - выход. Если нет - 2 шага назад

Собственно пихаю ожидание перед чтением очередной порции, WaitofSingleObject(10), но судя по всему он успевает разогнаться на % на стадии парсинга буфера.

Собственно не поделитесь примерами макс. оптимизированного открытия \ чтения файла и может есть какие-то другие "фишки" тихой, но быстрой работы?

| Сообщение посчитали полезным:

создавай отдельный поток, ставь ему приоритет чуть выше Idle, и он пускай делает всю работу

| Сообщение посчитали полезным:

[wl] пишет:
создавай отдельный поток, ставь ему приоритет чуть выше Idle, и он пускай делает всю работу
тогда задача будет выполнятся в фоне используя все свободные ресурсы, а если я правильно понял автора то нужно что бы задача сама по себе ела мало ресурсов, не создавая нагрузки на процессор (видимо что бы не палится )

Freecod
если процессор разгоняется на парсинге то делай минимальный sleep внутри цикла парсинга

| Сообщение посчитали полезным:

Freecod пишет:
Собственно не поделитесь примерами макс. оптимизированного открытия \ чтения файла
Смотри в сторону маппинга файла в память.

| Сообщение посчитали полезным:

Мэппинг больших файлов насилует память вплоть до размера файла. Если есть способ мэппить файл кусками или как-то иначе, чтоб не жрать память - слушаю.
Минимальный слип в поиске в файле размером 100 кб убивает на поиск 3 минуты... Думаю уменьшать буфер надо.

| Сообщение посчитали полезным:

ну дык http://msdn.microsoft.com/en-us/library/aa366761.aspx три последних параметра заюзайте и будем вам мапинг по частям.. правда можно мапить только выровненными кусками(

ps: у меня параноя, или http://www.exelab.ru/f/action=vthread&forum=6&topic=11933& page=0 дубль

| Сообщение посчитали полезным:

Что-то не пойму.
pMemory = MapViewOfFile(hMapFile,FILE_MAP_READ,0,0, SizeReadBuffer); // SizeReadBuffer = 1048576;
Сразу первый файл 10 кб - возвращает 0, код ошибки 0x05
И как будет двигаться окошко, если учесть что мне не нужны файлы больше гига?

| Сообщение посчитали полезным:

http://www.google.com/codesearch?q=MapViewOfFile+lang%3Ac http://www.google.com/codesearch?q=MapViewOfFile+lang%3Ac
4я ссылка

| Сообщение посчитали полезным:

LazzY: Это параноя =) Мне казалось я прошлую тему на си форуме создавал... Вообщем тогда я так ни к чему не пришёл, а доделать хочу.

| Сообщение посчитали полезным:

Короче что вы тут все трете-то, все же уже сказали: частичный мапинг + слипы в цикле + отд. поток с низким приоритетом - и не парься.

-----
Флэш, ява, дотнет - на завтрак, обед и ужин. Unity3D на закуску.

| Сообщение посчитали полезным:

Что-то вообще никак, даж мсдн не помогает. Ладно, если файл меньше буфера - ставлю в качестве размера считываемых байт всю его длинну. Читает. Но если больше! Делаю -
pMemory = MapViewOfFile(hMapFile,FILE_MAP_READ,0, allpos, sizebuf); // allpos - текущая позиция по файлу, sizebuf - кол-во чит. байт.

Первый раз - allpos = 0 читает, всё ок. Второй - allpos сдвинулся - снова облом.
Если верить мсдн - allpos должен быть выровнен. Но я же читаю сплошной массив байт, что, если искомая строка оказалась разрезанна границей? Приходиться при близости конца при встрече символов, с которых может начинаться строка, оставлять а потом открывать с этого же места. Есть идеи?

| Сообщение посчитали полезным:

drin пишет:
тогда задача будет выполнятся в фоне используя все свободные ресурсы
Отдельный поток сам по себе не может сожрать много ресурсов ну если это тольео не EBFE, а с низким приоритетом так вообще будет незаметно.

Freecod есть такая прога Search&Replace (залил сюда uploaded.to/?id=f10o2t), я был поражен когда задал ей искать строки в папке с игрой. Мало того что она единственная нашла эти строки (даже WinHex в указанном файле не нашел ни в одной кодировке), так еще файл размером в 14 мб она просканила за доли секунды. Посмотри как там реализовано.

-----
Yann Tiersen best and do not fuck

| Сообщение посчитали полезным:

PE_Kill: ок, спасибо.

Поделитесь ещё ответом на такой вопрос - какой размер ближе к половине мегабайта будет всегда выровнен?

| Сообщение посчитали полезным:

PE_Kill пишет:
Отдельный поток сам по себе не может сожрать много ресурсов ну если это тольео не EBFE, а с низким приоритетом так вообще будет незаметно.
Эта, если в любом потоке сделать "for (;;) ;" (или что-то что ест проц в мелком цикле), то CPU usage мгновенно вырастет до 100%. В случае с низким приоритетом просто OS отдаст процессорное время любому другому потоку и, следовательно, не будет видимых тормозов. (если scheduler работает правильно).

Так что, что бы не было пиков в графе CPU usage, не надо кушать сей ресурс. Sleep().

| Сообщение посчитали полезным:

Freecod
кстати, можно попробовать упростить задачу контроля исползования цыклов CPU - всю работу делать в отдельном потоке, а в основном или другом его останавливать/запускать, вот тебе элементарный пример который ест ровно 2% CPU, правда боюсь с тяжолой работой будет не все так четко но в пределах удержится, в данном случае можно уменьшить кратность слипов (1/49) для большей "гладкости" но и накладных расходов будет больше и наоборот увеличив кратность, например (10/490), будут скачки маленькие но зато накладных расходов на остановку/запуск а так же сон внутри контрлирующего потока будет значительно меньше


function WorkThrd(Param: dword): dword; stdcall;
begin
while true do begin
Form1.Edit1.Text := IntToStr(Param);
inc(Param);
end;
end;

function CtrlThrd(hWorkThrd: dword): dword; stdcall;
begin
while true do begin
ResumeThread(hWorkThrd);
sleep(2);
SuspendThread(hWorkThrd);
sleep(98);
end;
end;

procedure TForm1.FormCreate(Sender: TObject);
var
ThrdID, hWorkThrd: dword;
begin
hWorkThrd := CreateThread(nil, 0, @WorkThrd, nil, CREATE_SUSPENDED, ThrdID);
CreateThread(nil, 0, @CtrlThrd, Ptr(hWorkThrd), THREAD_PRIORITY_ABOVE_NORMAL, ThrdID);
end;


| Сообщение посчитали полезным:

Что бы далеко не отходить...

У кого есть в наличии установленный Windows SDK, залейте плз .h и .lib для следующих файлов:
icmpapi.h
ipexport.h
iphlpapi.h
и связанные с ними файлы из SDK, если требуются.
У меня VC6, так что борландовские не подходят, а SDK скачать не могу...

| Сообщение посчитали полезным:

Freecod, в последних версиях SDK есть компилер (ессно из VS). Либы могут не подойти... Формат debug info изменился, хотя сами .obj, которые в .lib, должны быть обычными...

Вот headers. Кста, замучаешься исправлять все #includes... Какие либы нужны?

0cdc_10.07.2008_CRACKLAB.rU.tgz - headers.tar.bz2

| Сообщение посчитали полезным:

Блин, сколько связей всплывает...
Ещё нужны:

iprtrmib.h
iptypes.h

либы:

iprtrmib.lib
iptypes.lib
icmpapi.lib
ipexport.lib
iphlpapi.lib

| Сообщение посчитали полезным:

начинай резать headers а то понадобится весь SDK.

e86d_10.07.2008_CRACKLAB.rU.tgz - headers.tar.bz

| Сообщение посчитали полезным:

вот lib. Остального нету в PaltformSDK...

4b7b_10.07.2008_CRACKLAB.rU.tgz - IPHlpApi.Lib.bz2

| Сообщение посчитали полезным:

Спасибо, очень выручил. 1гб этого SDK ради 5 файлов...

| Сообщение посчитали полезным:

Недеюсь модеры не будут против, если я сюда все текущие проблемы солью =)

Хочу вызывать функцию из z.asm. У меня VC6, так что добавил файл, в настройках настроил компиляцию (С:\masm32\bin\ml.exe /c /coff /nologo $(InputPath) \ .\$(InputName).obj)

В z.asm поправил - вместо start:
.code
PUBLIC _cleanoff
_cleanoff PROC NEAR

Файл собирается в объектник без проблем.
Теперь хочу вызвать его из x.cpp
В шапке
extern "C" void cleanoff ();
вызов
cleanoff();

При линковке x.obj
x.obj : error LNK2001: unresolved external symbol _cleanoff
Release/x.exe : fatal error LNK1120: 1 unresolved externals

Что делаю не так?

| Сообщение посчитали полезным:

Объясните мне, идиоту, почему нужно делать отдельным файлом, вместо того, чтобы в __asm запихать?

| Сообщение посчитали полезным:

Freecod, в VS2003+ ещё надо сказать какой файл на выходе, а иначе dependencies (зависимости) говнятся. Посмотри в linker command line - есть твой файл? Ну а потом "dumpbin z.obj" - проверь есть ли ф-ция и её имя.

З.Ы. "cleanup" на аглицкой мове

| Сообщение посчитали полезным:

droid: а разве можно запихать в __asm {} всю программу на asm целиком? Начиная с .386 и заканчивая END?
s0larian: у меня VS6
PS я отключаю отчистку - так что cleanoff =)

| Сообщение посчитали полезным:

кстати, как избавиться от
LINK : warning LNK4089: all references to "NETAPI32.dll" discarded by /OPT:REF
то есть если я не делаю
#pragma comment(lib,"netapi32.lib")
То прёт ошибки при линковке, а так даёт варнинг. Что ему не нравиться?

| Сообщение посчитали полезным:

ну дык опция линкера /OPT:REF отрубает все ссылки на NETAPI32.dll, ибо
OPT - оптимизация
REF - по ссылкам
вкури
msdn.microsoft.com/en-us/library/bxwfs976(VS.80).aspx
на всяк случай...
там кста еще написано, что:
The /OPT:REF option disables incremental linking

-----
Флэш, ява, дотнет - на завтрак, обед и ужин. Unity3D на закуску.

| Сообщение посчитали полезным: