Всем лучшего доброго времени суток!

Тема эта звучит уже давно. И постоянно ускользает в нескончаемом троллинге. В теме про Инди уже 15 страниц, а визоров нет... (Надеюсь, здесь такого не будет, будет исключительно по теме)
Хоть и автор этого сабжа частенько переходит дозволенные границы, перегибает палку, лезет в бочку, катит балоны и т.д и т.п, везде всё-таки визоры упоминаются. Я человек не обидчивый, знаю, что где-то внутри, может быть, глубоко, может даже очень, но Инди человек хороший и писать некие ненужные слова у него находятся какие-то внутренние причины. Разберётся в них, если только психиатр, и то не каждый...

Так вот, по сабжу. Что же это такое? Чем визоры могут помочь, например, мне? Я человек, кремень, мне только дай идею, ухвачусь, и ещё своего привнесу, улучшу... Если мне попутно, конечно, будет...

Хорошо бы реальные примеры здесь привести. То есть, визоры на практике. Видео, или пусть даже 10 абзацев рассказов об их применении.

Такая формулировка пойдёт?

P.S. Просьба большая ко всем - не троллить, а только по существу. Написал в основном форуме потому, что возможно это передовая технология и все мы упускаем её ввиду недостаточной адекватности её автора. Не хотелось бы, чтоб топ ушёл в оффтоп.

-----
IZ.RU

| Сообщение посчитали полезным: Adler, plutos

клерк думает если он знает слова - граф и двух связный список, то сможет вайти в мл
что ж откроем гугл дабы проверить обладает ли клеркпростой беларус без высшего образования нужными знаниями

клерк, на всяк случай достань старый дедов ремень и подвяжи себе снизу
что бы когда вставал часть тебя что выше шеи не сместилась ниже пояса, захватив по пути свои завтраки, обеды и ужины

https://www.quora.com/What-skills-are-needed-for-machine-learning-jobs

Linear Algebra, Probability, Basic optimization techniques like gradient descent, most commonly used machine learning models like Naive Bayes, Linear Regression, Logistic Regression, Support Vector Machines, Neural Networks, dimensionality reduction, and k-means Clustering. Practical experience of some of these will help.

Apart from the models, knowledge of bias-variance trade-off, validation procedures, common performance metrics like accuracy, precision recall, etc. is important.

Programming knowledge of one scripting language and one object oriented language is must.

While equipping yourself with above, you will naturally end up having a knowledge of one or more Machine Learning packages, which is also a must.



1. Python/C++/R/Java - you will probably want to learn all of these languages at some point if you want a job in machine-learning. Python's Numpy and Scipy libraries [2] are awesome because they have similar functionality to MATLAB, but can be easily integrated into a web service and also used in Hadoop (see below). C++ will be needed to speed code up. R [3] is great for statistics and plots, and Hadoop [4] is written in Java, so you may need to implement mappers and reducers in Java (although you could use a scripting language via Hadoop streaming [5])

2. Probability and Statistics: A good portion of learning algorithms are based on this theory. Naive Bayes [6], Gaussian Mixture Models [7], Hidden Markov Models [8], to name a few. You need to have a firm understanding of Probability and Stats to understand these models. Go nuts and study measure theory [9]. Use statistics as an model evaluation metric: confusion matrices, receiver-operator curves, p-values, etc.

3. Applied Math + Algorithms: For discriminate models like SVMs [10], you need to have a firm understanding of algorithm theory. Even though you will probably never need to implement an SVM from scratch, it helps to understand how the algorithm works. You will need to understand subjects like convex optimization [11], gradient decent [12], quadratic programming [13], lagrange [14], partial differential equations [15], etc. Get used to looking at summations [16].

4. Distributed Computing: Most machine learning jobs require working with large data sets these days (see Data Science) [17]. You cannot process this data on a single machine, you will have to distribute it across an entire cluster. Projects like Apache Hadoop [4] and cloud services like Amazon's EC2 [18] makes this very easy and cost-effective. Although Hadoop abstracts away a lot of the hard-core, distributed computing problems, you still need to have a firm understanding of map-reduce [22], distribute-file systems [19], etc. You will most likely want to check out Apache Mahout [20] and Apache Whirr [21].

5. Expertise in Unix Tools: Unless you are very fortunate, you are going to need to modify the format of your data sets so they can be loaded into R,Hadoop,HBase [23],etc. You can use a scripting language like python (using re) to do this but the best approach is probably just master all of the awesome unix tools that were designed for this: cat [24], grep [25], find [26], awk [27], sed [28], sort [29], cut [30], tr [31], and many more. Since all of the processing will most likely be on linux-based machine (Hadoop doesnt run on Window I believe), you will have access to these tools. You should learn to love them and use them as much as possible. They certainly have made my life a lot easier. A great example can be found here [1].

6. Become familiar with the Hadoop sub-projects: HBase, Zookeeper [32], Hive [33], Mahout, etc. These projects can help you store/access your data, and they scale.

7. Learn about advanced signal processing techniques: feature extraction is one of the most important parts of machine-learning. If your features suck, no matter which algorithm you choose, your going to see horrible performance. Depending on the type of problem you are trying to solve, you may be able to utilize really cool advance signal processing algorithms like: wavelets [42], shearlets [43], curvelets [44], contourlets [45], bandlets [46]. Learn about time-frequency analysis [47], and try to apply it to your problems. If you have not read about Fourier Analysis[48] and Convolution[49], you will need to learn about this stuff too. The ladder is signal processing 101 stuff though.

Finally, practice and read as much as you can. In your free time, read papers like Google Map-Reduce [34], Google File System [35], Google Big Table [36], The Unreasonable Effectiveness of Data [37],etc There are great free machine learning books online and you should read those also. [38][39][40]. Here is an awesome course I found and re-posted on github [41]. Instead of using open source packages, code up your own, and compare the results. If you can code an SVM from scratch, you will understand the concept of support vectors, gamma, cost, hyperplanes, etc. It's easy to just load some data up and start training, the hard part is making sense of it all.


| Сообщение посчитали полезным:

reversecode

Всё выше приведённое не соответствует реалу, особенно про unix и скрипты для него. При необходимости это дырявое говно разбирают без каких либо трудностей.)

-----
vx

| Сообщение посчитали полезным:

ну да, тебе хотя бы освоить базу линейной алгебры которую начинают учить только в 5 классе десятилетки
но откуда тебе это знать после 4 классов

| Сообщение посчитали полезным:

reversecode

Я довольно не плохо разбираюсь в дифф исчислении, но ...

-----
vx

| Сообщение посчитали полезным:

difexacaw пишет:
с вами следует делать то, что делали немцы.
вероятно, это уже последний "временный" бан, т.к. это уже начинает переходить все мыслимые и немыслимые нормы.

| Сообщение посчитали полезным:

SReg
Правильно, политические высказывания, а тем более аморальные у нас категорически запрещены.

-----
Всем не угодишь

| Сообщение посчитали полезным:

reversecode
4 класса? Иногда задавался вопросом, откуда эти все его "вылаживания", "есчо", "поклали" итд. Ах вот оно че, можно увести клерка из деревни, но деревню с визорами из клерка никогда.

SReg
А что ему помешает зайти под другим аккаунтом или создать новый? Ты же понимаешь, что эти китайские предупреждения ему по барабану?

| Сообщение посчитали полезным:

Alchemistry пишет:
А что ему помешает зайти под другим аккаунтом или создать новый?
По-моему вопрос риторический. Куда актуальней: а что, кто-то не знал, что он таким способом привык выходить из очередного спешиал олимпикса непобежденным? Он не круглыми сутками славит адольфа чикенбургера, а только когда надо. И каждый раз как откровение: клерк-то оказывается очень плохой.

-----
2 оттенка серого

| Сообщение посчитали полезным:

этот нуб слился

Indy пишет:
Если есть какое то не знакомое поведение системы, то первым делом открывается именно XP и её сурки(WRK/W2K). Иначе ты в дизе ядра 10 задрочишся. Можешь не сомневаться, мнение спеца.


несите следующего

| Сообщение посчитали полезным:

Если диз ядра 10 не может к примеру определить лимиты массива указателей, то этот диз уг и в нем настолько задрочиться нельзя, как в том, который к примеру может.

-----
2 оттенка серого

| Сообщение посчитали полезным:

Минифюрер обиделся и сюда больше не придет?

| Сообщение посчитали полезным:

Alchemistry, тсс, он видимо еще не знает.

-----
2 оттенка серого

| Сообщение посчитали полезным:

фюрер был зобанен числа о 6-7 февраля вроде

причем здесь какой то диз
клерк сам слился это цитата с васма
нуб клерк не может реверсить
и шарит только в пределах сорсов старой хп
смешно подумать где бы этот нарик был если бы мс врк не открыла))

| Сообщение посчитали полезным:

reversecode
как по мне так куда смешнее что этот электрик не смог в исходник жалкой функции линя, с такой неспособностью читать чужой код у меня возникли сомнения, что он понял и половину того что читал в исходниках венды

| Сообщение посчитали полезным:

получается что все в чем он шарит это в то что перевел питерпресс о внутреннем устройстве винды ?

с таким же успехом он мог и про внутреннее устройство линукса почитать))

хотя...
не может реверсить и разбираться в дизасмах винды
не может разбираться в сорсах любого софта тот же линукс, и похоже винда тоже
не может написать никакого полезного софта не говоря уже о коммерс софте
не может решать чьи то то задачи кроме своих
не может давать дельные советы сообществу в котором типа тусуется
не уважает сообщество в котором тусуется

а нафига это нарк и нуб здесь и вообще нужен ?

| Сообщение посчитали полезным:

Для лулзов и создания движухи, не?

| Сообщение посчитали полезным:

если бы он сидел в сторонке и не генерил избыточно бестолковую инфу отпугивая новичков уводя их в болото своих тупых советов
то и ладно бы

вот если бы бустик была не настолько умна
и следуя советам клерка начала изучать и пытаться пользоваться его шизораими
уверен на 100% мы бы ее потеряли

| Сообщение посчитали полезным:

difexacaw пишет:
Чем быстрее отвалится данный ресурс, тем более будет высокая активность на васм, во первых техническая. Я только за тролей тут, чем тут их больше, тем ближе закат этого и работа другого
Васму врядли поможет закрытие клаба. Низкая активность на васме обусловлена очень лояльной модерацией, в итоге все темы там хип, причем даже не хип, а какой-то двач - где тред начинается с лоадера , через страницу уже обсуждается машинное обучение, а через две - вера в бога. Вот что там можно обсуждать? Тут задаешь вопрос, отвечают по делу. Там же - см. выше, тема уходит во флуд.
reversecode пишет:
если бы он сидел в сторонке и не генерил избыточно бестолковую инфу отпугивая новичков уводя их в болото своих тупых советов
на старом васме клерк мне не раз отвечал по теме, даже на откровенно нубские вопросы вида указатели на структуру в масм и все такое.
Во многом, его провоцируют. То, что он ведется - это уже другой разговор..

| Сообщение посчитали полезным:

morgot

> Вот что там можно обсуждать?

Плохому танцору яйца мешают" или как это правильно говорится

> Низкая активность на васме обусловлена очень лояльной модерацией

Низкая активность обусловлена быстрой блокировкой тролей. Там модеры каждые минут 30 минимум бывают. Но они не просто что то чистят как везде, а поняли главное - нужно понять суть обсуждения, только потом делать выводы, сложный путь.

> где тред начинается с лоадера , через страницу уже обсуждается машинное обучение, а через две - вера в бога.

Форумы нужны для общения, так и должно быть.

-----
vx

| Сообщение посчитали полезным: SDK-3

difexacaw
и что хорошего на васме дают такие люди, как sn0w (вроде годный кодер, а пишет про баб и религию вместо писать про плюсы и ядро); v0ffka (там клиника вообще, в психбольнице народ адекватней его), ну и т.д. Посмотрите темы - там же реально 99% обсуждений уводится хз куда. В комерце тема, приходит чел, напишите мне лоадер. 12 страниц , извините, х..ни на тему ежиков, аллаха, политики, чего угодно - только не лоадера. Понятно, что оно по своему хорошо - барыги в итоге уходят с ресурса, т.к. в сознании кардера они идут в кузницу малвари, а приходят в цирк шапито. Но как бы спросить чето на клабе или кывте - ответят по теме. Спросить на васме..ну, как повезет. Почему модеры церемонятся с ними, я хз.
Вот пример темы: https://wasm.in/threads/kuplju-rabochij-variant-cve-2019-0708.33322/
Или вы забыли, как годы назад любой ваш пост превращался в цирк с неизменным GPE и кнопкой вызова бхц? Но тогда хоть ресурс как то уравновешивался спецами, и троллей банили. А щас все иначе.

Короче, надо на васме делать чистку рядов и тогда думать про развитие, а утопить конкурента не значит самому подняться. Не свет же клином сошелся на клабе - ну пойдут люди на кывт или какой-то sources.ru. Или вот в телегу побежало сто человек..

| Сообщение посчитали полезным:

morgot

> Или вы забыли, как годы назад любой ваш пост превращался в цирк с неизменным GPE

Я всё помню. Забавно, но сегодня пытался завести мотор(из темы про avn).. не получилось из за avx. Нужна куча времени на отладку, наверно нужно было как то проще реализовать, я сам уже не понимаю как оно работает

> Почему модеры церемонятся с ними, я хз.

Потому что иной подход. Его нужно было поменять. Подавлением рассудка не рациональным ничего хорошего не выйдет. Да и окружение, атмосфера такая, что не уместно спрашивать чушь.

Тут вот уже чат запилили, так на всех ресурсах было перед закрытием. Но тут это не светит ибо комерс площадка.

Но про ядро я смеялся с тебя. Специалист, XP говно а 10-ку ты не реверсил

-----
vx

| Сообщение посчитали полезным:

difexacaw
это все холиварный вопрос. С одной стороны, надо знать , с другой - в новых виндах много чего по новому. Я не спец по ядре, только немного его изучаю. Но разве с времен того же ХР туда мало добавили? Вроде что-то там по сетям поменяли (tdi или что), фильтры файловой системы, хуки ssdt или как там его. Не знаю. У меня стоит windows2000 c DDK того же года и шестая студия для сборки этого дела.
Просто книжка неплохая, ее автор - один из соавторов WindowsInternals + пишет новую версию классической книжки Рихтера. Мб для вас оно и попса, но как для новичка книга неплохая.. Минус там только в С++, и то, много кто считает что C и Асм не особо щас актуальны.

Добавлено спустя 5 часов 54 минуты
Кстати, в Ионеску (гитхаб) есть какой-то визор.
Это то, о чем в этом треде говорят, или другое?

Добавлено спустя 6 часов 32 минуты
А вообще, Инди - вот зайдите в ту тему, где мы про драйвера писали на васме. И посмотрите, вот что она превратилась, всего-то за сутки и всего-то при участии 1 полудурка (к слову, забаненного здесь).
Вот вам и ответ на все вопросы. Зайдёт туда новичок и офигеть как много узнает про драйвера. Зато узнает про вас, синтеза, f13nd'a и разных сацур.

| Сообщение посчитали полезным:

morgot

> Кстати, в Ионеску (гитхаб) есть какой-то визор.

Он вроде бы встроен в 10-ку, ионеску как POC его использовал; но я не смотрел и не знаю тех детали, во первых у меня нет 10-ки а от диза толку мало, впрочем как и обратной совместимости у таких механизмов.

> это все холиварный вопрос.

Это тупость, а не холивар. Во всех темах, вон рядом про крэкми - не работает в 10-ке а значит уг. Так там 90% семплов не заведётся из за защиты. Это на сколько дебилом нужно быть, что бы какие то семплы запускать в последних билдах ос

> один из соавторов WindowsInternals

Интерналс это не книга, это справочник аналогично как и маны IA.

XP идеальна для отладки x86. Есть некоторые трудности с запуском семплов, так например часто используются RWL-синхронизации, а 51 их не имеет. Но зато там есть крайне годный механизм отображения физической памяти на юзер ап. Это позволяет смотреть и вносить изменения в ядро без написания драйверов(значительная экономия времени). Например если нужно установить вектор в таблицу прерываний, то можно её отобразить в юзер и трассировать olly, очень удобно. Хотя откуда тебе знать

> И посмотрите, вот что она превратилась, всего-то за сутки и всего-то при участии 1 полудурка

Так ведь тс ничего не спрашивает и не отвечает, это значит что он ответом доволен и можно обсуждать что угодно, вместо закрытия темы.

Добавлено спустя 2 часа 46 минут
morgot

Смотри вот рядом тема --> Link <--

Автоматика решает. И тема эта про неё. Покажи что ты что то знаешь и можешь, реши вручную отладчиком. Твой ход решения даст всю инфу про тебя. Нет лучше способа узнать человека, кроме наблюдения за его решениями в сложной задаче

Потом рассмотрим форумы, интерналс и прочие вещи.

-----
vx

| Сообщение посчитали полезным:

mak

> что решил с "Кэш для кэша"?!

Задача(линейная BT) вполне решаема. Тесты аллокатора со спин блокировками перспективны(реалтайм профайл). Если выполнять синхронную сборку в быстрой памяти, то всё получится. Остались мелкие нюансы по оптимизации.

-----
vx

| Сообщение посчитали полезным:

difexacaw
Вы вот много говорили про ХР, что там все понятно и все такое. Объясните же, вот практичный пример - почему в висте и выше я могу скопировать токен винлогона, и создать новый процесс с правами NT/SYSTEM, а в ХР этого нельзя сделать? Там, как выяснилось, нужно еще 5 привилений, логофф юзера и куча телодвижений.
Что именно поменяли и почему? Реально интересно докопаться до сути.

| Сообщение посчитали полезным:

morgot

Если бы я знал, то ответил тебе на васм. Зачем плодить вопрос везде. ACL и всё что с этим связано зависит от версий и весьма запутанно, я в этом плохо разбираюсь. Сказано ведь смотри в сурках цепочку приводящую к ошибке. Если лень читать коды, пройди отладчиком и посмотри где возврат с ошибкой. Десять минут работы.

-----
vx

| Сообщение посчитали полезным:

difexacaw
тогда какая практическая ценность от этой ХР? Если в ОС выше все по другому вот в плане ACL даже (и подозреваю, что в других сферах аналогично, если глубже копнуть).

И да, объясните, что такое "сурки ХР"? В плане, где есть исходники ХР? Из того, что мне известно, есть:
1. Кусок сорцев NT 4
2. Кусок сорцев Win2k
3. WRK
4. ReactOs

Что из этого вы изучаете?

| Сообщение посчитали полезным:

morgot пишет:
тогда какая практическая ценность от этой ХР
Никакой, старинная какашка, на ней еще мой дед играл в сапера

-----
В облачке многоточия

| Сообщение посчитали полезным:

morgot

> Если в ОС выше все по другому

А пример можно посмотреть где всё по другому ?

В основные механизмы вносятся мелкие изменения. Если комуто(мне) неохота копаться в вашей задаче из за её толщины, это не значит что общие принципы не работают или же ось сменилась до неузнаваемости

Если не можешь разобрать самую простую ошибку, то зачем тебе вообще это всё, про коденг я вообще не говорю даже.

> практическая ценность от этой ХР?

Можно посмотреть как реализован определённый механизм, это нужно для системщиков, тебе же походу лучше посмотреть на сиськи бустика, если для восприятия исходников не хватает чего то(гиблая затея)

-----
vx

| Сообщение посчитали полезным:

difexacaw пишет:
А пример можно посмотреть где всё по другому ?
Ну, как пример - привилегии и безопасность (все эти DACL, сессии и прочее). Хз какой пример нужен.

difexacaw пишет:
В основные механизмы вносятся мелкие изменения.
UAC,CFG,CIG,ACG - мелкие изменения? Или о каких механизмах речь, опять же. Открыть файл и записать туда инфу, не спорю, мб особо и не поменялось со времен NT 3.5

difexacaw пишет:
Если не можешь разобрать самую простую ошибку, то зачем тебе вообще это всё,
Она не простая, ни вы, ни кто другой так сходу ее не разобрали, если уж на то пошло.

difexacaw пишет:
это нужно для системщиков, тебе же походу лучше посмотреть на сиськи бустика
Это все лирика, и можно говорить много, да все бестолку. По сути см. мой вопрос выше - что такое "сурки ХР" из вышеупомянутого списка?

Добавлено спустя 14 часов 8 минут
difexacaw пишет:
Если получится реализовать реалтайм юзер визор с линейной сборкой в памяти, тогда это покроет тут все задачи и отладчик не будет нужен в принципе.
О чем речь?

| Сообщение посчитали полезным: