посоны, а есть какой-то способ отличить сабж от бинарного мусора?
вот например для utf-8 это можно сделать довольно легко - там после первого ключевого байта всегда должны идти символы с 10хххххх битами. А для юникода?
Предположим даже, что есть BOM маркер, но 2 байта это как-то маловато. Может по статистике как-то? там же явно должен быть один и тот-же язык + примеси ANSI символов. Не?

| Сообщение посчитали полезным:

http://code.logos.com/blog/2010/05/detecting_the_character_encoding_of_a_file.html
https://github.com/LogosBible/Logos.Utility/blob/master/src/Logos.Utility/IO/StreamUtility.cs

не?

ps. MLang от m$, правда хз
http://msdn.microsoft.com/en-us/library/aa767865.aspx

| Сообщение посчитали полезным:

DrGolova пишет:
там же явно должен быть один и тот-же язык + примеси ANSI символов. Не?

Не. Легко может оказаться несколько. И BOM не обязательно 2 байта однако и символы с 10хххххх битами не обязательно UTF-8.
http://www.unicode.org/faq/utf_bom.html

| Сообщение посчитали полезным:

1. старший байт (второй в случае Little Endian) обычно повторяется, или хотя бы из близкого диапазона (English = 00, Cyrillic = 04), ну это если не учитывать CJK...
2. codepoints из диапазона D800-DFFF могут встречаться только парами (surrogate pairs).

| Сообщение посчитали полезным:

> 1. старший байт (второй в случае Little Endian) обычно повторяется, или хотя бы из близкого диапазона
> (English = 00, Cyrillic = 04), ну это если не учитывать CJK...
> 2. codepoints из диапазона D800-DFFF могут встречаться только парами (surrogate pairs).

Ну да, я как-то так примерно и сделал. 16-ти битные картинки на ура проходят такую эвристику, помогает смотреть количество одинаковых вордов подряд =)

| Сообщение посчитали полезным:

--> unicode.org <--
--> site.icu-project.org <-- не?

-----
Чтобы правильно задать вопрос, нужно знать большую часть ответа. Р.Шекли.

| Сообщение посчитали полезным: