rulinux.net - Форум - Development - Автоопределение кодировки http://rulinux.net/ rulinux.net - Форум - Development - Автоопределение кодировки http://rulinux.net/ http://rulinux.net/rss_icon.png Re: Автоопределение кодировки https://rulinux.net/message.php?newsid=8431&page=1#64418 https://rulinux.net/message.php?newsid=8431&page=1#64418 Thu, 23 Sep 2010 07:01:52 +0400 Для питона есть chardet

 http://chardet.feedparser.org/

Можешь посмотреть в его исходники, там много всякого. Но я не знаю, насколько он лучше/хуже работает чем enca.

]]> Re: Автоопределение кодировки https://rulinux.net/message.php?newsid=8431&page=1#64417 https://rulinux.net/message.php?newsid=8431&page=1#64417 Thu, 23 Sep 2010 06:12:02 +0400 в общем случае почти не решаемо.

]]> Re: Автоопределение кодировки https://rulinux.net/message.php?newsid=8431&page=1#64416 https://rulinux.net/message.php?newsid=8431&page=1#64416 Thu, 23 Sep 2010 05:56:49 +0400 Тут таблица соответствия групп языков и кодировок  http://www.dataparksearch.org/dpsearch-international.ru.html

зы. и ещё - енса вроде считает языком текста системный язык.

]]> Re: Автоопределение кодировки https://rulinux.net/message.php?newsid=8431&page=1#64415 https://rulinux.net/message.php?newsid=8431&page=1#64415 Thu, 23 Sep 2010 05:48:57 +0400 > из CP-1252 в CP-1251
Ты где-то реально такое встретил или сам пример придумал? :) CP-1252 это западноевропейские языки, а CP-1251 - кириллические. Каждый язык имеет своё множество кодировок, и перекодировать можно только в пределах одного языка.

зы. я когда-то вплотную юзал енцу, так вот скажу, что это лучший инструмент по детектированию кодировок из всех что я видел. Только ему желательно подсовывать для анализа текст хотя бы с нескольким десятком слов, тогда ты получишь практически 100% попадание. Чем короче текст - тем ниже результат. Ну и канешно же не совать какие-нибудь китайские иероглифы в надежде что получишь ридну мову :) Енца использует эвристику и довольно умна, но не на столько же чтоб ещё и вычислять подвохи :)

]]> Re: Автоопределение кодировки https://rulinux.net/message.php?newsid=8431&page=1#64414 https://rulinux.net/message.php?newsid=8431&page=1#64414 Thu, 23 Sep 2010 05:31:07 +0400 Хрена-там. Хреново она работает. Текст перекодированный из CP-1252 в CP-1251 он определил как дважды перекодированный из ISO-8895-5 в UTF-8.

]]> Re: Автоопределение кодировки https://rulinux.net/message.php?newsid=8431&page=1#64413 https://rulinux.net/message.php?newsid=8431&page=1#64413 Wed, 22 Sep 2010 12:23:09 +0400 enca же! Только мне кажется что чётко определить кодировку по одному-двум словам не особо получится, ошибок должно быть много. Хотя попробуй...

]]> Автоопределение кодировки https://rulinux.net/message.php?newsid=8431&page=1#64412 https://rulinux.net/message.php?newsid=8431&page=1#64412 Wed, 22 Sep 2010 12:20:00 +0400 Хочу поставить еще один костыль на qmmp для автоопределения кодировки тегов. Мне нужно определить кодировку в которой мне передаются теги, и выводить в плейлист сведения уже сконвертированные в юникод. Так-что мне нужно с помощью чего-то определять кодировку. Так-вот, собственно с помощью чего?

]]>