Исправление алгоритма автоцензора мата на форуме (ссылки на ошибки)

**Alex Catamaran** » 07 май 2014, 15:51

Наблюдаю такой глюк: происходит замещение части слова, в некоторых словах в постах и в подписи - на "[мат удалён]"

Например, в подписи:
"Those are my principles, and if you don't like them... well, I have ot[мат удален]s." (исходное слово - "othеrs")

Или в посте:
Re: Другая Турция

Alex Catamaran писал(а) 07 май 2014, 11:02: П[мат удален]ой навигатор ногам покоя, как известно, не даёт...

(исходное слово - "плохой")

Интересная фишка - при нажатии на кнопку "цитировать", пост в поле для редактирования показывается в исходном виде, без замены букв на "мат удалён".

Использую браузер Опера на Виндоуз 7. Глюк замечен только что.

Похоже, что кто-то запустил сырую программу автозамены матерных и просто грубоватых выражений. Причём учитывается возможность написания крепких словечек русского языка латинским шрифтом.

**terentaa** » 07 май 2014, 16:02

Alex Catamaran писал(а) 07 май 2014, 15:51:Наблюдаю такой глюк: происходит замещение части слова, в некоторых словах в постах и в подписи - на "[мат удалён]"
Использую браузер Опера на Виндоуз 7. Глюк замечен только что.
Поохоже, что кто-то запустил сырую программу автозамены матерных и просто грубоватых выражений...

Наблюдаю аналогичную картину на Safari для iPad. Особенно забавно выглядит на английских словах, в которых часто встречается сочетание букв reh (только в обратной последовательности).

**Alex Catamaran** » 07 май 2014, 16:03

А вот "застрахуй" - проходит.

**Pablo_711** » 07 май 2014, 16:28

Похоже включили опцию защиты, да с больно уж жёсткими настройками. Следующей будет опция, когда аккаунты "матершинников" будут автоматически удаляться.
:-)

**Solnce)** » 07 май 2014, 16:57

Alex Catamaran писал(а) 07 май 2014, 15:51:Интересная фишка - при нажатии на кнопку "цитировать", пост в поле для редактирования показывается в исходном виде, без замены букв на "мат удалён".

Спасибо за совет, как исходный текст прочитать.
Программа по вычленению сомнительных слов действительно сырая. Простое слово русское слово пилится из-за внутреннего слога на нечитаемый набор первой и последних букв. Для примера перейду на английский потому что по русски теперь видимо нельзя писать, русский перевод английского bad заставляет напрягать голову т.к. имеет такой вид плохое. Причем как общем доступе, так и в личных сообщениях этот фильтр работает.
И случилось это за последние 3 часа. Еще 3 часа назад тот же текст читался нормально.
И это только один из примеров. Браузер мозилла.

**Pablo_711** » 07 май 2014, 17:01

Solnce) писал(а) 07 май 2014, 16:57:Браузер мозилла.

Сомневаюсь, что браузер имеет какое-то отношение. Мои скромные познания в веб-программировании, подсказывают мне, что подмена выполняется на сервере, при трансляции текста к клиенту.

**Solnce)** » 07 май 2014, 17:05

У Винского в заглавном посте на каждой странице указано, что надо писать каким браузером пользуетесь при появлении проблемы.

**Pazh** » 07 май 2014, 21:22

Суть все уловили - включен цензор мата ибо нынче это статья КОАП.
От браузера он не зависит, проверка идет на уровне сервера.
Скрипт новый, а русский язык очень богатый на схожие формы слов - как следствие, требуется обучение скрипта и тонкая настройка, поэтому если где-то встречается не мат, но он обозначен как [мат удалён] - просьба сообщать в личку или здесь чтобы добавить исключение в скрипт. Заранее спасибо за помощь!!!!

**nikros** » 07 май 2014, 23:06

Pazh писал(а) 07 май 2014, 21:22:Суть все уловили - включен цензор мата ибо нынче это статья КОАП.
От браузера он не зависит, проверка идет на уровне сервера.
Скрипт новый, а русский язык очень богатый на схожие формы слов - как следствие, требуется обучение скрипта и тонкая настройка, поэтому если где-то встречается не мат, но он обозначен как [мат удалён] - просьба сообщать в личку или здесь чтобы добавить исключение в скрипт. Заранее спасибо за помощь!!!!

Ну вы, пожалуйста, нормальный скрипт используйте, он же совсем безобидные слова вырезает, не имеющие ни одной общей буквы с матерными словами. В моей теме про рестораны Сингапура вырезали название ресторана на английском языке : в слове "мангостин"-английским буквами, вырезали часть "манго". Я не знаю каким боком манго относится к мату, и какие производные матерных слов могут быть на него похожи, вполне себе приличный фрукт. Или я темная такая, может это обозначает что-то не приличное, а я не в курсе.
Или вырезанная часть слова "плохой" тоже вполне литературное слово, растение такое есть, даже в значении "наивный человек, которого легко обмануть" это слово жаргонное, но никак не матерное. Или его уже в матерные записали?
Так вы сначала список нехороших слов опубликуйте, чтобы публика точно знала, где мат, а где нет, а потом уже заставляйте людей его соблюдать. Или отладьте свой скрипт так, чтобы он вырезал именно мат.
Вы просите сообщать, если "случайно" удален не мат. А тут вдруг за один вечер весь форум стал полон таких случайностей. Куда ни сунься на форуме везде натыкаюсь на "мат удален", девушка пишет о путешествии с двухлетним ребенком, слог хороший, никак не подумаешь, что матершинница, и тут снова вижу "мат удален".
Если в доброй половине случаев скрипт "случайно" работает не правильно (извиняюсь за тафтологию) то виноваты не случайности, нужно что то делать с этим скриптом.
Как правильно выше заметили, хорошо еще, что сразу в бан таких "матершинников", как я или она, не отправляют.

**Gulikbeer** » 08 май 2014, 01:29

Pazh писал(а) 07 май 2014, 21:22:просьба сообщать в личку или здесь чтобы добавить исключение в скрипт.

Слово пLOXой не пропускает. Разве LOX - это мат?

**Pazh** » 08 май 2014, 09:28

Уже многие схожие слова исправлены при помощи пользователей форума. Если Вы специалист в программировании и в распознавании мата - welcome в личку с алгоритмами распознавания.

**Degt** » 08 май 2014, 10:05

Делаю предложение - сделать глоссарий фраз, междометий, словосочетаний, где было распознано использование мата.
Например - "факс с указанием", ну вы поняли...

**10Oboro** » 08 май 2014, 11:17

Хе
-рес

Нахе-
Ра

**MihaTlt** » 08 май 2014, 11:30

Всё понятно - мат он и в Африке мат, но когда такие слова как попа (было в названии моего отчёта, на подписи видно что получилось) и какашки (правда в оригинале полное название, просто сейчас оно не пройдёт) обозвали матом - это ещё ничего, особенно повеселило словосочетание "с указанием", так там вообще получилось: (мат удалён) занием

**aleksey2008** » 08 май 2014, 14:30

10Oboro писал(а) 08 май 2014, 11:17:Хе
-рес

Нахе-
Ра

А есть еще в Испании Ujué (Ухуе).
Как его по-русски называть теперь?
Кстати, аргентинский Хухуй проходит...

**Pablo_711** » 08 май 2014, 14:36

Pazh писал(а) 08 май 2014, 09:28:nikros
и в чем опровержение? Уже многие схожие слова исправлены при помощи пользователей форума. Если Вы специалист в программировании и в распознавании мата - welcome в личку с алгоритмами распознавания.

К вопросу об алгоритме.
Для начала можно распознавать в качестве мата отдельные слова (последовательность символом не разделённых пробелом, которой предшествует пробел и закрывает пробел или знак препинания), а не фрагменты других слов или части двух соседних слов.

**Pazh** » 08 май 2014, 15:37

Pablo_711 а потом добавить "русскую смекалку" что буквы слова можно писать чередуя малоприглядными знаками препинания (например _., и т.д. в том числе пробелы или по несколько букв подряд) и вернуться к тому что есть сейчас - это все уже учтено.

**m.e.g** » 08 май 2014, 15:55

Pazh писал(а) 08 май 2014, 09:28:и в чем опровержение

Так вот прямая просьба:

Pazh писал(а) 07 май 2014, 21:22: просьба сообщать в личку или здесь чтобы добавить исключение в скрипт

Pazh писал(а) 08 май 2014, 09:28:Если Вы специалист в программировании и в распознавании мата - welcome в личку с алгоритмами распознавания.

Как специалист (только в первом) пока вижу игру в бесконечные догонялки: нарушитель будет придумывать способы, а программист - добавлять новые исключения.
И добропорядочный писатель будет жаловаться, а программист - добавлять новые исключения.
Впрочем, господин Винский несомненно прав - ждем несколько дней...
Буду рад, если все заработает правильно и без проблем. Желаю успеха.

P.S.
Вот прикинул:
надо не исключения накапливать, а сразу поставить контроль слов по словарю - как первую операцию.
Если, слово (например, застрахуй) есть в словаре, то его уже не надо проверять на мат. Т.о. сохраним в отчетах нетронутыми как минимум все литературные слова.
Если накапливать исключения - придем, собственно, к тому же самому - формированию словаря общими усилиями в течение долгого периода и через мутоту в отчетах. И даже через месяц словарь будет не полным.
Поэтому сразу начать с готового словаря. Чтобы работало быстрее, словарь может быть сокращен - содержать только слова, близкие по начертанию к мату.
Буду рад, если такой совет пригодится.

P.P.S.
Чтобы автоматически сократить словарь можно использовать как раз тот алгоритм, который программист запустил с самого начала (без более поздних исключений). Этот алгоритм и выделит все литературные слова, близкие по начертанию к мату. Их и оставить в словаре, остальные (а их много больше) - не нужны.

**LARA_SH** » 08 май 2014, 15:59

А в моем отчете, оказывается одни сплошные маты - буквосочетания е-б, и-б
не_было, ре_бята, все_будет, побережье_бухты, река и_берега, не_брать и т.д.
Убила цензура слова "волше_бный"

Давайте так: если пишите, что где-то там "сплошные маты" - давайте ссылку.
Винский

**Pablo_711** » 08 май 2014, 17:18

Pazh писал(а) 08 май 2014, 15:37:Pablo_711 а потом добавить "русскую смекалку" что буквы слова можно писать чередуя малоприглядными знаками препинания (например _., и т.д. в том числе пробелы или по несколько букв подряд) и вернуться к тому что есть сейчас - это все уже учтено.

Это смотря какая задача стоит. Если создать проблемы законопослушным гражданам и превратить общение на форуме в разгадывание ребусов, из-за парочки дебилов, то всё учтено.
Если минимизировать риск нарушения требований КОАП (кстати, что там именно говорится? не об использовании ли мата в СМИ там речь? а форум и сайт зарегистрированы как СМИ?), то нет никакого смысла устанавливать столь жёсткие требования, достаточно блокировать прямое использование общеизвестных матерных слов (кстати точный список запрещённых слов, насколько мне известно, пока отсутствует).
Никто не станет вчинять штрафы (если форум вообще подпадает под закон) обнаружив слово из трёх букв в неком замысловатом исполнении. А если пытаться автоматизировать отлов всех возможных творческих изысков, то можно сразу сделать, замену любого сообщения банером "Мат удалён" и всё.

**Медведь Грызли** » 08 май 2014, 17:54

русская транскрипция Hertz не нравится форуму :)

terentaa писал(а) 07 май 2014, 09:46:
Нинок писал(а) 07 май 2014, 08:40:Правильно ли я понимаю, что при предварительной отмене неоплаченной брони (оплата при получении машины), сбор взиматься не будет? Вообще у Херца существует какой-то срок, до которого можно отменить бронь бесплатно? Интересует Италия.

Понимаете правильно. В личном опыте были отмены где-то за сутки до даты аренды (естественно бесплатные).
Вопрос со сроками отмены у Херца уже обсуждался ранее в данной ветке (или какой-то другой ветке по прокату машин) и в итоге пришли к выводу, что если буквально следовать указанным у Херца правилам, то бесплатно отменить онлайн неоплаченную бронь можно до времени аренды (то есть буквально за 1 минуту до аренды :smile: ).

Маршрут по Норвегии на 3 недели: хочу критики и ищу попутчиков из Питера
Трасса Е 6 чем не угодила? Модератора в матерщине обвиняете.
Самое же интересное, что если цитировать фразу, в которой [мат удален], то все написанное принимает первозданный вид. А так бы я не догадался, что было заменено.

**Valeriagrig** » 08 май 2014, 20:04

Pazh » Вчера, 23:22
... если где-то встречается не мат, но он обозначен как [мат удалён] - просьба сообщать в личку или здесь чтобы добавить исключение в скрипт. Заранее спасибо за помощь!!!!

В моей теме в нескольких местах [мат удалён] при написании русскими буквами Ebookers.com

Например: Re: Мониторинг

Valeriagrig » 10 окт 2013, 19:01
[мат удален]укерс.ком: цены снизились = GBP 359 - 449 - 539; Сингл IC (50 %) 539 GBP;

Дополнение: после опубликования этого сообщения - [мат удалён] появился и при написании названия сайта на английском.

**inga-inga2** » 08 май 2014, 21:20

В всей нашей теме подготовки к круизу Готовимся к круизу Costa Luminosa вокруг Европы с 13,14 мая 2014 постоянно встречается упоминание города Jerez, куда мы собираемся ехать организованно. Теперь везде вместо Херес [мат удален]

**Винский** » 08 май 2014, 22:15

Тему почистил от флуда и острот
Всем "юмористам" перезрелого и недозрелого возраста цитата:

"...Роскомнадзор начал тестирование системы автоматического мониторинга онлайн-изданий, которая должна заработать не позднее IV квартала 2014 г, сообщил «Известиям» официальный представитель Роскомнадзора Вадим Ампелонский.
«Задача системы — поиск нецензурной брани в статьях и комментариях», — сообщил он. Сейчас специалисты ведомства ищут запрещенную лексику в интернет-СМИ в ручном режиме. По его словам, сейчас программа активно дорабатывается, в полную силу она начнет функционировать до конца года.
Система будет мониторить пока только текст и изображения. Не исключено, что впоследствии программа сможет работать также с аудио и видео. ..."

Я как создатель и владелец крупнейшего туристического форума не собираюсь из-за бахвальства горстки засранцев подводить свое детище под возможные санкции
Пусть закон и вступает в действие с 1 июля 2014 года - я не исключаю служебного рвения от органов надзора и исполнения, поэтому готовлю сани летом

Если есть что написать по теме - пишите, помогая тем самым убрать ошибки автоцензора в возможно быстрейшие сроки
Остроты забейте себе в дупло

Кстати, тем кто думает что форум не СМИ:
http://нахер/society/20140422/1004991451.html

**tatyana sh** » 08 май 2014, 22:29

мой отчет по австрии Что я увидела в Австрии в сентябре 2013 г. или как я ходила пешком по Баварским Альпам

я н[мат удален]рала.
Термы по карте 16-50 [мат удален]ез сауны ...
явно помолож[мат удален]ыл....
самое значительно[мат удален]ыло...
встретила по дорог[мат удален]ельгийцев
По дорог[мат удален]ыли заросли
если б р[мат удален]ята не показали
настроени[мат удален]ыло неплохое
Интернет в сегодняшнем номер[мат удален]ыл хуже,
мякиш хл[мат удален]ный
у меня было дв[мат удален]рони
с м[мат удален]елью
я н[мат удален]ыла
все с[мат удален]е представлял
с[мат удален]я н[мат удален]резгливым врод[мат удален]ы Вс[мат удален]ыло
много повторов этих слов в тексте так как про сюбя - вместо ю буква е же пишу или всио было хорошо - тоже мой характерный оборот

**m.e.g** » 08 май 2014, 23:00

https://forum.awd.ru/viewtopic.php?p=4277794#p4277794 Ехать в Москву, Питер или [мат удален]ург?

**Agafa P.** » 08 май 2014, 23:04

tatyana sh писал(а) 08 май 2014, 22:29:мой отчет по австрии:

Уважаемые участники!!!
Размещайте в первую очередь ссылку!!!!

**Гек(брат Чука)** » 09 май 2014, 00:36

Мои мексиканские сны
C него только начал, другие пока не смотрел. Кое-что откорректировано по делу, но в основном - треш какой-то.
К примеру, название города [мат удален]xtan или по русски: [мат удален]штан. Учебник, как уч[мат удален]ник, ну и т.д.

**10Oboro** » 09 май 2014, 07:33

Мне кажется надо от обратного действовать относительно "вмонтированных" матерных цепочек внутри слова, не добавлять исключения в список запретов, а наоборот, прописать в запреты теоретически возможные склонения мата - их построение все-же конечно по количеству и поддается логике. По завязками через пробел на стыке двух слов вообще не нужен цензор, ибо не доказуемо построение матерного слова, достаточно исключения для определения через пробел только отдельно стоящих букв не сцепленных с соседними.
Насчет написания на латинице - вообще не понятно, как можно что-то внятное сказать, так как прочтение прочтению рознь на разных языках. Не все же на свете упирается в английские нормы. Тот же Jerez это нормально - фильтр не улавливает ничего, а по звучанию? А Orihuela - обратная ситуация, по написанию напрягает, а по звучанию все хорошо

**LaSer61** » 09 май 2014, 07:51

Русина Галина писал(а) 07 май 2014, 16:16:Посмотрев авто Шум[мат удален]а, сфотографировавшись около него для внуков, помчались в столицу.

С каких пор слово, обозначающее название буквы старого русского алфавита, стало считаться матерным?

**Винский** » 09 май 2014, 09:04

10Oboro писал(а) 09 май 2014, 07:33:не добавлять исключения в список запретов, а наоборот, прописать в запреты теоретически возможные склонения мата - их построение все-же конечно по количеству и поддается логике

Да, я такого же мнения и вчера сформулировал задачу по настройке автоцензора именно таким образом.

**m.e.g** » 09 май 2014, 10:39

10Oboro писал(а) 09 май 2014, 07:33:Насчет написания на латинице - вообще не понятно, как можно что-то внятное сказать, так как прочтение прочтению рознь на разных языках.

Поэтому к своему вчерашнему предложению использовать урезанный словарь литературных слов, добавляю еще.
Использовать также словари географических названий (для кириллицы и латиницы). Если слово представляет собой географическое название, то оно не проверяется. Чтобы словарь не был слишком обширным - урезать его и оставить только слова, графически напоминающие мат. Это нужно сделать один раз и можно использовать работающий сейчас алгоритм.
Хочу заметить, что мои предложения не отрицают, а предполагают использование работающего сейчас механизма, но только совместно с проверкой по словарям литературных слов и географических наименований.
Написал вчера программисту.

**Русина Галина** » 09 май 2014, 16:01

Ребята, я в своем отчете написала, что в Абу-Даби заехали в развлекательный комплекс Феррари и для внука сфотогрфировалась у машины Шумахера. Автомат -цензор выставил мне мат вместо фамилии знаменитого гонщика. Я ведь не ругаюсь по жизни нецензурно. Перебор.

**Русина Галина** » 09 май 2014, 16:02

Вот видете, опять страж нравственности начеку.

**dima_sol** » 09 май 2014, 19:51

https://forum.awd.ru/viewtopic.php?t=211116 в этой теме фильтр совсем не дает спокойно читать текст, дело в автозамене «eб» на [мат удален].

**Вермут** » 09 май 2014, 22:44

Re: Сагарматха, почти 3 перевала. Шивалая – Чукунг – Горак Шеп – Гокио – Джири, март 2014

Вермут писал(а) 06 май 2014, 22:45:У монастыря шла бойкая торговля [мат удален]ринами по 30 руп. штучка.

**MihaTlt** » 10 май 2014, 14:45

В моих обоих отчётах ( которые в подписи ) также много повторных сочетаний букв "е" и "б" типа всяких "не буду", особенно в отчёте про пост № 94, а в другом отчёте все цитрусовые, которые мандарины тоже забанены .

**ЕленаН** » 10 май 2014, 21:08

Нужна критика маршрута СПб-Салоники-Афины-София

Салоники – 1 ночь, почти полный день, осмотр города (брать ли экскурсовода?), вечером переезд в Нео [мат удален]нья (Nea Moudania)

**tausert** » 11 май 2014, 01:56

вообще жесть, читать невозможно
Виза США для граждан РФ в Москве, год 2014

**berngo** » 11 май 2014, 08:56

Тема Вся правда о Замбии (Март 2014 года) Вся правда о Замбии (Март 2014 года) читать невозможно из-за сочетаний -еб-

**Degt** » 11 май 2014, 13:33

вк[мат удален]пусту - кто догадается что было в первоисточнике?

**mael** » 11 май 2014, 14:16

И мой отчет (без единого мата!) испорчен:
Красноярск – Новая Зеландия

**Un-drei** » 11 май 2014, 16:52

Предлагаю пересмотреть "мат-фильтры".
Сейчас "Особо пьяных решили с собой н[мат удален]рать" смотрится смешно. Там написано "не брать".

**Witty Kit** » 11 май 2014, 17:43

Общее:
Но до неё быстро дойти не удалось.

Японская специфика:
Сябу-сябу, сукияки на Гионе

**Вернер** » 11 май 2014, 18:21

Неизбежный конец.
е б ........

**Pazh** » 12 май 2014, 10:58

Вернер странно что там весь трактат не зацензурило

**Degt** » 12 май 2014, 15:10

Degt писал(а) 11 май 2014, 13:33:вк[мат удален]пусту - кто догадается что было в первоисточнике?

"напоминая по вкусу капусту" - да... все равно не получается без цензурирования написать ((((

**Pazh** » 12 май 2014, 15:14

Degt писал(а) 12 май 2014, 15:10:
Degt писал(а) 11 май 2014, 13:33:вк[мат удален]пусту - кто догадается что было в первоисточнике?

"напоминая по вкусу капусту" - да... все равно не получается без цензурирования написать ((((

Плохо стараетесь, у меня получилось

**Винский** » 13 май 2014, 10:40

Ну что граждане: похоже все ошибки пофиксили, можно тему закрывать