Страница печати | Закрыть окно

Фильтрация контента.

Распечатать форум: Форум компании Смарт-Софт
Категория: Главный раздел
Название форума: Traffic Inspector - пожелания по развитию.
Описание форума: Любые конструктивные предложения по развитию продукта.
URL: http://forum.smart-soft.ru/forum_posts.asp?TID=23049
Дата печати: 21-Фев-19 в 18:48
Версия ПО: Web Wiz Forums 10.14 - http://www.webwizforums.com


Тема: Фильтрация контента.
Автор: ba25
Тема: Фильтрация контента.
Дата отправки: 08-Июл-13 в 11:42

Как известно, TI может запрещать доступ пользователям к определенному контенту, например, к соцсетям, при этом у программы существуют огромные минусы в реализации данного подхода. 

1) При фильтрации по URL-спискам ЛЮБОЙ пользователь может обойти запрет, просто зайдя на сайт через https. 

Судя по справке TI, имя хоста можно прописать в ip-сети. При этом из справки неясно, как это можно делать, могу ли я, например, просто импортировать готовую базу URL. Насколько я понимаю, при этом нельзя блокировать доступ к определенному разделу сайта, можно блокировать сайт только полностью (это в минус не ставится, т.к. является технической особенностью https). 

2) На сайте list.smart-soft.ru те списки, что есть а) очень маленькие б) не обновляются по 3 года. При этом импорт больших сторонних списков  в TI просто невозможен - при попытке импорта, например, 6-мегабайтового списка TI виснет. Разработчики, судя по всему, просто не тестировали данную функцию, загружая в программу только свои мини-листы.

3) Платный фильтр netpolice вообще не работает с https. Никак.

Итог: эффективная блокировка сайтов определенных типов невозможна в принципе (встроенные листы ограничены по размеру, +см. пункт 3). Возможна только точечная блокировка вручную внесением в ip-сети до тех пор, пока лист не станет слишком большим для TI. Причем, очевидно, что внесением сетей вручную захочет заниматься далеко не каждый администратор.




Ответов:
Автор: DmitryPC
Дата отправки: 08-Июл-13 в 12:01

1. есть регулярные выражения(если интересует прокси). URL списки и IP списки различаются..

2. вообще-то большие списки тестировались(если так можно выразиться) и есть вполне определенные пределы разумного. 
 
3... без комментария.
 
Выводы Ваши, несколько, субъективны. у ТИ своя ниша в сегменте рынка.. all imho.


Автор: ba25
Дата отправки: 08-Июл-13 в 12:46

Цитировать есть регулярные выражения

Заблокировать https они мне не помогут.

Цитировать URL списки и IP списки различаются

ОК, тогда плюсом для блокировки всех ресурсов и по http и по https мне придется ещё отрезать, например, скриптом из готового url-списка только имена хостов, затем импортировать их в ip-сети.

Цитировать вообще-то большие списки тестировалис

По факту актуальный список 6 мб TI импортировать не может, на деле и меньшие списки тоже работать не будут. Тест на максимальный размер не проводил.

Цитировать без комментария.

Может, всё-таки, оставите комментарий?




Автор: DanilaT
Дата отправки: 08-Июл-13 в 13:14
Исходное сообщение ba25 ba25 :

Как известно, TI может запрещать доступ пользователям к определенному контенту, например, к соцсетям, при этом у программы существуют огромные минусы в реализации данного подхода. 

1) При фильтрации по URL-спискам ЛЮБОЙ пользователь может обойти запрет, просто зайдя на сайт через https. 

Судя по справке TI, имя хоста можно прописать в ip-сети. При этом из справки неясно, как это можно делать, могу ли я, например, просто импортировать готовую базу URL. Насколько я понимаю, при этом нельзя блокировать доступ к определенному разделу сайта, можно блокировать сайт только полностью (это в минус не ставится, т.к. является технической особенностью https). 

2) На сайте list.smart-soft.ru те списки, что есть а) очень маленькие б) не обновляются по 3 года. При этом импорт больших сторонних списков  в TI просто невозможен - при попытке импорта, например, 6-мегабайтового списка TI виснет. Разработчики, судя по всему, просто не тестировали данную функцию, загружая в программу только свои мини-листы.

3) Платный фильтр netpolice вообще не работает с https. Никак.

Итог: эффективная блокировка сайтов определенных типов невозможна в принципе (встроенные листы ограничены по размеру, +см. пункт 3). Возможна только точечная блокировка вручную внесением в ip-сети до тех пор, пока лист не станет слишком большим для TI. Причем, очевидно, что внесением сетей вручную захочет заниматься далеко не каждый администратор.

1. Будет и https фильтровать, если оно будет идти у вас через прокси-сервер ТИ (путём настройки в браузере).

2. На list.smart-soft.ru списки для примера. 6МБ список сколько записей имеет? Ctrl+C, Ctrl+V. Может надо просто подождать пока загрузится?

3. Так он работает. 





-------------
Техническая поддержка
Тел. (495)77-55-991, (4966)15-49-21
E-mail: support(coбака)smart-soft.ru


Автор: DmitryPC
Дата отправки: 08-Июл-13 в 14:34
Исходное сообщение ba25 ba25 :

По факту актуальный список 6 мб TI импортировать не может, на деле и меньшие списки тоже работать не будут. Тест на максимальный размер не проводил.


7100 строк российских сетей это большой список?
..да какие комментарии, но если хотите - imho: проксирование и всё что с ним связано - зло. маршрутизатор должен маршрутизировать, а билинг - считать деньги\мегабайты\чайники - если в дополнение есть какие то мелкие удобные элементы(типа снмп\нетфлоу\радиус) - я "за", если элементы не получаются и не работают или не востребованы - да пользователи продукта еще их пытаются натянуть на 10000 пользователей(без соответствующей процессорной мощности) - против. ти для операторов связи будет нормальным решением в режиме прослушки и только билинга - шейпить\фильтровать\проксировать\антивирусить\ и т.д. и т.п. нужно другими средствами(НЕ виндовыми). вот такой мой краткий комментарий, если угодно.
all imho.


Автор: ba25
Дата отправки: 09-Июл-13 в 10:35
Исходное сообщение DanilaT DanilaT :

1. Будет и https фильтровать, если оно будет идти у вас через прокси-сервер ТИ (путём настройки в браузере).

Если не отключать NAT (а делать этого я не буду), то такая фильтрация обходится снятием галочки с прокси сервера в браузере. Или запуском другого браузера.

Исходное сообщение DanilaT DanilaT :

2. На list.smart-soft.ru списки для примера. 6МБ список сколько записей имеет? Ctrl+C, Ctrl+V. Может надо просто подождать пока загрузится?

6Мб список имеет 341529 записей.

У меня и в мыслях не было, что оно может так долго грузится. После вашего замечания я взял гораздо меньший список - 800кб и попробовал подождать. Через 20 минут оно действительно загрузилось.  Если зависимость времени загрузки от размера списка - линейная (в чем у меня есть сомнения), то 6мб список будет импортироваться ~150минут. Это значит, что код, как минимум, не оптимизирован.

Исходное сообщение DanilaT DanilaT :

3. Так он работает. 

Выдержка из справки:

В Traffic Inspector проверка рейтинга возможна только при работе через HTTP прокси сервер.

Про https там ни слова. Если прокси-сервер работает с https, то уберите из справки HTTP, оставьте только "при работе через прокси сервер".

Может, оно и будет работать, если в браузере прописать прокси, а на сервере отключить NAT, но этот вариант я не рассматриваю.

Исходное сообщение DmitryPC DmitryPC :

7100 строк российских сетей это большой список?


Я уже написал размер большого списка выше, ваш - небольшой. 

 



Страница печати | Закрыть окно