Побеждаем широковещательный флуд в корпоративной локальной вычислительной сети
Симптомы
Случилось у нас в организации, страшное дело – сеть работала, работала и вдруг, вроде без особых на то причин, стала работать нестабильно. Выглядело всё это очень странно (впервые столкнулся с проблемой сабжа) – некоторые компьютеры в сети (их небольшое количество) перестали получать IP-адреса (в логах пишут, что не получен ответ от DHCP), причем с утра одни, с обеда другие – пользователи звонят, волнуются, а мы ничего понять не можем.
Если это аппаратный сбой, то должен он по всем канонам, в каком-то одном месте находится, или хотя бы более массово проявляться (как например, с кольцом в Ethernet), а тут какие-то редкие всплески (примерно 5 из 300), а в целом все работает. Более детальный анализ географии больных компьютеров, показал, что они находятся на коммутаторах 3 и более очереди, от шлюза (рисунок 1).
Рисунок 1. География проблемы.
Поиск и выявление
От гипотезы проблемы с железом, отказались не сразу – отключали нижестоящие коммутаторы, и вроде бы получали более-менее кратковременное улучшение, но проблема до конца не исчезала.
Естественно возникла версия, что это некий вирус на ПК – мешает им получать IP-адрес. Она была отвергнута после, того как адрес не получил сетевой принтер. Как оказалось зря (точнее почти зря).
Параллельно с этим пытались анализировать трафик, но из-за неопытности специалистов, анализировался только трафик DHCP.
Итак, первые несколько дней решения проблемы не принесли. Пришлось расширять поле зрение сниффера. И вот в этот момент причина проблемы была обнаружена – при анализе всего широковещательного трафика, обнаружилось, что более 80% запросов ищут, некий сервер – в смысле один и тот же.
Как. позже мы почерпнули из интернета, называется данная проблема широковещательный флуд.
Эх… если бы знать об этом раньше.
Выяснилось, что некая служба под названием «PcounterPrint», очень истерично пытается найти свой сервер, которого как это ни странно нет. Служба ведет аудит печати сотрудников корпорации, и известна в миру под названием FollowMe Printing. Как выяснилось позже – сервер данной службы был успешно выведен из эксплуатации, естественно без какого либо уведомления, вышестоящими корпоративными системными администраторами.
По сути ПК пользователей выступили в качестве ботов, для DDOS-атаки нашего сетевого оборудования.
Массовое удаление
По хорошему, нужно было эту задачу отдать вышеописанным системным администраторам, но ведь и самим интересно и вот, после 25-минутных поисков в интернет рожден скрипт в power-shell:
Далее проверяем широковещательный трафик сниффером, если кто-то остался – корректируем список, и выполняем скрипт повторно, и так делаем несколько итераций, до полного удаления зловредного трафика.
Естественно, после этого сеть заработала стабильно.
Выводы
Как говорится в одном, известном, преферансистском анекдоте: так за это же нужно канделябром по голове…
В общем, административные выводы, я здесь писать не буду, хотя в основном напрашиваются именно они.
С технической точки, зрения, есть несколько мероприятий для профилактики, этой беды:
1. Сегментировать сеть на несколько виртуальных сетей
2. Уменьшить с помощью первого пункта глубину сети
3. Установить более умные коммутаторы
Хотя это конечно мероприятия эти спорны: а надо ли, ведь придется тратить время и деньги, тем более что персонал теперь знаком с данной ситуацией и в последующем, сможет быстро ее победить, хотя как знать…
Уменьшение количества широковещательного трафика в сети
Каждый VLAN — это отдельный широковещательный домен. Например, коммутатор — это устройство 2 уровня модели OSI. Все порты на коммутаторе с лишь одним VLAN находятся в одном широковещательном домене.
Создание дополнительных VLAN на коммутаторе означает разбиение коммутатора на несколько широковещательных доменов. Если один и тот же VLAN настроен на разных коммутаторах, то порты разных коммутаторов будут образовывать один широковещательный домен.
Увеличение безопасности и управляемости сети
Когда сеть разбита на VLAN, упрощается задача применения политик и правил безопасности.
С VLAN политики можно применять к целым подсетям, а не к отдельному устройству.
Кроме того, переход из одного VLAN в другой предполагает прохождение через устройство 3 уровня, на котором, как правило, применяются политики, разрешающие или запрещающие доступ из VLAN в VLAN.
Типы VLAN
Виртуальные сети могут создаваться по признакам портов коммутатора, физических (MAC) адресов устройств, включаемых в сеть (второй уровень модели OSI) и логических адресов протоколов третьего уровня модели OSI.
VLAN на базе портов
При использовании VLAN на базе портов, каждый порт назначается в определенную VLAN, независимо от того, какой пользователь или компьютер подключен к этому порту. Это означает, что все пользователи, подключенные к этому порту, будут членами одной VLAN. Конфигурация портов статическая и может быть изменена только вручную (рис. 1).
VLAN на базе портов применяются в пределах одного коммутатора.
Если необходимо организовать несколько рабочих групп в пределах небольшой сети на основе одного коммутатора, например, необходимо разнести технический отдел и отдел продаж, то решение VLAN на базе портов оптимально подходит для данной задачи.
Создание виртуальных сетей на основе портов не требует от администратора большого объема ручной работы. Достаточно каждому порту, находящемуся в одной VLAN, присвоить один и тот же идентификатор VLAN (VLAN ID).
Для возможности изменения логической топологии сети без физического перемещения станций – достаточно всего лишь изменить настройки порта, с одной VLAN (например, VLAN технического отдела) на другую (VLAN отдела продаж) и рабочая станция сразу же получает возможность совместно использовать ресурсы с членами новой VLAN.
Таким образом, VLAN обеспечивают гибкость при перемещениях, изменениях и наращивании сети. Каждый порт может входить только в один VLAN. Поэтому для объединения виртуальных подсетей – как внутри одного коммутатора, так и между двумя коммутаторами, нужно использовать сетевой уровень (третий уровень модели ISO/OSI). Один из портов каждой VLAN подключается к интерфейсу маршрутизатора, который создает таблицу маршрутизации для пересылки пакетов из одной подсети в другую, при этом IP адреса подсетей должны быть разными.
VLAN на базе MAC-адресов.
При существовании в сети большого количества узлов этот способ требует выполнения большого количества ручных операций от администратора.
Однако он оказывается более гибким при построении виртуальных сетей на основе нескольких коммутаторов, чем способ группировки портов.
Группирование МАС-адресов в сеть на каждом коммутаторе избавляет от необходимости их связи несколькими портами, однако, требует выполнения большого количества ручных операций по маркировке МАС-адресов на каждом коммутаторе сети.
Широковещательные домены на базе MAC-адресов, позволяют физически перемещать станцию (подключать к любому порту коммутатора), позволяя оставаться ей в одном и том же широковещательном домене без каких-либо изменений в настройках конфигурации.
Настройка виртуальной сети на основе MAC-адресов может отнять много времени. Кроме того, MAC-адреса «наглухо зашиты» в оборудование, и может потребоваться много времени на выяснение адресов устройств в большой, территориально распределенной сети.
Боремся с широковещательным штормом
Итак, продолжим с места «обрыва» 🙂 После того, как сеть практически полностью «легла», я начал идти от ее центра (нашего управляемого коммутатора в серверной) по кабелю, который был подключен к 19-му порту устройства. Структуру сети на работе я, худо-бедно, знаю (иногда, она мне даже снится в тяжелых сновидениях) поэтому через два промежуточных свитча я оказался в одной каморке «папы Карло», возле старенького, но качественно выполненного, 16-ти портового хаба (концентратора) от фирмы «Compex», на котором явно наблюдались коллизии.
Как видите, индикатор «Collision» постоянно «горит» красным!
Проходя по сети, и находясь в режиме телефонной связи со своим коллегой, который удаленно мониторил центральный коммутатор, я отключал (и включал обратно) каждый свитч, встречавшийся мне на пути. Таки образом, коллега мог видеть, как коллизии пропадают и снова появляются, а я понимал, что причина не в этом сегменте сети и шел дальше.
На нормальной сетевой карте вендором устанавливались различные светодиоды, по работе которых можно было с легкостью определить, в каком режиме, на какой скорости работает карта, нет ли с ней проблем и т.д.?
На фото выше мы видим, что две карты одного класса кардинально отличаются набором светодиодных индикаторов. На верхней их целых четыре:
Мы нашли последнее звено в цепи (тот единственный линк, генерирующий широковещательный трафик). Осталось пройти по нему и оказаться возле компьютера, который и явился причиной всего этого безобразия!
Итак, расследование мы провели, последствия проблемы в полной мере ощутили, теперь бы хотелось ответить на два сокровенных вопроса: «кто виноват?» (причины возникновения широковещательного трафика и коллизий в сети) и «что делать?» (какие существуют меры защиты от этого явления).
Начнем с первого: возможные причины возникновения широковещательного шторма.
Зачем оно нужно? А именно для того, чтобы пакеты, которые не могут найти своего адресата, вечно, как неупокоенные, не блуждали по линиям связи и не занимали их полосу пропускания. Изначально (на выходе кадра из сетевого адаптера компьютера) полю TTL присваивается значение 255 и при каждом «прыжке» (хопе) через новый маршрутизатор из него вычитается единица. Если при продвижении пакета значение TTL уменьшится до ноля, то такой пакет, попросту, отбрасывается на следующем маршрутизаторе (говорят, что его время «жизни» истекло).
Есть даже такой бородатый анекдот:
Мальчик сказал маме: “Я хочу кушать”.
Мама отправила его к папе.
Мальчик сказал папе: “Я хочу кушать”.
Папа отправил его к маме.
Мальчик сказал маме: “Я хочу кушать”.
Мама отправила его к папе.
И бегал так мальчик, пока в один момент не упал.
Что случилось с мальчиком? TTL кончился
Вот еще один пример:
Разберем более детально одну из секций настроек нашего коммутатора второго уровня. Нас будет интересовать пункт «Traffic Control»: (кликабельно)
В правой части окна мы видим настройки модуля управления и контроля за трафиком. В частности, здесь мы можем силами самого коммутатора бороться с широковещательным штормом в сети. Мы должны как бы запрограммировать коммутатор на соответствующую реакцию с его стороны при обнаружении широковещательного шторма на любом из портов. Вот давайте это и сделаем!
Хотите узнать почему именно это значение? Давайте разбираться вместе! 🙂
После того, как мы нажмем кнопку «Apply» (применить), весь входящий трафик, который превысит цифру 128 000 пакетов в секунду будет просто отбрасываться.
Как мы могли убедиться, специальные функции коммутаторов ограничивают количество широковещательных пакетов в сети. И каждый вендор (производитель) старается этот функционал всячески расширять, придумывая новые меры борьбы с этой напастью.
Причем, команды эти реализуются на уровне кодов физического уровня модели OSI, поэтому «понятны» для любого, даже самого распоследнего, сетевого адаптера 🙂
К стандартным методам управления трафиком относятся такие приемы как: «Метод обратного давления на узел» (backpressure) и «Метод захвата среды». Давайте коротко их рассмотрим!
Второй метод «торможения» хоста основан на так называемом агрессивном поведении порта коммутатора при захвате среды. Давайте, рассмотрим и его!
Например, коммутатор окончил передачу очередного кадра и вместо технологической паузы, положенной по регламенту протоколом, сделал паузу чуть-чуть меньшую (на пару микросекунд) и тут же начал передачу нового кадра. Подключенный к коммутатору ПК, не ожидавший такой «наглости», просто не смог получить доступ к среде, так как он выдержал положенный тайм-аут и обнаружил после этого, что линия уже занята. Коммутатор может пользоваться подобными механизмами управления потоком данных на свое усмотрение, увеличивая степень своей «агрессивности» в зависимости от ситуации.
Как избежать широковещательного трафика в сети?
Простой 5 комментариев
Камеры, кстати, тоже в отдельную подсеть.
Но я бы уже призадумался в сторону L3 коммутаторов.
я бы задумался в сторону маршрутизаторов, суть которых есть ограничение широковещательного трафика
так а зачем путь то выбирать? Пустил во все стороны и в ус не дуешь, 100% дойдёт до получателя, ещё и мощности в десять раз меньше потреблять будешь.
сдуру можно и хрен сломать)
Но к примеру принтеры HP исключительно широковещательно докладывают о себе.
Притом Станислав Бодро́в говорит о несколько ином.
осталось человечку восьмитонник на офис с полсотней рабочих мест порекомендовать )))
осталось человечку восьмитонник на офис с полсотней рабочих мест порекомендовать
ИТ База знаний
Полезно
— Онлайн генератор устойчивых паролей
— Онлайн калькулятор подсетей
— Руководство администратора FreePBX на русском языке
— Руководство администратора Cisco UCM/CME на русском языке
— Руководство администратора по Linux/Unix
Навигация
Серверные решения
Телефония
FreePBX и Asterisk
Настройка программных телефонов
Корпоративные сети
Протоколы и стандарты
Нужно знать: про маршрутизацию и коммутацию
Все, о чем вы стеснялись спросить
Сетевая индустрия использует множество терминов и понятий для описания коммутации и маршрутизации, потому что многие термины пересекаются в определениях этих понятий. Это может сбить с толку. Работает ли маршрутизатор маршрутизатором или коммутатором? В чем разница между коммутацией на 3 уровне (L3) и маршрутизацией?
Полный курс по Сетевым Технологиям
В курсе тебя ждет концентрат ТОП 15 навыков, которые обязан знать ведущий инженер или senior Network Operation Engineer
Что бы найти ответы на эти вопросы необходимо разобраться, что происходит с пакетом, когда он проходит через сеть.
Понимание широковещательных и коллизионных доменов
Два основных понятия, которые вы должны понять.
Коммутация. Понятие широковещательного домена и домена коллизий
На рисунке изображена простая сеть, иллюстрирующая эти два понятия.
Домен коллизий определяется как набор хостов, подключенных к сети. В некоторых случаях хосты одновременно не буду передавать пакеты из-за возможного столкновения последних.
Например, если Хост А и хост Б соединены прямым проводом, то они не смогут передавать пакеты одновременно. Однако, если между хостами установлено какое-то физическое устройств, то одновременная передача данных возможна, так как они находятся в отдельных доменах коллизий.
Широковещательный домен-это набор хостов, которые могут обмениваться данными, просто отправляя данные на 2 уровне(L2). Если узел A посылает широковещательный пакет для всех хостов, по локальной сети, и хост B получает его, эти два хоста находятся в одном широковещательном домене.
Широковещательный домен и домен коллизий
Мостовое соединение создает домен коллизий, но не широковещательный домен.
Традиционная коммутация пакетов и мостовое соединение- технически- это одно и то же. Основное различие заключается в том, что в большинстве коммутируемых сред каждое устройство, подключенное к сети, находится в отдельном домене коллизий.
Что же изменяется в формате типичного пакета, когда он проходит через коммутатор?
Рисунок не показывает измения в формате пакетов данных прошедших через коммутатор
Вообще, устройства по обе стороны от коммутатора не «видят», что между ними есть коммутатор, они также не знают назначения своих пакетов; коммутаторы прозрачны для устройств подключенных к сети.
Если узел А хочет отправить пакет на ip-адресс 192.168.1.2 (узел B), он отправляет в эфир широковещательный запрос для всех узлов, подключенных к тому же сегменту сети, запрашивает MAC-адрес хоста с IP-адресом 192.168.1.2 (это называется Address Resolution Protocol (ARP)). Так как узел B находится в том же широковещательном домене, что и узел A, узел A может быть уверен, что узел B получит этот широковещательный запрос и отправит ответный пакет с верным MAC-адресом для обмена пакетами.
Широковещательные домены и домены коллизии в маршрутизации
Сеть построена на основе маршрутизатора не создает широковещательный домен и домен коллизий данная схема приведена на рисунке:
Возникает вопрос, как пакет отправленный с хоста А достигнет хост Б с ip-адресом 192.168.2.1? Хост Ане может отправить широковещательный пакет для обнаружения адреса узла B, поэтому он должен использовать какой-то другой метод чтобы выяснить, как добраться до этого пункта назначения. Откуда узел А знает об этом? Обратите внимание, что после каждого IP-адреса на рисунке выше, есть значение / 24. Это число указывает длину префикса, или количество битов, установленных в маске подсети. Хост А может использовать эту информацию для определения что хост B не находится в том же широковещательном домене (не в том же сегменте), и хост A должен использовать определенный метод маршрутизации для достижения цели, как показано на рисунке ниже.
Теперь, когда хост A знает, что хост B не находится в том же широковещательном домене, что и он, он не может отправить широковещательный запрос для получения адреса хоста B. Как, тогда, пакету, отправленному с узла А, добраться до узла B?
Отправляя свои пакеты к промежуточному маршрутизатору, Хост A помещает в заголовок пакета IP-адрес хоста B, а также еще MAC-адрес промежуточного маршрутизатора, как показано на рисунке.
Узел А помещает MAC-адрес маршрутизатора в заголовок пакета. Маршрутизатор принимает этот пакет, приходящий из сети. Далее маршрутизатор проверяет IP-адрес назначения и определяет, какой наиболее короткий маршрут построить и сравнивает данные из пакета с таблицей маршрутизации (в данном случае сравниваются данные хоста B), и заменяет MAC-адрес правильным MAC-адресом для следующего перехода. Затем маршрутизатор пересылает пакет в другой сегмент, который находится в другом широковещательном домене.
Коммутация L3
Коммутация 3 уровня очень похожа на маршрутизацию, как показано на рисунке ниже (обратите внимание, что это то же самое, что изображено на рисунке выше). Это связано с тем, что коммутация 3 уровня является маршрутизируемой; Нет никакой функциональной разницы между коммутацией 3 уровня и маршрутизацией.
Полный курс по Сетевым Технологиям
В курсе тебя ждет концентрат ТОП 15 навыков, которые обязан знать ведущий инженер или senior Network Operation Engineer