Домашний сервер, или приключение длиной в 6 лет. Часть первая
Здравствуй, Хабр, давно не виделись.
Сегодня я хотел бы рассказать про свой домашний сервер: какие ошибки допустил, на какой конфигурации сейчас остановился, да и вообще — зачем я это делал.
Дисклеймер: некоторая часть ПО, о котором ведется речь в статье, может быть использована на бесплатной основе только в ознакомительных целях или с ограничениями по функциональности, пожалуйста, перед использованием изучите сайт разработчика на предмет лицензирования и возможности использования ПО для вашего дома.
История началась в уже далеком 2014 году, ходят мифы, что когда-то доллар был по 32 рубля за одного зелёного, трава была зеленее, небо чище, а энтузиазма было столько, что я занялся вещами о которых расскажу ниже в статье, сейчас я бы на такое уже не отважился.
В один прекрасный день, разбирая свои провода и коробки на шкафу, и раскладывая оставшееся железо от ремонта старых ПК друзей, родственников и знакомых, я вдруг решил создать центральное хранилище резервных копий для семейных фотографий, домашний CCTV, сделать медиа-сервер для удобного просмотра кино и сериалов, да и лаба для всевозможных экспериментов тоже не помешала бы, такой домашний NAS с расширенным функционалом. Подобная идея уже некоторое время мелькала у меня в голове, но все было не до нее — либо чего-то из железа не хватало, либо времени, а тут все как раз сошлось.
Собственно началось все с нескольких жестких дисков разного объема, в качестве процессора я взял старенький Intel i3-2120 3.3Ghz и 4GB RAM DDR3 (2 планки по 2GB), какого-то старого очень китайского корпуса, который, как видно на фото, был доработан в прямом смысле напильником, хотя на самом деле там побывали и кусачки, и молоток, да и ножовкой по металлу я что-то пилил. В качестве материнской платы была взята списанная из офиса MSI B75MA-E31 (списали ее потому, что после каждого ребута в ней слетали настройки биоса и она постоянно просила настроить время и прочие параметры), как оказалось уже позже, когда я ее таки забрал, в ней косячил разъем под батарейку CR2032, вооружившись мультиметром, паяльником и парой других мертвых материнок, мне удалось перепаять целиком посадочное гнездо с контактами батарейки и восстановить нормальную работу материнской платы.
В Итоге получилось что-то такое:
На самом деле на фото вариант уже с интегрированными корзинами под HDD, чуть ранее “сервер” был собран без них просто в рамках посадочных мест корпуса под HDD, но фотографии того варианта я не нашел, хотя, как помню, первый вариант довольно быстро был модернизирован корзинами до состояния как на фото, так что суть оно передает очень точно, так сяк и продакшн.
Что же по софту спросите вы, так вот изначально в качестве операционной системы была выбрана Windows 10…
Собственно этот выбор позже принес огромное количество неудобств, т.к. некоторый софт переставал работать при автоматической установке обновлений и прочих ситуациях, характерных пользовательским версиям Windows работающим без длительных перезагрузок.
Но первичный опыт был получен и некоторое время я пользовался расшаренными папками с этой машины, сделал ту самую заветную копию семейных фотографий, начал собирать домашнюю медиатеку.
Для домашнего CCTV (видеонаблюдения) я купил на Avito несколько камер D-Link dcs-2130, для начала камеры были очень даже неплохие, но большим минусом данных камер была необходимость использования блока питания с довольно коротким проводом, провод в итоге я удлинял с помощью витой пары — получилось вполне сносно.
Позже у меня появилось пара камер с ночным режимом записи (съемка с инфракрасной подсветкой), которые также использовались некоторое время.
По программному обеспечению я перепробовал множество вариантов: сначала родной софт от D-link, который на тот момент был просто ужасен, потом я пробовал “Линия IP”, “Trassir” и “iSpy”, насколько знающий читатель поймет, “Линия IP” и “Trassir” накладывали множественные ограничения в триальных режимах, да и опять же ни одно из решений я не мог для себя оценить как идеальное, в итоге на длительный срок я остановился на открытом бесплатном ПО для организации видеонаблюдения — “iSpy”.
iSpy уже в то время позволял использовать сценарии записи по движению, экспорт видео, удобный поиск по зонам и т.п. В рамках данной статьи я не хотел бы подробно останавливаться на этом программном обеспечении, но основное, что стоит сказать — оно меня тогда устроило и позволило решить стоящую передо мной задачу, хотя интерфейс сложно было назвать удобным и понятным для пользователя.
Спустя полгода или чуть больше, намучившись с Windows, я решил, что надо попробовать в качестве основной операционной системы что-то стабильное, не требующее постоянных перезагрузок и обновлений, основанное на Unix/Linux.
В итоге выбор пал на FreeNas. Я довольно долго жил с ним и не тужил, используя плагины для расширения базового функционала и шары с поддержкой Windows ACL, Emby в jail для DLNA вполне справлялись со своими задачами, диски разного объема спокойно склеивались в отказоустойчивые RAID-массивы.
Я перепробовал все доступные конфигурации RAID, провел огромное множество тестов на скорость записи и чтения, тесты на IOPS, изучил теорию по массивам и типам файловых систем, в общем провел время с пользой.
Точно уже и не вспомню, но freenas радовал меня около года, если не больше, но было 2 основные причины, почему я снова решил сменить операционную систему моего сервера.
Первой было то, что я никак не мог подобрать удовлетворяющее меня решение для домашнего CCTV, которое работало бы на FreeNas, извиняюсь перед читателями, я достоверно не помню какие варианты я пробовал использовать и с чем экспериментировал на FreeNas в плане CCTV, но точно помню, что хорошего решения тогда я не нашел.
И второй причиной было отсутствие гибкости для экспериментов. В частности с виртуальными машинами Windows и Linux, а тут еще и на работе решили попробовать Windows Hyper-V и дабы расширить свой кругозор и принудительно получить некоторые навыки я снова вернулся к Windows, только теперь уже Windows Server 2012.
Кстати к этому времени у меня высвободилась оперативная память с основного ПК — 2 планки по 4GB DDR3, соответственно у меня уже было 8GB для моих лихих затей.
А еще я приобрел с рук (все там же на Авито) RAID контроллер LSI 8888ELP за 4500 рублей, абсолютно новый, в коробке и пленке.
Я конечно тут же получил несколько неприятных напоминаний, что Windows системный администратор должен страдать по определению — создание виртуальных машин с Linux оказывается требует отключения secure boot в гипервизоре и еще некоторых плясок с бубном, и если сейчас ни одной машины не запущено, то Windows Server опять же норовит поставить обновление и перезагрузиться, либо по утру я обнаруживал синий экран, т.к. что-то винде там в очередной раз не понравилось и прочие радости жизни с продукцией Microsoft.
Но цель изучить Microsoft Hyper-V, базовый функционал виртуализации от Microsoft, была достигнута.
По софту для решения первоначальных задач все оставалось примерно так же:
Но под конец 2016 года на меня свалились даром около 15-17 замученных, но вполне рабочих дисков по 1 ТБ, без BAD блоков. Собственно грех было не приспособить их в домашний сервер, но была проблема — на материнской плате всего 3 слота SATA II и один SATA III, также был RAID-контроллер LSI 8888ELP — это еще 8 портов SATA, и даже купленная мной в какой-то момент плата расширения Espada PCIe-4 x SATA III не позволяли собрать в данном корпусе что-то вменяемое.
Я стал изучать рынок Б\у серверов supermicro на предмет покупки 3U-4U сервера с hotswap-корзинами, CPU, RAM и т.п. Также очень хотелось уже получить наличие IPMI (iLO в терминах HP), то есть KVM over IP, дабы была возможность подключаться к серверу по IP в веб или java приложении. Хотя сервер до этого времени жил в тумбочке под телевизором (где у нормальных людей обычно обитают Playstation и Xbox) и был подключен по HDMI к тому самому телевизору, но каждый раз для управления мне приходилось переключать клавиатуру со своего ПК (пока Windows Server работал штатно, ничего не обновляя и не зависая в синий экран, естественно я подключался по RDP) — соответственно IPMI был бы очень кстати, да и вроде подарок на день рождения я себе так и не купил.
Картинку резал из видео, поэтому за качество извиняюсь, но как видно “сервер” живет на нижней полке, и особо никому не мешает.
Но изучив цены, я очень быстро поубавил свои хотелки, как по процессору, по объему оперативной памяти, так и по наличию IPMI, тем не менее всё, что я находил, было для меня всё ещё дорого. Через неделю, устав бороться с жабой и рыться в барахолках, я решил купить дисковую полку Dell PowerVault MD1000 (DAS) с кабелем для Raid-контроллера (SFF8088-SFF8470), которым я собственно и планировал подключить полку к своему серверу через внешний порт на RAID-карте. Полка обошлась мне в 23 800 руб., а кабель еще в 3000.
Приехал мой подарок из славного города Санкт-Петербурга, доставленный логистической компанией, бережно упакованный в деревянный паллет, в пленке и защитной упаковке:
Фото паллета уже после того как я извлёк из него дисковую полку, разбирал я его ножом и отверткой, на все про все ушло примерно 40 минут.
Я знал, что полка будет тяжелая, но то что я буду проклинать все и вся включая себя за эту идею — я даже представить не мог! Еще даже не достав дисковую полку из паллета (а она была там забита гвоздями намертво), я уже понял, что это будет то еще приключение.
Удивительно, но я не смог найти у себя ни одной фотографии дисковой полки отдельно, поэтому приложу фото из интернета:
А на фото ниже можно наблюдать уже сервер с полкой в сборе, в тумбочке на балконе.
Тумбочку делал конечно же сам, всё как положено — сначала спроектировал в какой-то онлайн-программе и распечатал раскрой материала на листочке, затем в ОБИ, куда я поехал за материалом, как водится не оказалось в наличии той щитовой доски с сайта, для которой я распечатал раскрой, поэтому я взял вариант в наличии на 2мм толще, предупредил там на распиле, но естественно один принимает заказы на распил, другой носит, третий пилит, где-то там в коммуникации эти 2 мм потерялись. Тумбочку я конечно же собрал, но 2 мм “погрешности” — это огромная разница при сборке мебели.
Статья вышла куда длиннее чем я изначально рассчитывал, а мы дошли только до середины повествования, да и супруга уже требует внимания.
И да, сервер реально оказался на балконе, и летом, и зимой. Почему же так произошло? Те, кто хоть раз включал дисковую полку enterprise-уровня, уже догадались, а для остальных я опишу ощущения (в том числе и не только свои) во второй части!
Домашний сервер
Вводная часть
Ребенок подрос и появилась желание собрать дома свой сервер с виртуализацией для экспериментов и повседневного использования. Повысить скилл в Linux, продуктах Citrix, python. Посмотреть внутрянку Elastic Search и других интересных продуктов.
Цены указаны на февраль 2021 г. К концу мая 2021 г. цены выросли существенно.
Выбор оборудования
Кроме желания необходима финансовая составляющая и выбор оборудования.
Б/у оборудование особого желания не было покупать, поэтому необходимо было выбрать максимально бюджетное и производительное.
E5-2630L v3
Для охлаждения взял Cooler Master Hyper H412R 120W RR-H412-20PK-R2 за 1600 р. Как показали тесты справляется на ура. Пока менять не планирую.
8000 р. Пока будет 3 планки и жду следующих скидок и акций 🙂
Далее корпус, важны были следующие критерии:
нижнее расположение блока питания
кожух для блока питания
место для кабель-менеджмента
возможность установить 3 hdd и хотя бы один ssd
установить несколько 140 мм вентиляторов на вдув и выдув
В итоге выбрал Deepcool MATREXX 55 MESH за 3490 р. Многие скажут, что в него можно установить всего 2 3,5 hdd. Да это так, но отзывы по нему хорошие и цена приятная. Ну а третий hdd будет лежать на кожухе.
К корпусу купил 5 вентиляторов ID-Cooling White (WF-14025) и один ID-Cooling White 120mm 4-Pin 800-1800 RPM (WF-12025) обошлись в 2950 р.
В планах купить ASUS HYPER M.2 X16 CARD V2 и еще парочку таких же ssd и перенести систему на sata ssd.
Провел тесты nvme накопителя встроенными средствами разным размером и количеством :
В итоге сервер в первоначальной конфигурации немного вышел из бюджета и составил
Операционная система
Пока решил остановиться на Linux с KVM. В качестве дистрибутива выбрал Fedora далее устанавливать KVM и обвязкой.
Установка ОС
В использовании Linux можно сказать новичок и это вызывает некоторые трудности из-за древней видеокарты. Установка заработала в режиме загрузки UEFI и с упрощенной графикой.
Разбиваем диск на разделы с использованием LVM.
Установка на nvme накопитель прошла достаточно быстро.
После установки система запускает в максимальном разрешении HD 1280×1024.
и обновляем загрузчик
Перехожу в консольный режим Alt + Ctrl + F3
Быстрого решения не нашел и в итоге ставлю lightdm и включаю его. Если подскажите решение буду благодарен.
Первым делом установка обновлений и установка минимального набора пакетов ОС
Дальше настало время установи kvm для возможности запуска виртуальным VM. Для этого устанавливаем kvm, необходимых пакетов и утилит для мониторинга системы:
Дальше в планах развернуть схему Citrix Virtual Desktop. В качестве контроллера AD использовать Debian c SAMBA 4.
Как создать файловый сервер на шесть HDD на основе старого компьютера
Содержание
Содержание
Современный жесткий диск потребляет около пяти ватт при обычной работе и до 10-15 ватт при старте. И вот, когда количество жестких дисков у меня достигло восьми штук, я понял что нужно собирать для них отдельный файловый сервер.
Для чего нужен файловый сервер
Читатель может задаться вопросом — а что же я храню на таком количестве жестких дисков? В основном домашний фото- и видеоархив с дублированием, огромную коллекцию аудиокниг, бэкапы и разную файловую ерунду, которая есть на каждом компьютере.
Конечно, можно поставить парочку больших жестких дисков на 6-8 терабайт в компьютер или NAS для этих же целей, и это будет компактно, энергоэффективно, но и цена такого решения будет намного выше.
Как раз мои домашние списали в утиль старенький компьютер на основе трехъядерного Phenom первого поколения, материнской платы Asus M3N78-VM, четырех гигабайт оперативной памяти, блока питания Corsair VS550 мощностью 550 Вт и корпуса Asus TA-668. Из этих комплектующих я и решил собирать файловый сервер.
Сразу уточню, почему я называю его «файловый сервер«, а не «самосборный NAS«. Я собираюсь пока использовать его в виде локальной сети между двумя системниками без выхода в домашнюю сеть и интернет, поэтому называть его NAS пока рановато.
В будущем доукомплектую его уже имеющейся Wi-Fi платой и буду экспериментировать и настраивать, а пока мне хватит простого файлового сервера.
Требования к серверу
Требования будут довольны серьезны:
Реализация
Сразу скажу, что не все пункты удалось выполнить, но в целом задумка удалась. Но обо всем по порядку.
Корпус Asus TA-668 довольно простой и устаревший, но сделан качественно, весь металл завальцован по краям, а многочисленные штамповки дают прочность. Штатно можно установить четыре внутренних устройства 3.5″ и одно внешнее.
Плохо то, что пространства для кабель менеджмента практически нет и пучок проводов придется оставлять болтающимся в центре корпуса, что будет выглядеть очень неприглядно.
Размещение жестких дисков
Сначала я думал, что один из жестких дисков можно будет установить во внешний отсек для FDD, но это не удалось, диск не влез. Зато очень много места в отсеках 5.25″, чем я и воспользуюсь.
На скорую руку я собрал салазки из старого dvd-привода и корзины для жестких дисков от старенького корпуса, которые позволят установить пару HDD в отсек для DVD-приводов.
Спереди крепится вентилятор 92 мм.
Кстати, подобные салазки продаются в магазинах, их необязательно «колхозить» самому.
Итого, я смогу установить как минимум шесть жестких дисков. Еще остается много свободного места внизу-сзади корпуса, туда можно дополнительно установить пару жестких дисков в салазках, ведь дискретной видеокарты не будет, так как мне хватит пока и встроенной GeForce 8200.
Но я «уперся» в провода блока питания. У Corsair VS550 всего четыре SATA разъема, причем два из них расположены на ветках с двумя разъмами molex, что крайне неудобно в моем случае.
Как выход, можно использовать переходники питания molex-SATA, но не всегда у них бывает хороший и надежный контакт. Используя такие переходники, сразу поджимайте контакты питания поплотнее (иголкой) и выбирайте такие, где провода не слишком длиннные.
Идеально было бы сделать «кастомные» провода с четырьмя разъемами питания SATA на один провод, припаявшись к проводам molex, но я не рискнул пускать «под нож» блок питания, не опробовав предварительно в работе файловый сервер.
При попытке установить семь жестких дисков вот таким способом, я понял, что хоть работать это и будет, но подключать и отключать диски и кабели передачи данных SATA будет просто мучительно. Да и такая «вязанка проводов» вполне может сработать как пружина и нарушить и без того слабый контакт в «data» SATA разъемах.
В результате я остановился на шести накопителях, но в будущем возможно спаяю нормальные провода, достану корзину для жестких дисков от старого корпуса, и будет возможно установить в сервер и семь-восемь HDD.
Проблема дисков объемом более 2 ТБ и старых материнских плат
Кстати, на материнской плате есть пять SATA разъемов и один eSATA, но у меня есть дискретный PCI-E контроллер на два SATA устройства, что позволит не тянуть провод в eSATA порт на задней панели компьютера.
Сразу расскажу об одной проблеме, с которой вы можете столкнуться при построении файлового сервера на столь старой материнской плате, как Asus M3N78-VM.
При сборке я воткнул пару своих дисков на три терабайта в материнскую плату, и она правильно опознала (на первый взгляд) жесткие диски и запустилась. Однако я совсем забыл о проблеме дисков объемом более 2 ТБ и старых материнских плат.
При загрузке сервера были видны все файлы на диске, но были ошибки доступа к ним, похожие на недостаток прав NTFS в «безопасности» и постоянно запускался CHKDSK, пытаясь «исправить» ошибки.
Я решил — «пусть исправит», и оставил компьютер с включенным CHKDSK. В результате на диске осталось около 800 ГБ данных, а 2 ТБ пропало, именно так и видит ОС большой диск на старой материнской плате — доступно в районе 800 ГБ файлов и все.
К счастью, мой сторонний контроллер поддерживал диски объемом 3 ТБ и выше, и при подключении больших дисков к нему, «проверка диска» из под Windows исправила все ошибки и вернула файлы на место.
Помните об это проблеме и будьте осторожны! При покупке сторонних контроллеров уточняйте поддержку больших жестких дисков.
Я покупал свой контроллер пару лет назад, сейчас в DNS по Москве доступен вот такой, подороже.
Гигабитная сеть
Почему я сразу отказался от подключения файлового сервера в домашнюю сеть и интернет со скоростью в 100 мегабит, а подключил его в локальную сеть с основным компьютером на 1 гигабит? Все дело в объемах данных, которые придется гонять между компьютером и сервером.
100-мегабитная сеть даст в идеале всего около 12 мегабайт в секунду, что очень мало для видеофайлов на несколько гигабайт. А вот гигабитная сеть даст уже почти 120 Мб/сек, что близко к скорости копирования между дисками.
Реализовать ее очень просто, достаточно соединить порты сетевых плат на компьютерах, они давно гигабитные даже на дешевых материнских платах. А в компьютер, которому нужен будет обычный доступ в интернет, вставляем недорогую сетевую плату. Главное, учитывайте, что разъем PCI уже отмирает, и в новых материнских платах его уже попросту нет. Поэтому лучше берите сетевую плату PCI-E.
Выбор операционной системы для сервера
Тут есть простор для выбора, можно поставить и одну из многочисленных версий Linux, даже просто на флешку, чтобы не занимать SATA порт на материнской плате отдельным накопителем. Можно установить специальную ОС для NAS, например EasyNAS или FreeNAS.
Но я выбрал старый добрый Windows 7 для простоты настройки, и так как этот компьютер будет иногда использоваться как медиапроигрыватель для фильмов и видео и запускать шахматы, Heroes of Might and Magic III и прочие старые игры. Так как выхода в интернет не будет, ОС я поставил без обновлений и антивирусов.
Теперь о том, где же эта Windows 7 будет установлена. Как вариант, можно установить ее на один из HDD с данными, в отдельный раздел, и это будет работоспособно (я проверял).
Но я решил установить ее на отдельный диск, «гулять так гулять», плюс ничто не будет тормозить работу сервера. Я нашел под нее старенький HDD на 250 ГБ. Хватит и самого дешевого SATA диска на 80 ГБ, которые продаются на барахолках за 100-200 рублей.
Проблемы при сборке
Файлсервер я сразу начал настраивать на как можно более тихую работу и поставил вентиляторы на вдув и выдув на обороты менее 1000 в минуту, но столкнулся с сильным перегревом южного моста материнской платы (MCP). Даже в простое температура уходила за 60 градусов.
Проблема была решена установкой дополнительного вентилятора на 80 мм на обдув чипсета. Asus M3N78-VM умеет управлять всеми вентиляторами в зависимости от температуры, поэтому я настроил их старт с 6 вольт. В плане шума стало сразу лучше, ведь эти вентиляторы расположены в глубине корпуса.
А на MCP температура сразу упала на 20 градусов даже под стресс тестом.
И самый шумный из вентиляторов я дополнительно «придушил» переменным резистором от Zalman.
Также я дополнительно поставил тихоходный 120 мм кулер на обдув четырех нижних дисков. Шума он не прибавит, а несколько градусов сбивает. Воздух этот кулер будет брать из перфорации на боковой стенке.
Температурный режим жестких дисков
Температура всех HDD порадовала, даже тех, что обдуваются одним вентилятором 92 мм сверху. За счет чего такие низкие температуры? Во-первых, при таком расположении жестких дисков — вдоль, между стенок корпуса, без отдельных корзин под каждый диск, создается эффект «аэродинамической трубы» — воздух легко и быстро проходит вдоль всей поверхности диска, не распыляясь об корзину или не уходя вбок.
Во-вторых, ход воздуха в корпусе идет эффективно, снизу вверх и без застойных зон, боковой вентилятор на 120 мм и вентилятор на чипсете очень помогают.
Я использовал эти же жесткие диски в корпусе Zalman, где они стояли поперечно, в корзинах, и при такой же температуре в комнате (26 градусов) их температуры были на 3-6 градусов выше.
Функционирование без клавиатуры, мыши и монитора
Я поставил файловый сервер в нишу «горки», за телевизором 43″, где его не видно и практически не слышно, подведя к нему кабель питания и LAN кабель.
В биосе я настроил параметр Restore on ac power loss как Power On. Теперь компьютер включается автоматически при появлении электричества в розетке. Я щелкаю кнопкой сетевого фильтра 220 В, и он включается. О выключении напишу ниже.
Сначала я думал, что придется настроить в BIOS и поведение ПК при отсутствии клавиатуры, но он запускается и без нее, лишь давая один дополнительный сигнал через PC Speaker.
Теперь при включении через минуту в сетевом окружении появляется сервер и его диски.
При копировании скорости немного не дотягивают до 120 Мб/сек, но вполне меня устраивают.
Удаленное управление
Удаленное управление удалось организовать очень просто, средствами Windows, включив в настройках сервера «Разрешение подключения удаленного помощника».
Теперь по щелчку значка сервера в папке «Сеть» появляется пункт «Подключение к удаленному рабочему столу». И при выборе этого пункта мы через 10 секунд оказываемся на рабочем столе сервера, полностью управляя им.
Удаленное выключение
Как оказалось, сервер невозможно выключить через меню «Пуск» при удаленном управлении, в меню просто отсутствуют пункты «перезагрузить» и «выключить», но эта проблема легко решается созданием ярлыка на рабочем столе сервера, с прописанным путем:
Этот ярлык теперь работает как кнопка выключения.
Выводы
Как видите, сделать свой файловый сервер на основе старого компьютера совсем не трудно. У меня ушло около двух дней, да и то большая часть времени ушла на решение «проблемы больших дисков» на старой материнской плате.
Я не стал подробно останавливаться на сетевых настройках, так как слабо разбираюсь в них. Но связать в сеть основной ПК и сервер у меня получилось практически методом тыка и при небольшом «гуглении».
Конечно, внутри он выглядит очень колхозно, но главное, что железо не греется и не шумит. После полной обкатки файл-сервера можно будет сделать и нормальные, компактные провода питания SATA. Также на очереди оснащение его платой Wi-Fi и превращение в полноценный NAS.