Конфигурация сервера

Обсуждаем OS FreeBSD и сервисы на ней.

Конфигурация сервера

Сообщение amasis » 08 янв 2011, 23:20

Доброго времени суток !
Есть сервер 2x3.0 Xeon . 4Gb Ram FreeBSD 8.0 Stable

Сетевухи Intel . Драйвера с сайта Intel
Код: Выделить всё
pciconf -lv |grep Gigabit                                 
    device     = 'Dual Port Gigabit Ethernet Controller (82546EB)'
    device     = 'Dual Port Gigabit Ethernet Controller (82546EB)'
    device     = 'Dual Port Gigabit Ethernet Controller (82546EB)'
    device     = 'Dual Port Gigabit Ethernet Controller (82546EB)'
    device     = 'Gigabit Ethernet Controller (Copper) (82544EI/GC)'
    device     = 'Gigabit Ethernet Controller (Copper) (82544EI/GC)


Проходящий траффик порядка 400 мбит
Потерь на интерфейсах нет
Код: Выделить всё
netstat -w1                                                   
            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
     84684     0     0   63587171      88774     0   82030245     0
     83442     0     0   63384669      86695     0   79910046     0
     87817     0     0   66262579      92394     0   87335940     0
     90052     0     0   67444891      95468     0   90370412     0
     86412     0     0   66604296      90515     0   86316935     0
     85911     0     0   65559815      89901     0   84467064     0
     87420     0     0   66751865      90799     0   85079546     0
     91044     0     0   68575389      95259     0   89691609     0
     92268     0     0   69476874      97687     0   92328239     0
     91503     0     0   69630974      96972     0   93191900     0
     89850     0     0   68447866      94489     0   90269291     0
     87085     0     0   67421865      91755     0   88538473     0
     87320     0     0   65877378      90922     0   85255914     0
     88680     0     0   66949182      92810     0   87570376     0
     87265     0     0   65376618      91484     0   86795158     0


Загрузка в часы пик
Код: Выделить всё
last pid: 65229;  load averages:  1.42,  1.33,  1.35                       
164 processes: 8 running, 137 sleeping, 19 waiting
CPU 0:  0.4% user,  0.0% nice, 64.9% system,  6.0% interrupt, 28.7% idle
CPU 1:  1.5% user,  0.0% nice, 42.0% system,  9.8% interrupt, 46.6% idle
CPU 2:  3.0% user,  0.0% nice, 34.8% system, 13.9% interrupt, 48.3% idle
CPU 3:  4.1% user,  0.0% nice, 13.1% system, 21.0% interrupt, 61.8% idle
Mem: 427M Active, 361M Inact, 453M Wired, 1536K Cache, 418M Buf, 2699M Free
Swap: 1024M Total, 1024M Free

Sysctl
Код: Выделить всё
net.inet.tcp.blackhole=2                                                                           
net.inet.udp.blackhole=1                                                                           
                                                                                                   
kern.maxfiles=20328                                                                                 
kern.maxfilesperproc=20095                                                                         
kern.ipc.maxsockets=20328                                                                           
                                                                                                   
dev.em.0.rx_int_delay=300                                                                           
dev.em.1.rx_int_delay=300                                                                           
dev.em.2.rx_int_delay=300                                                                           
dev.em.3.rx_int_delay=300                                                                           
dev.em.4.rx_int_delay=300                                                                           
dev.em.5.rx_int_delay=300                                                                           
                                                                                                   
dev.em.0.tx_int_delay=300                                                                           
dev.em.1.tx_int_delay=300                                                                           
dev.em.2.tx_int_delay=300                                                                           
dev.em.3.tx_int_delay=300                                                                           
dev.em.4.tx_int_delay=300                                                                           
dev.em.5.tx_int_delay=300                                                                           
                                                                                                   
dev.em.0.rx_abs_int_delay=600                                                                       
dev.em.1.rx_abs_int_delay=600                                                                       
dev.em.2.rx_abs_int_delay=600                                                                       
dev.em.3.rx_abs_int_delay=600                                                                       
dev.em.4.rx_abs_int_delay=600                                                                       
dev.em.5.rx_abs_int_delay=600                                                                       
                                                                                                   
dev.em.0.tx_abs_int_delay=600                                                                       
dev.em.1.tx_abs_int_delay=600                                                                       
dev.em.2.tx_abs_int_delay=600                                                                       
dev.em.3.tx_abs_int_delay=600                                                                       
dev.em.4.tx_abs_int_delay=600                                                                       
dev.em.5.tx_abs_int_delay=600                                                                       
                                                                                                   
dev.em.0.rx_processing_limit=400                                                                   
dev.em.1.rx_processing_limit=400                                                                   
dev.em.2.rx_processing_limit=400                                                                   
dev.em.3.rx_processing_limit=400                                                                   
dev.em.4.rx_processing_limit=400                                                                   
dev.em.5.rx_processing_limit=400
                                                               
net.inet.ip.dummynet.hash_size=2048                                                                 
net.inet.ip.dummynet.io_fast=1                                                                     
net.inet.ip.fastforwarding=1                                                                       
kern.ipc.maxsockbuf=16777216                                                                       
kern.ipc.nmbclusters=65536


На сервере только агрегация вланов и шейпера.
Хочу спросить совета - сколько этот сервак еще может прогнать трафика ? В ближайшее время планируется увеличение полосы в 2 раза .
Стоит ли покупать еще сервер или можно уменьшить нагрузку покупкой хороших сетевух ? Может FreeBSD криво настроена ?
Есть еще второй сервак такой-же на нем стоит bgp и nat. Загрузка сервера практически идентична этой.
Спасибо.
amasis
новичок
 
Сообщения: 40
Зарегистрирован: 02 мар 2009, 11:12

Re: Конфигурация сервера

Сообщение root » 11 янв 2011, 14:28

amasis писал(а):сколько этот сервак еще может прогнать трафика ?

думаю что ещё макс. мегабит 200 (а то и меньше) и начнутся проблемы, а торент трафик в этом поможет

amasis писал(а):Стоит ли покупать еще сервер или можно уменьшить нагрузку покупкой хороших сетевух ?

думаю, что в любом случае будет лучше купить второй, т.к. это не только распределение нагрузки, но и большая отказоустойчивость, т.е. при падении одного сервера ляжет не вся сеть и будет возможность предоставлять услугу юзеру хоть и в аварийном режиме.

amasis писал(а): Может FreeBSD криво настроена ?

как организовано шейпирование ? ipfw ? ng_car ? иное ?
если на ipfw, то, в зависимости от ситуации, для снижении нагрузки и большей производительности может помочь оптимизация и сокращение кол-ва правил ipfw

amasis писал(а):Сетевухи Intel . Драйвера с сайта Intel

в случае чего можно попробовать дрова от яндекса

amasis писал(а):Есть еще второй сервак такой-же на нем стоит bgp и nat.

жесть какая :shock:
удавил бы руководство своими бы руками если бы они мне сказали разместить эти две службы на одном сервере
BGP протокол внешней маршрутизации и это очень отвественное место в работе любого ISP`а да и не тока ISP`а, а любой конторы с BGP, т.к. не одни юзера висят на канале, а почта, сайт и прочие сервера и проблема, возникшая из-за NAT службы может негативно сказаться на работе BGP, что чревато тем, что сети прова просто пропадут из Инета, а значит что пропадет не тока Инет у юзеров, но и все остальные службы компании будут недоступны
посему я бы рекомендовал озадачится отселением BGP на отдельную тачку, а ещё лучше на отдельную железку, например Juniper
С уважением, root

Изображение
------------
www.mega-net.ru - IT аутсорсинг
Аватара пользователя
root
Site Admin
 
Сообщения: 1894
Зарегистрирован: 11 июн 2008, 13:05
Откуда: Moscow, Russia

Re: Конфигурация сервера

Сообщение Андрей » 12 янв 2011, 20:09

Я бы еще посмотрел на нагрузку камня на центральном роутере сети, т.к. он тоже вынужден гонять трафик. А то потом получится вещь "Купили сервер, а все тормозит".
.ı|ı..ı|ı.
Андрей
местный житель
 
Сообщения: 1028
Зарегистрирован: 14 янв 2009, 13:37
Откуда: Оренбургская область

Re: Конфигурация сервера

Сообщение root » 12 янв 2011, 23:59

Андрей писал(а):Я бы еще посмотрел на нагрузку камня на центральном роутере сети

amasis писал(а):Есть еще второй сервак такой-же на нем стоит bgp и nat. Загрузка сервера практически идентична этой.
С уважением, root

Изображение
------------
www.mega-net.ru - IT аутсорсинг
Аватара пользователя
root
Site Admin
 
Сообщения: 1894
Зарегистрирован: 11 июн 2008, 13:05
Откуда: Moscow, Russia

Re: Конфигурация сервера

Сообщение amasis » 13 янв 2011, 01:47

Было принято решение купить еще один сервер , бюджет $1000-$1200 Что можете посоветовать ?
Спасибо
amasis
новичок
 
Сообщения: 40
Зарегистрирован: 02 мар 2009, 11:12

Re: Конфигурация сервера

Сообщение Андрей » 13 янв 2011, 13:53

amasis писал(а):Было принято решение купить еще один сервер , бюджет $1000-$1200 Что можете посоветовать ?
Спасибо

Честно, в голову приходит только б/у сервер у нага, да и то не факт, что подберете, т.к. они там морально старые.
Из тех, что новые, могу посоветовать посмотреть на никсе, но там тоже дешевле 50000 рублей наврядли что будет, хотя как знать.

2root, может я чего не понял. Он же ISP. Я так понял, что у него стоит роутер в локалке для тех же виланов и т.п. BGP же для аплинков. Или я опять что-то не понял.
.ı|ı..ı|ı.
Андрей
местный житель
 
Сообщения: 1028
Зарегистрирован: 14 янв 2009, 13:37
Откуда: Оренбургская область

Re: Конфигурация сервера

Сообщение amasis » 13 янв 2011, 14:12

Речь велась о первом сервере который стоит в локалке - это с него я снимал показатели . За ним стоит сервер с bgp для аплинков. Загрузка 1 и 2 примерно одинаковая .
amasis
новичок
 
Сообщения: 40
Зарегистрирован: 02 мар 2009, 11:12

Re: Конфигурация сервера

Сообщение root » 15 янв 2011, 11:46

amasis писал(а):бюджет $1000-$1200 Что можете посоветовать ?

маленькая сумма, чтобы можно было что то посоветовать, на сервер нужен бюджет от 45К рублей.
нужен сервер не хуже по конфигурации чем есть сейчас

одного сервера тебе может не хватить, т.к. после установки второго сервера под юзеров и увеличения полосы у тебя может начать проседать сервер BGP+NAT, из-за NAT процесса. Можно конечно решать проблемы по мере их поступления, но по факту и опыту получается, что лучше заранее приготовиться, а не потом метаться и торопиться, чтобы задобрить разозленных юзеров.
так что хорошо бы, чтобы у тебя было как минимум 2 сервера: один под юзеров, второй только под NAT.
а совсем хорошо было бы:
    BGP на железке (Juniper, Cisco)
    2 NAT сервера
    2 NAS сервера (под юзеров)
    cisco catalyst 3560G/3750G (ака L3 свич)
такой узел точно выдержит нагрузку 800+мбит/с
С уважением, root

Изображение
------------
www.mega-net.ru - IT аутсорсинг
Аватара пользователя
root
Site Admin
 
Сообщения: 1894
Зарегистрирован: 11 июн 2008, 13:05
Откуда: Moscow, Russia


Вернуться в FreeBSD

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 18