Subnets.ru blog

В ряде задач администрирования требуется получать сообщения по какому-либо событию. Например, в мониторинге при падении/поднятии сервера/сервиса, канала и т.п.
Получать письма на e-mail неактуально, т.к. по себе знаю, хоть почта и проверяется раз в 5 минут, но заглядываю туда гораздо реже. Хотелось бы получить, чтото вроде всплывающих сообщений на экран/мобильник, тогда они точно не останутся без внимания, а также, чтоб эти сообщения приходили без задержки (ну или с минимальной задержкой). Таким условиям удовлетворяют 2 способа доставки сообщений:

Способ 1.

SMS и GSM-модем. Плюсы: сообщение получишь, даже если сидишь в сортире)). Недостатки: покупка/выбор мопеда. Не каждый мопед поедет под FreeBSD. Стоимость от 100 вечнозеленых буказоидов, да и за сами смс-ки придется платить. Тут уж как никак а раскошелиться придется.

Способ 2.

Сервис ICQ и ему подобные. Плюсы: минимум затрат, а в случае подключения мобильника — получаешь плюсы от первого способа. Недостатки: для получения смс на мобилу — нужна соответствующая мобила, которая это поддерживает.

Второй способ более привлекательный, как менее затратный. Самый простой в использовании протокол, как оказалось Jabber, вот его то мы и заюзаем.

Практика:

Первое, что необходимо сделать это создать аккаунт в джабере. В моем примере аккаунт регистрируем на jabber.ru

Второе:

Собираем порт /usr/ports/net-im/p5-Net-XMPP

cd /usr/ports/net-im/p5-Net-XMPP
make install clean

Существуют и другие порты для jabber, но будем использовать этот.

Третье:

Собственно сам крипт, отсылающий сообщение:

#! /usr/bin/perl

use Net::XMPP;
my $con=new Net::XMPP::Client();
$con->Connect(hostname=>"jabber.ru");
$con->AuthSend(username=>"user",
                        password=>"password",
                        resource=>"ALARM!");
my $msg=new Net::XMPP::Message();
$msg->SetMessage(to=>"reciver\@jabber.ru",
                 from=>"user\@jabber.ru",
                 body=>"My First Jabber Message From FreeBSD");
$con->Send($msg);
$con->Disconnect();

Логика скрипта проста. Коннектимся к серверу, отсылаем сообщение и дисконнект:

1. user@jabber.ru — авторизуется на jabber.ru
2. user (user@jabber.ru) — отсылает сообщение («My First Jabber Message From FreeBSD«) для reciver (reciver@jabber.ru)
3. user@jabber.ru — отключается от jabber.ru

Для того, чтобы рассылать сообщение нескольким абонентам, можно создать чат-группу, тогда сообщение посланное кому-то одному, будет переслано всем остальным в группе.

Можно прикрутить русский язык, но об этом позже 🙂 если дойдут руки.

З.Ы. При копировании статьи ссылка на источник ОБЯЗАТЕЛЬНА !

Автор: folio

FreeBSD сервера используют не только как роутеры, но и нередки те случаи, когда их используют для поднятия web серверов и в основном используют MySQL в качестве Базы Данных.

Раз используется база данных значит перед вами встанет задача в её бекапа (database backup).

Как сделать бекап базы данных ? В этой статье я постораюсь «пролить свет» на этот вопрос.

Пример perl скрипта который сдампит (dump) (сохранит) указанные вами БД, при этом каждая таблица этих БД будет в отдельном файле.

Для того, что бы скрипт работал вам нужно установить один из нижеперечисленных портов в соответствии с версией вашего MySQL сервера:

/usr/ports/databases/p5-DBD-mysql40/
/usr/ports/databases/p5-DBD-mysql41/
/usr/ports/databases/p5-DBD-mysql50/
/usr/ports/databases/p5-DBD-mysql51/
/usr/ports/databases/p5-DBD-mysql60/

#!/usr/bin/perl

use DBD::mysql;

#Задаем вывод дебага, значения: 0 или 1
my $debug=0; 

#Перечисляем названия баз для бекапа
my @databases=("blog","mydb","mysql");
#Аутентификационные данные для коннекта к серверу sql
my $host="localhost";
my $user="root";
my $password="root-password";
my $port="3306";
#Путь до программы mysqldump
my $sqldump_path="/usr/local/bin/mysqldump";
#В какую папку кладем бекапы
my $backup_dir="usr/backup/sql-tables";

$mkdir=0;
my $dtime=`date +%Y-%m-%d/%H`;
chomp($dtime);
for ($i=0;$i<@databases;$i++){
    my $bdir=sprintf("%s/%s/%s",$backup_dir,$databases[$i],$dtime);
    opendir(D,$bdir) or $mkdir=1 ;
    closedir(D);
    if ($mkdir){
         #Если папки, куда будет положен бекап, ещё не существует - создать её
        `/bin/mkdir -p $bdir`;
    }
    $bdir[$i]=$bdir;
}

$scr_st_date=`/bin/date "+%d.%m.%Y %H:%M:%S"`;
chomp($scr_st_date);
if ($debug){print "Script starting at: $scr_st_date \n\n";}
my $cs;
#Задаем кодировку для указанной базы, если не указать по умолчанию будет кодировка cp1251
%charset=("blog"=>"utf8");

for ($i=0;$i<=$#databases;$i++){
    $db=$databases[$i];
    if (!exists($charset{$db})){
        $cs="cp1251";
        $qc=mys("set names cp1251",$dbh);
        $qc2=mys("SET character_set_client = cp1251;",$dbh);
    }else{
        $cs=$charset{$db};
    }
    print "DB: $db [$cs]\n";

    my $dsn = "DBI:mysql:database=$db;host=$host;port=$port";
    my $dbh = DBI->connect($dsn, $user, $password);

    #Узнаем, из каких таблиц состоит данная база
    $q=mys("SHOW TABLES",$dbh);
    while (@t=$q->fetchrow){
        if (!exists($no_backup{$t[0]})){
            if ($debug){
                print "DB $db => $t[0]\n";
                print "$t[0]\n$sqldump_path --host=$host --port=$port --user=$user -p$password --opt $database[$i] $t[0] > $bdir[$i]/$t[0].sql\n";
            }
            `$sqldump_path --host=$host --port=$port --user=$user -p$password --default-character-set=$cs --opt $db $t[0] > $bdir[$i]/$t[0].sql`;
            if ($debug){print "Done\n";}
        }
    }

}

#Функция для обращения к sql серверу
sub mys {
        my $q=shift;
        my $dbh=shift;
        my $a;
        $a = $dbh->prepare($q);
        $a->execute;
        return $a;
    }

$scr_ed_date=`/bin/date "+%d.%m.%Y %H:%M:%S"`;
chomp($scr_ed_date);
if ($debug){print "Script end at: $scr_ed_date \n\n";}

После отработки скрипта, в папке указанной в переменной $backup_dir, появится папка с названием базы, а в ней папка с текущий_год-текущий_месяц-текущий_день/текущий_час

Например: /usr/backup/sql-tables/blog/2008-08-23/16

Импортируем данные из бекапа в базу, на примере БД blog:

Создаем пустую базу blog, а затем выполняем скрипт:

#!/usr/bin/perl
#Задаем путь к нужному бекапу
my $srclogdir='/usr/backup/sql-tables/blog/2008-08-23/16';
#Задаем название базы
my $db="blog";
#Аутентификационные данные для коннекта к серверу sql
my $user="root";
my $pass="root-password";
#Задаем расширение искомых файлов
my $filemask='.sql$';

opendir DIR,$srclogdir or die "Can't open logdir\n";
my @f=grep /$filemask/, readdir DIR or print "Can't read logdir\n";
closedir DIR or print "Can't close logdir\n";
@f=sort @f;
for ($i=0;$i<=$#f;$i++){
    $f[$i]=~s/\.sql$//;
    #Импортируем найденные .sql файлы в нашу базу
    $tmp=sprintf "mysql -u %s --password=%s -e \"use %s; set names utf8; source %s/%s.sql;\"",$user,$pass,$db,$srclogdir,$f[$i];
    print "$tmp\n";
   `$tmp`;
}

2. Скрипт можно поставить в cron, чтобы бекап делался автоматически 😉

З.Ы. При копировании статьи ссылка на источник ОБЯЗАТЕЛЬНА !

Автор: Николаев Дмитрий (virus (at) subnets.ru)

Trafd — демон учета трафика в FreeBSD.

Вопрос:

Я обнаружил, что у меня trafd сбрасывает инфу в /usr/local/var/trafd.
При попытке посмотреть traflog -i xl0 пишется :

traflog: WARNING: table too big to fit into memory

Подскажите как довести до ума работу trafd ?

Ответ:

По умолчанию сохраняется в /usr/local/var/trafd.

Для traflog нужны файлы которые получаются после того как отрабатывает:

trafdump IFACE_NAME
trafsave IFACE_NAME

После выполнения этих команд файлы и сохраняются в /usr/local/var/trafd

Например:

bge1 — название интерфейса на котором trafd собирает трафик (IFACE_NAME)
/usr/local/var/trafd/trafd.bge1 — полученный бинарный файл с трафиком
extnew — секция конфига /usr/local/etc/traflog.format в которой описан шаблон вывода бинарных данных в текстовый вид, например:

extnew {
    from:"%-18.18s " sport:"%-6.6s "        to:"%-18.18s " dport:"%-6.6s "
    proto:"%-4.4s " bytes:"%9ld " psize:"%10ld" ftime:" %Y-%m-%d %T" ltime:" %Y-%m-%d %T\n"
};

/usr/local/bin/traflog -o extnew -i /usr/local/var/trafd/trafd.bge1 -a -n > /usr/local/var/trafd/trafd.bge1.log

Таким образом разобранный трафик окажется в файле /usr/local/var/trafd/trafd.bge1.log

Команды trafdump и trafsave необходимо выполнять довольно часто, особенно при большом кол-ве трафика проходящего через этот интерфейс, чтобы избежать потом ошибки traflog: WARNING: table too big to fit into memory при обработке трафика.

Выход:

В файл /etc/crontab дописать:

*/5 * * * * * * root /usr/local/bin/trafdump IFACE_NAME; sleep 2; /usr/local/bin/trafsave IFACE_NAME

заменив IFACE_NAME на имя интерфейса на котором слушает trafd

Потом использовать небольшой скриптик на PERL:

/usr/local/sbin/scripts/trafd_move.pl

#!/usr/bin/perl

$srclogdir="/usr/local/var/trafd";
$dstdir="/usr/local/var/trafd/log";
$passeddir="/usr/local/var/trafd/passed";
$filemask=".IFACE_NAME";
($sec,$min,$hour,$day,$mon,$year,$wday,$yday,$isdst)=localtime(time());

opendir DIR,$srclogdir or die "Can't open logdir\n";
my @sorted=grep /$filemask/, readdir DIR;# or print "Trafd's logdir is empty\n";
closedir DIR or print "Can't close logdir\n";
@sorted=sort @sorted;
if ($#sorted >= 0){
   for($loop=0;$loop<=$#sorted;$loop++){
     #В этом месте мы можем делать с бинарным файлом все что угодно,
     #например натравить на него traflog, а затем переместить его в другую директорию
     $newname=sprintf("trafd_%02d%02d%02d_%02d%02d%02d_%02d.log",$year+1900,$mon+1,$day,$hour,$min,$sec,$loop);
     $cmd=sprintf("/usr/local/bin/traflog -o extnew -i %s/%s -a -n > %s/%s.passed",$srclogdir,$sorted[$loop],$passeddir,$newname);
     print "$cmd\n";
     system($cmd);
     $cmd=sprintf("/bin/mv %s/%s %s/%s",$srclogdir,$sorted[$loop],$dstdir,$newname);
     print "$cmd\n";
     system($cmd);
  }
}

Не забываем делать perl скрипт исполняемым:

chmod a+x perl_script_name.pl

Данный скрипт считает все файлы с маской $filemask в директории $srclogdir, затем он выполнит traflog и результат положит в $passeddir, а затем переместит бинарный файл с логами в $dstdir

Имена итоговых файлов будут такими:

1. trafd_годмесяцдень_часыминутысукунды_номерфайла.log
2. trafd_годмесяцдень_часыминутысукунды_номерфайла.log.passed

Пример: trafd_20080530_100830_02.log

Теперь можно поправить /ect/crontab:

*/5 * * * * * * root /usr/local/bin/trafdump IFACE_NAME; sleep 2; /usr/local/bin/trafsave IFACE_NAME sleep 2; /usr/local/sbin/scripts/trafd_move.pl

Не забыв поменять IFACE_NAME на имя своего интерфейса, а так же это должно быть написано одной строкой, без переносов на новую строчку конфига /ect/crontab.

З.Ы. Если кому-нить интересно, то можем привести пример с сохранением трафика в БД Mysql и код на PHP для просмотра статистики.

Вопрос:

trafd выдает bytes и psize. psize всегда больше. Что такое bytes в trafd ? Как считает провайдер ?

Ответ:

Смотрим в /usr/local/etc/traflog.format

# bytes number of data bytes
# psize number of all bytes

Итак bytes — это счетчик только данных, а psize это все переданные данные, включая технические (установка сессии и т.п.).

Провайдеры всегда берут psize, т.к. это включает в себя весь трафик переданный от или к пользователю.

Авторы:
Николаев Дмитрий (virus (at) subnets.ru)
Панфилов Алексей (lehis (at) subnets.ru)

Многие ищут/спрашивают функции для проверок IP-адресов на вхождение в подсеть, итак:

Perl

#!/usr/bin/perl
# Пример вызова и проверки IP-адреса 192.168.0.4
# на принадлежность к сети 192.168.0.0 с маской 255.255.255.248
#
if (ip_vs_net("192.168.0.4","192.168.0.0","255.255.255.248")){
    print "Адрес принадлежит сети\n";
}else{
    print "Адрес не входит в подсеть\n";
}
#Подпрограмма перевода IP в число
sub aton{
    my $addr=shift;
    (my $a0, my $a1, my $a2, my $a3)=split('\.',$addr);
    return $a3+($a2<<8)+($a1<<16)+($a0<<24);
}
#Подпрограмма перевода числа в IP
sub ntoa{
    my $ip=shift;
    return sprintf("%d.%d.%d.%d",
    (($ip&0xFF000000)>>24),(($ip&0xFF0000)>>16),(($ip&0xFF00)>>8),($ip&0xFF));
}

#Подпрограмма проверки вхождения IP в подсеть

sub ip_vs_net{

    my $ip=shift;

    my $network=shift;

    my $mask=shift;

    if((aton($ip)&aton($mask))==aton($network)){

        return 1;

    }else{

        return 0;

    }

}

PHP

<?
// Пример вызова и проверки IP-адреса 192.168.0.4
// на принадлежность к сети 192.168.0.0 с маской 255.255.255.248

if (ip_vs_net("192.168.0.4","192.168.0.0","255.255.255.248")){

    print "Адрес принадлежит сети<BR>";

}else{

    print "Адрес не входит в подсеть<BR>";

}

function ip_vs_net($ip,$network,$mask){

   if (((ip2long($ip))&(ip2long($mask)))==ip2long($network)){

       return 1;

   }else{

       return 0;

   }

}

?>

Функции которые переводят из CIDR в обычную маску и наоборот
<?
function cidr_2_mask($mask){
    return long2ip(pow(2,32) - pow(2, (32-$mask)));
}

function mask_2_cidr($mask){
    $a=strpos(decbin(ip2long($mask)),"0");
    if (!$a){$a=32;}
    return $a;
}
?>
Пример:
<?
     printf("%s",cidr_2_mask("24"));
     //Напечает 255.255.255.0

      printf("%s",mask_2_cidr("255.255.255.0"));
     //Напечает 24
?>

Ссылки:

• CIDR Subnet Table
• Маска подсети и CIDR

З.Ы. При копировании статьи ссылка на источник ОБЯЗАТЕЛЬНА !

Автор: Панфилов Алексей (lehis (at) subnets.ru)