USB Kamera Streamer

Wir wollen eine USB Webcam oder die RaspberryPi Kamera welche unter /dev/video0 bereit steht, im Netzwerk als Stream bereitstellen.

sudo apt-get update
sudo apt-get install build-essential libjpeg-dev imagemagick subversion libv4l-dev checkinstall

Quellcode herunterladen und kompilieren

svn co https://mjpg-streamer.svn.sourceforge.net/svnroot/mjpg-streamer mjpg-streamer
cd mjpg-streamer/mjpg-streamer
make USE_LIBV4L2=true
VERSION=$( sed -n '/SOURCE_VERSION/s/^.*"\(.*\)".*$/\1/gp' < mjpg_streamer.h )
REVISION=$( svnversion -cn | sed "s/.*://" )
sudo checkinstall --pkgname=mjpg-streamer --pkgversion="$VERSION+$REVISION~checkinstall" --default

MJPG-Streamer kann nun auf der Kommandozeile gestartet werden.

export LD_LIBRARY_PATH=/usr/local/lib
mjpg_streamer -i "/usr/local/lib/input_uvc.so -d /dev/video0 -f 15 -r 640x480" -o "/usr/local/lib/output_http.so -p 8090 -w /usr/local/www -c benutzername:passwort"

MJPG-Streamer

Raspberry Pi Zeitraffer Aufnahmen

Dieser kurze Beitrag beschreibt nicht die Installation der Kamera, sondern nur die Zeitraffer-Aufnahmen.

Mit dem Befehl lassen sich über einen definierten Zeitraum in bestimmten Zeitabständen Bilder aufnehmen:

raspistill -o img_%04d.jpg -tl 5000 -t 36000

Das Kommando ist aus mehreren Befehlen zusammengesetzt

Der Parameter -o definiert den Speicherort und den Dateinamen des Bildes. Es benennt die aufgenommenen Bilder mit einer fortlaufenden 4-stelligen Zahl.

Der Parameter -tl 5000 definiert die Zeitabstände zum Aufnehmen der Fotos, alle 5 Sekunden wird ein Bild erstellt.

Der Parameter -t 36000 definiert die Zeitdauer, wie lange das Programm laufen soll.

Die Zeitraffer-Aufnahmen stellen eine Vielzahl an einzelnen Bildern dar, die auch in ein Video zusammengeführt werden können. Dafür verwendet ihr den Befehl, um den Film video.mp4 zu erstellen.

ffmpeg -qscale 5 -r 4 -b 9600 -i img_%04d.jpg video.mp4

Raspberry Pi Kamera als Stream Server

Bei diesem Projekt verwende ich eine Raspberry Pi Kamera als Stream Server. Das Betriebssystem ist Rasbian Jessy Lite.

Mit Raspberry Konfig haben wir das Kamera Modul aktiviert.

sudo raspi-config

Ein erster Snapschuss sollte schon jetzt möglich sein.

raspistill -o /tmp/snapshot.jpg

Jetzt können wir die Installation starten.

Zuerst die PublicKey für Apt-Get hinzufügen.

curl http://www.linux-projects.org/listing/uv4l_repo/lrkey.asc | sudo apt-key add -

Die Installationsquellen für Apt-Get hinzufügen.

sudo sh -c 'echo "deb http://www.linux-projects.org/listing/uv4l_repo/raspbian/ jessie main" > /etc/apt/sources.list.d/uv4l.list'

Jetzt kann die Installaion starten.

sudo apt-get update
sudo apt-get install uv4l uv4l-raspicam uv4l-raspicam-extras

Der Dienst sollte jetzt laufen.

sudo service uv4l_raspicam status

oder man kann das Device /dev/video0 mit dem Programm uv4l erstellen.

uv4l --driver raspicam --auto-video_nr --width 640 --height 480 --encoding jpeg

Jetzt erstellen wir ein Foto in /tmp/snapshot.jpg.

dd if=/dev/video0 of=/tmp/snapshot.jpg bs=11M count=1

Jetzt kann man Motion oder einen anderen StreamServer verwenden.

Wir verwenden einen WebRTC StreamServer.

sudo apt-get install uv4l-webrtc

Mit VLC oder dem Firefox kann man sich den Stream ansehen.

vlc http://raspberrypi:8080/stream/video.mjpeg

Motion bietet sehr viel mehr, wie eine Bewegungserkennung und Alarm.

sudo apt install motion

Es gibt auch eine Beispielkonfiguration.

wget http://linux-projects.org/downloads/examples/motion.conf

Jetzt können wir Motion starten.

LD_PRELOAD=/usr/lib/uv4l/uv4lext/armv6l/libuv4lext.so motion -c /home/pi/motion/motion.conf

Im Webbrowser kann unter der Adresse http://raspberrypi:8081/stream.mjpg die Kamera aufzurufen.

Die LED an der Kamera lässt sich deaktivieren, indem der Eintrag disable_camera_led in der Konfig Datei gesetzt wird.

sudo sh -c 'echo "disable_camera_led=1" >> /boot/config.txt'

Weitere Informationen zur UV4L Installation.

Swap Partition mit Kompression

Wird in Linux nicht ausreichend RAM bereit gestellt, so besteht die Möglichkeit diesen mit eine Swap Partion zu erweitern. Zusärtlich kann man die Daten in dem Swap komprimieren.

Dazu instellieren wir zRAM-config.

sudo apt-get install zram-config

Der Dienst braucht ein Kernelmodul „zram“ und „lz4_compress“

sudo modprobe zram

Jetzt sollte das Modul geladen sein.

lsmod |grep zram

zram                   28672  4
lz4_compress           16384  1 zram

Sollte es nicht geladen werden können, weil das Kernel Modul nicht installiert ist, dann müssen noch die Extras installiert werden.

sudo apt-get install linux-image-extra-`uname -r`

Nach einem Neustart sollte der Dienst ohne Fehler laufen.

sudo service zram-config status

Die Anzeige vom Swap sieht jetzt so aus.

sudo swapon --show

NAME       TYPE      SIZE USED PRIO
/dev/sda5  partition 510M   0B   -1
/dev/zram0 partition 124M 976K    5
/dev/zram1 partition 124M 972K    5
/dev/zram2 partition 124M 968K    5
/dev/zram3 partition 124M 972K    5

Entfernen aller Pakete, die von dpkg mit rc markiert sind

Es gibt einen signifikanten Unterschied zwischen Apt remove oder purge. Apt (dpkg) remove entfernt nur die Paket-Binärdateien. Die Konfigurationsdateien des Pakets werden nicht gelöscht. Solche Pakete haben normalerweise den Zustand rc.

Mit dpkg können Sie den Status aller Pakete anzeigen.

dpkg --list |grep "^rc"

Was bedeutet „rc“? Dieser Zustand bedeutet, dass die Konfigurationsdateien noch nicht entfernt wurden, sondern nur die Binärdateien.

Rc entspricht…

R: Die Binärdateien wurde zur Entfernung markiert.
C: Die Konfigurationsdateien sind weiterhin vorhanden.

Lassen Sie uns die Pakete extrahieren, welche mit „rc“ markiert sind.

dpkg --list |grep "^rc" | cut -d " " -f 3

Nun entfernen wir alle Pakete, die als rc markiert sind.

dpkg --list |grep "^rc" | cut -d " " -f 3 | xargs sudo dpkg --purge

Apache Load Balancing

Ziel ist die Installation einer redundanten Lastverteilung auf zwei Servern. Hierzu verwenden wir Apache Server und Keepalived.

Installation Apache

sudo apt-get install apache2

Apache Module aktivieren

Für die Verwendung von Apache Server als Load Balancer sind folgende Module notwendig.

Rewrite => Url Rewrite
Deflate => HTTP Kompression
Headers => Managing HTTP headers
Status => Status Informationen
Proxy => Proxy Module
Proxy_http => Proxy Module für HTTP and HTTPS Protokoll
Proxy_balancer => Clustering und load-balancing

sudo a2enmod rewrite deflate headers status
sudo a2enmod proxy proxy_http proxy_balancer
sudo service apache2 restart

sudo vim /etc/apache2/sites-available/proxy_balancer.conf

<VirtualHost *:80>
 ProxyRequests Off
 ProxyPreserveHost On
 ServerName localhost
 ServerAdmin webmaster@localhost
 DocumentRoot /var/www/html
 ErrorLog ${APACHE_LOG_DIR}/error.log
 CustomLog ${APACHE_LOG_DIR}/access.log combined
 Header add Set-Cookie "ROUTEID=.%{BALANCER_WORKER_ROUTE}e; path=/" env=BALANCER_ROUTE_CHANGED
 
 <Proxy balancer://cluster>
  # Define back-end servers:
  BalancerMember http://10.20.20.11:8001/ route=node1 retry=5 timeout=10
  BalancerMember http://10.20.20.12:8001/ route=node2 retry=5 timeout=10
  ProxySet stickysession=ROUTEID
  ProxySet lbmethod=byrequests
 </Proxy>
 
 <Location /balancer-manager>
  SetHandler balancer-manager
  Order deny,allow
  Deny from all
  Allow from 10.20.20.0/24
 </Location>
 
 ProxyPass /balancer-manager !
 ProxyPass / balancer://cluster
 ProxyPassReverse / balancer://cluster
 
</VirtualHost>

sudo a2ensite proxy_balancer
sudo service apache2 restart

Keepalived

Mit Hilfe von Keepalived wird ein Virtueller Linux Server erstellt, der aus einem Master- und Backup- Server besteht. Hierfür wird eine Virtuelle IP Adresse erstellt, die zwischen beiden Systemen hin und her wechseln kann. Primär liegt die Virtuelle IP Adresse auf dem Master-Server. Ist der Master nicht verfügbar, so wechselt die IP zum Backup. Ein Heartbeat geprüft die Verfügbarkeit der Server und führt bei einem Ausfall den Wechsel der IP zwischen den Servern durch.

Installation Keepalived

sudo apt-get install keepalived

sudo vim /etc/keepalived/keepalived.conf

vrrp_script chk_apache {
    script "/usr/bin/killall -0 httpd" # check the apache2 process
    interval 3 # every 3 seconds
}
 
vrrp_script chk_http_port {
        script "</dev/tcp/127.0.0.1/80" # connects and exits
        interval 5 # every 5 seconds
}
 
vrrp_instance VI_1 {
    state MASTER    interface eth0
    virtual_router_id 51
    priority 150    advert_int 1
    authentication {
        auth_type PASS
        auth_pass pw123!  # place secure password here
    }
    virtual_ipaddress {
        10.20.20.25
    }
    track_script {
        chk_apache
        chk_http_port
    }
}

sudo service keepalived restart

Keepalived Backup (Server #2)

Die Einstellungen auf dem Backup-Server sind analog zum Master-Server vor zu nehmen. Abweichungen in der Konfiguration sind „state BACKUP“ und „priority 100“.

sudo vim /etc/keepalived/keepalived.conf

vrrp_script chk_apache {
    script "killall -0 httpd" # check the apache2 process
    interval 3 # every 3 seconds
}
 
vrrp_script chk_http_port {
        script "</dev/tcp/127.0.0.1/80" # connects and exits
        interval 5 # every 5 seconds
}
 
vrrp_instance VI_1 {
    state BACKUP    interface eth0
    virtual_router_id 51
    priority 100    advert_int 1
    authentication {
        auth_type PASS
        auth_pass pw123!  # place secure password here
    }
    virtual_ipaddress {
        10.20.20.25
    }
    track_script {
        chk_apache
        chk_http_port
    }
}

Kernel Einstellungen (Sysctl)

Damit die Virtuelle IP im Server verwendet werden kann, muß eine Einstellung für den Kernel geändert werden

sudo vim /etc/sysctl.conf

net.ipv4.ip_nonlocal_bind = 1

Nach dem Speichern muß ein Neustart von dem Server durchgeführt werden.

Ob die Einstellung richtig vorgenommen wurde kann man prüfen mit.

sudo sysctl net.ipv4.ip_nonlocal_bind

Funktionstest

Durch An- und Ab-schalten von Keepalived und/oder Apache auf Master und Backup kann man nun die Funktion testen.

sudo service apache stop
sudo service keepalived stop

Die Virtuelle IP kann man sich anzeigen mit dem Kommando ip.

sudo ip addr

Links:
Apache Server Status
Apache Load Balancer Manager

Dateiübertragung zum WebDav mit Client Zertifikat und Authentifizierung

Um eine Datei auf einen WebDav zu übertragen kann man das Toole „curl“ verwenden.

Zuerst wird „curl“ auf Ubuntu installiert.

sudo apt install curl

Jetzt kann man dem Upload auf WebDav durchführen.

curl -T <filename> -u <username>:<password> <url>

Braucht man für die Verbindung zu dem WebDav Server ein Client Zertifikat, dann muss man Curl das Zertifikat mitteilen.

Liegt das Zertifikat im PKCS12 Format (Dateiendung .p12 oder .pfx) vor, muss es zuerst mit OpenSSL umgewandelt werden.

openssl pkcs12 -in cert.p12 -out cert.pem -clcerts  
Enter Import Password: ********
## enter the password used to protect the private key)  
MAC verified OK  
Enter PEM pass phrase: **********
## enter your pass phrase to protect the private key in the new cert.pem file
Verifying - Enter PEM pass phrase: **********

Das PEM Passwort für das Zertifikat sollte mindestens 6 Zeichen lang sein.

Die Prüfung der Zertifikatskette kann man mit dem –insecure Parameter abschalten.

/usr/bin/curl \
 --insecure --cert <certificate>:<password> \
 -u <username>:<password> \
 -T <filename> <url>

Beispiel:

/usr/bin/curl \
 --insecure --cert 'cert.pem:zpw123' \
 -u user:password \
 -T filename.txt http://server/

In dem Beispiel verwenden wird als Zertifikat Passwort zpw123. Nicht zu verwechseln mit dem Passwort für den WebDav Server.

Ubuntu IPv6 abschalten (Temporär)

Will man in Ubuntu das Protokoll IPv6 nur für eine kurze Zeit aus schalten, so ist das zur Laufzeit möglich.

Zeigt den aktuellen Status den Wert „0“ so ist IPv6 an.

cat /proc/sys/net/ipv6/conf/eth0/disable_ipv6

Zum Abschalten kann man den Wert auf „1“ ändern.

sudo sh -c 'echo 1 > /proc/sys/net/ipv6/conf/eth0/disable_ipv6'

PHP7 Erweiterung und Treiber für MongoDB installieren

Für den Zugriff von PHP7 auf eine MongoDB 3.2.10 Datenbank braucht man einen Client Treiber. Die Installation unter Ubuntu Server 16.04 LTE möchte ich hier beschreiben.

1. Pakete installieren

sudo apt install php-pear php7.0-dev

2. Treiber MongoDB installieren

sudo pecl install mongodb

Quelle:Github

Handbuch

3. Konfigurationsdatei erstellen

sudo sh -c 'echo "extension=mongodb.so" > /etc/php/7.0/mods-available/mongodb.ini'

4. Konfiguration aktivieren

sudo phpenmod mongodb

5. Funktion prüfen

php -i |grep mongodb

Jetzt sollte der MongoDB Treiber in PHP geladen werden.

Hier ein PHP Beispiel für den Verbindungsaufbau.

<?php
$manager = new MongoDB\Driver\Manager("mongodb://localhost:27017");
 
$keyword = "dvd";
$filter = ['$text' => ['$search' => $keyword]];
$options = ['limit' => 3];
 
$query = new MongoDB\Driver\Query($filter, $options);
$cursor = $manager->executeQuery('mydb.search', $query);
$result = $cursor->toArray();
 
var_dump($manager);
print_r($result);
?>

Jetzt hat man den Treiber für PHP installiert. Für die Entwicklung ist der Treiber sehr Grundlegend. Mit einer Erweiterung ist die Entwicklung sehr viel einfacher.

6. Composer Installieren

Auf der Seite von Composer gibt es ein kurze Anleitung wie man den Downloader „composer-setup.php“ verwendet und installiert.

// Download installer
php -r "copy('https://getcomposer.org/installer', 'composer-setup.php');"
 
// Check HASH value from download
php -r "if (hash_file('SHA384', 'composer-setup.php') === 'e115a8dc7871f15d853148a7fbac7da27d6c0030b848d9b3dc09e2a0388afed865e6a3d6b3c0fad45c48e2b5fc1196ae') { echo 'Installer verified'; } else { echo 'Installer corrupt'; unlink('composer-setup.php'); } echo PHP_EOL;"
 
// Composer installation and download
php composer-setup.php --install-dir=/path/
 
// Delete setup files
php -r "unlink('composer-setup.php');"

Download

7. Composer Erweiterung installieren

Jetzt kann man mit dem Composer die MongoDB Erweiterung installieren.

php composer.phar require "mongodb/mongodb=^1.1.0"

Quelle, Releases

8. Composer Erweiterung verwenden

<?php
// This path should point to Composer's autoloader
require 'vendor/autoload.php';
 
$client = new MongoDB\Client("mongodb://localhost:27017");
$collection = $client->db->collection;
 
$result = $collection->find(['name' => 'DVD']);
 
foreach ($result as $entry) {
    echo $entry['_id'], ': ', $entry['name'], "\n";
}
 
?>

Dokumentation

Geschwindigkeit von PHP mit MySQL Sockets optimieren

In Ubuntu 16.04 ist die Version MySQL 5.7 und PHP7 enthalten. Vielen Anwendungen verwenden für die Kommunikation von PHP zu MySQL das Netzwerk über die Adresse 127.0.0.1 (localhost). Läuft der MySQL Server auf dem gleichen System wie die PHP Anwendung, dann gibt es auch die Möglichkeit der Kommunktion über eine Unix Socket Verbindung.

Die MySQL Socket befindet sich unter /var/run/mysqld/mysqld.sock. Prüfen kann es mit diesem Kommando.

netstat -nl |grep mysql

MySQL 5.7 ermöglicht die Authentifizierung per Netzwerk oder Socket (Plugin).

Um einen Benutzer (user) mit einem Kennword (password) den Zugriff per Netzwerk (localhost) zu erlauben, ist das Kommando notwendig.

CREATE USER 'user'@'localhost' IDENTIFIED WITH mysql_native_password BY 'password';

Der Zugriff per MySQL Socket ist ohne Kennwort möglich. Der Apache Server läuft in Ubuntu unter dem Benutzer ‚www-data‘.

CREATE USER 'www-data'@'localhost' IDENTIFIED WITH auth_socket;

Jetzt müssen wir dem Benutzer noch die notwendigen Rechte geben. Hier ein Beispiel für alle Rechte (ALL) auf allen Datenbanken (%) und Tabellen (*) zu gewähren.

GRANT SELECT ON `mysql`.* TO 'www-data'@'localhost';
GRANT ALL PRIVILEGES ON `%`.* TO 'www-data'@'localhost';

Eine höhere Sicherheit gibt es, wenn der Benutzer (www-data) nur Zugriff auf die Datenbank (database) mit bestimmten Kommandos (SELECT, INSERT, usw.) erhält.

GRANT SELECT, INSERT, UPDATE, DELETE PRIVILEGES ON 'database'.* TO 'www-data'@'localhost';

Jetzt müssen die Benutzerrechte neu gelesen werden.

FLUSH PRIVILEGES;

Zum entfernen der Rechte kann man diese Kommando verwenden.

REVOKE ALL PRIVILEGES, GRANT OPTION FROM 'www-data'@'localhost';

Um die Einstellungen zu Prüfen kann man diese Befehle verwenden.

SHOW GRANTS FOR 'www-data'@'localhost';
SELECT Host,USER,Plugin,Authentication_string FROM `mysql`.`user`;

Die Socket Verbindung kann man mit dem MySQL Client prüfen.

sudo -u www-data mysql -u www-data