TileStache revealed itself as a powerful and flexible product and was very good to cache tiles generated with my Django-backed mapscript-powered WMS server. Caching and serving tiles with TileStache was by far faster then running the whole mapscript WMS machinery.

But I wanted to do more: if I could just convince nginx to serve the tiles directly from disk, this would have been even faster. Of course for this to work, TileStache must be configured to cache tiles on disk, which is what you normally want.

nginx is really good at serving static files and it is luckily wery flexible and easy to configure (once you know what to do).

The following configuration uses named regular expression captures and a try_files instruction to check for the tile existance, if found, the tile is served directly, if not found the internal redirect to the @django named location takes place.
The 404 trick in the base location (/) was necessary to avoid duplication of the @django location content, but there might be a better way.

nginx configuration file

server {
    listen   88 default;
    server_name  localhost;
    access_log  /var/log/nginx/access.log;
    rewrite  "^/[a-z]{2}/(static|media)/(.*)$"  /$1/$2;
    root /www/django_app/;
 
    location  /media/ {
        alias /www/django/contrib/admin/media/;
    }
 
    location  /static/ {
        alias /www/django_app/site_media/;
    }
 
    location ~ ^/(?<lang_code>..)/resource/tiles/1\.0\.0/(?<tile_path>.*)$ {
        alias /tmp/stache/;
        add_header X-Static super;
        try_files $http_host/$lang_code/$tile_path @django;
    }
 
    location / {
        add_header X-Static hit;
        error_page 404 = @django;
        return 404;
    }
 
    location @django {
        add_header X-Static miss;
        proxy_pass http://127.0.0.1:8000;
        proxy_set_header Host $http_host;
    }
}

Results

niginx is listening on port 88 and the dev server (I’m using werkzeug in this case) is listening on port 8080.

ab -c 100 -n 1000 http://localhost:88/it/resource/tiles/1.0.0/track_4/0/0/0.png
 
Concurrency Level:      100
Time taken for tests:   0.084 seconds
Complete requests:      1000
Failed requests:        0
Write errors:           0
Total transferred:      7553744 bytes
HTML transferred:       7302912 bytes
Requests per second:    11902.92 [#/sec] (mean)
Time per request:       8.401 [ms] (mean)
Time per request:       0.084 [ms] (mean, across all concurrent requests)
Transfer rate:          87804.31 [Kbytes/sec] received

With TileStache only:

ab -c 100 -n 1000 http://localhost:8000/track_4/0/0/0.png
 
Concurrency Level:      100
Time taken for tests:   2.944 seconds
Complete requests:      1000
Failed requests:        0
Write errors:           0
Non-2xx responses:      1000
Total transferred:      145000 bytes
HTML transferred:       0 bytes
Requests per second:    339.63 [#/sec] (mean)
Time per request:       294.438 [ms] (mean)
Time per request:       2.944 [ms] (mean, across all concurrent requests)
Transfer rate:          48.09 [Kbytes/sec] received

Conclusions

Unsurprisingly, the solution with files served directly is several times faster: 35 in this test case.

In a production environment, using mod_wsgi or uwsgi, the fugures may vary, but I’m confident that the overall speed boost is guaranteed.

Remote machine is 192.168.1.2 with SSH running on non-standard port 12345

ssh -p12345 -L 3333:localhost:5432 root@192.168.1.2

After this, you can connect to port 3333 on localhost to access remote postgresql DB server.

If you are a webmaster or at least own a website, you probably know that badwidth is very expensive, but what is even more expensive is the waste of time associated with filtering spam out of our mailboxes.

Well, one of the preferred methods spammers have to collect email addresses is to use custom softwares called spambots to download all the content of websites and scan them in search of strings of characters that resemble email addresses.

Doing this nasty thing, they obviously consume our bandwidth subtracting net resources from honest users.

A working approach

If you are so lucky to have the first class webserver Apache, you can use its mod_rewrite module to try to distinguish spammers from regular users.

This method is based on the identification strings all web clients (aka browsers) send to the server when they initiate a connection. This strings usually contain informations about the browser producer and version, spambots have usually particular identification strings that can be used to identify them and leave them out of our site.

Of course we cannot avoid false negatives, in case the spambots use the same identification string of regular browsers.

Mod_rewrite: the URL swissknife

In order to use mod_rewrite we must use some configuration code in the .htaccess file (given that the module has been enabled globally by the system administrator).

An example configuration:


# attiva il motore
RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} Extractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla.*NEWT [OR]
RewriteCond %{HTTP_USER_AGENT} ^Crescent [OR]
RewriteCond %{HTTP_USER_AGENT} ^CherryPicker [OR]
RewriteCond %{HTTP_USER_AGENT} ^[Ww]eb[Bb]andit [OR]
RewriteCond %{HTTP_USER_AGENT} ^NICErsPRO [OR]
RewriteCond %{HTTP_USER_AGENT} ^Telesoft [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus.*Webster [OR]
RewriteCond %{HTTP_USER_AGENT} ^Microsoft.URL [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/3.Mozilla/2.01 [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailCollector
RewriteRule .* nospam.html [L]


The last line instructs Apache to send the special page nospam.html to all visitors whose user agent’s (aka browser) identification string matches one of the regular expressions listed above.

A seconda della configurazione i prezzi possono cambiare anche parecchio, il mio cliente ha scelto la configurazione “basic” che prevede una non meglio specificata priorità 5 nell’uso di RAM e CPU.

Confesso che ero sinceramente interessato a provare Virtuo, tanto da aver più volte meditato se acquistarne uno io stesso, ma purtropo dopo poco più di dieci minuti sul server, mi sono reso conto dello scampato pericolo.

Chi va piano…

L’antico motto non si applica purtroppo anche alla new economy, semmai è stato sostituito dall’adrenalinico Smaller Faster Cheaper Better, purtroppo il Virtuo si è subito rivelato più lento di una qualsiasi ADSL alice, mi sembrava di essere tornato ai tempi dei modem a 56K.

Leggendo qui e là

Mi sono accorto che la mia opinione su Virtuo è piuttosto condivisa: Il Mega Flop di NGI VIRTUO Virtual Server


./configure --with-interbase --with-mysql=/usr --with-ming=/usr --with-png-dir \
--with-jpeg-dir=/usr/local/src/jpeg-6b --with-zlib-dir --with-gd \
--with-flatfile \
--enable-exif --with-ttf --with-freetype-dir=/usr/include/freetype2 \
--with-t1lib --enable-gd-native-ttf --enable-debugger \
--enable-mbstr-enc-trans --with-iconv --with-pgsql --enable-dbase \
--enable-force-cgi-redirect
make clean
make install
service httpd stop
service httpd start


Vuoi scaricare dalla rete parecchi dati, magari stai scaricando le ISO della tua distribuzione Linux preferita. Questa operazione durerà diverse ore. Per scaricare i dati stai usando, diciamo, Firefox.
Hai un portatile ed é in rete con altri computer. Puoi usare i computer della rete per fare il download.

Ti connetti su un computer della rete (usando magari ssh) e lanci
il server di VNC vncserver.
Questo farà partire un desktop su quella macchina. Dopodiché fai partire il visualizzatore di VNC vncviewer sul tuo portatile, specificando il server VNC a cui ti vuoi connettere (in questo caso quello che hai appena fatto partire). A questo punto sei connesso al desktop remoto e potrai lanciare Firefox e tutte le applicazioni che vorrai. Potrai chiudere il vncviewer ed andartene.
La prossima volta che ti riconnetterai col vncviewer a quel server VNC ritroverai il desktop come l’avevi lasciato l’ultima volta ammesso che il server VNC non sia stato terminato nel frattempo .

Esempio di sessione GNOME con un vncviewer che mostra un desktop XFCE in cui si vede il browser Firefox  – beh, detta così sembra le scatole cinesi

Come fare nel dettaglio

Inizializzazione del server VNC

Supponiamo che l’utente che utilizzi per tutto l’esperimento sia dan e che il computer su cui farai partire il server si chiami mela. Il desktop che farai partire con vncserver apparterrà quindi all’utente dan.

Ecco l’esempio della sessione:

dan@uva > ssh dan@mela
dan@mela password:
dan@mela > vncserver
You will require a password to access your desktops.
Password: *****
Verify: *****
New 'mela:1 (dan)' desktop is mela:1
Creating default startup script /home/dan/.vnc/xstartup
Starting applications specified in /home/dan/.vnc/xstartup
Log file is /home/dan/.vnc/mela:1.log

Analizziamo cosa é successo:

• Ti sei connesso su mela con ssh.
• Hai lanciato vncserver, il quale ti ha chiesto una password. Questa password ti verrà chiesta ogni volta che ti connetterai al server.
• vncserver ti ha detto che mela:1 sarà il desktop (o display) a cui potrai contattarlo col client.
• vncserver ha creato, essendo la prima volta che lo lanci, una directory /home/dan/.vnc e dentro ci ha messo alcuni file di utilità:
  • mela:1.log: il log del server. Se per qualche motivo non dovesse partire il server, in questo file é scritto il perché.
    Questo file viene ricreato ad ogni lancio del server.
  • mela:1.pid: con l’ID del processo del server.
    Questo file viene ricreato ad ogni lancio del server.
  • passwd: con la password (cifrata) che hai fornito.
  • xstartup: lo script di inizializzazione con cui viene lanciato il server VNC.
    Il server VNC é a tutti gli effetti un server X, ed é in grado di far partire qualsiasi ambiente grafico desideri.
    Di default parte con uno scarno twm. Se sostituisci l’ultima linea del file e ci metti startxfce4 invece di twm (non togliere il carattere & mi raccomando!) avrai qualcosa di più evoluto.

A questo punto puoi passare ad usare il client.

Uso del client VNC

A questo punto su mela sta girando un ncserver.
Fai partire il client vnc. Se vuoi lanciarlo a linea di comando é molto semplice, il comando si chiama:
vncviewer
Ti chiederà il VNC server (nel caso dell’esempio
mela:1) e Password, quella che hai fornito la prima volta che hai fatto partire il server.

Chiusura di una sessione di lavoro

Se vuoi sospendere la sessione, per poi riprenderla successivamente, ripartendo da dove eri arrivato l’ultima volta a lavorare sul desktop,
é sufficiente che tu chiuda l’applicazione vncviewer.

Se vuoi terminare definitivamente la sessione, terminando anche il server VNC, devi usare il comando vncserver con l’opzione -kill sulla macchina su cui hai fatto partire il server VNC.
Quindi:

dan@uva > ssh dan@mela
dan@mela's password:
dan@mela > vncserver -kill :1
Killing Xvnc process ID 4838


NOTA: se usi il bottone di Logout del desktop remoto il server VNC finirà in uno stato indeterminato e dovrai uccidere il server con vncserver -kill :1.

Uso avanzato del server VNC

Cambiare la password del server VNC

Per cambiare la password del server devi connetterti sulla macchina su cui gira il server e lanciare il comando

vncpasswd:
dan@uva > ssh dan@mela
dan@mela's password:
dan@mela > vncpasswd
Password:
Verify:

NOTA: Questo comando non chiede la vecchia password, si fida del fatto che sei l’utente dan (sei stato autenticato dal sistema al login).

Server VNC multipli

Se vuoi puoi far partire diversi server sulla stessa macchina, magari con utenti diversi. VNC é in grado di gestire questa situazione assegnando ad ogni server un display diverso: mela:1 mela:2 e così via…

Puoi anche decidere di far partire un server sul display che decidi tu,
per esempio il 20:

dan@uva > ssh dan@mela
dan@mela's password:
dan@mela > vncserver :20


Dimensione del desktop per il Server VNC

Se hai un monitor piccolo, quando usi il vncviewer può essere antipatico avere un server con un desktop troppo grosso: continueresti ad usare le barre di scorrimento per accedere a tutta l’area visibile. In questo caso puoi far partire il server con le dimensioni del desktop che preferisci, nell’esempio 800×600:

dan@uva > ssh dan@mela
dan@mela's password:
dan@mela > vncserver -geometry 800x600

In questo caso vedrai che la finestra del vncviewer sarà ridotta rispetto al default.

Condivisione del desktop per il Server VNC

Questa funzionalità é sicuramente una tra le più impressionanti,
consente a più utenti simultaneamente di accedere allo stesso desktop.
Quello che fai tu da un client lo vedono tutti dagli altri client.
Questo tipo di modalità é particolarmente utile per mostrare applicativi al lavoro a più persone contemporaneamente.
Tutte le persone sui client possono fare tutto e il primo che muove il
mouse prende "il controllo".

Ci vuole armonia

Ecco come lanciare il server:

dan@uva > ssh dan@mela
dan@mela's password:
dan@mela > vncserver -alwaysshared

NOTA: Uno scenario tipico per questa modalità
é quello in cui alcuni client accedono al server attraverso internet.
Bisogna considerare i seguenti problemi di sicurezza:

• la password con la quale ci si connette al server VNC viaggia in chiaro
• il protocollo usato da VNC per la comunicazione client/server non è cifrato ma in chiaro.

Queste problematiche di sicurezza possono essere risolte usando
ssh.