To use this technique you need mod_xsendfile, which is attached to this post.

I just have rewritten my application from Ruby on Rails to Java and it’s easy to add the necessary headers in a HttpServletResponse:

response.setHeader("X-Sendfile", file.getAbsolutePath());
response.flushBuffer();

You may add other headers like Content-Type and the like but you must not modify the body, hence the flushBuffer.

This works quite well… As long as had my Apache httpd running with mpm-prefork.

Switching to Apache mpm-worker caused some problems. I cannot say with a final conclusion that mod_xsendfile was causing troubles but i started to see the wrong files (images in this case) delivered or not delivered at all.

My alternate solution was streaming the files using Channels from java.nio but CPU usage went nuts.

The solution now employed is the using Apache Tomcats asynchronous writes that are available since Tomcat 6. Their documentation is rather short but so is implementing them:

/*
HttpServletRequest request = ...
HttpServletResponse response = ...
*/
 
if(request != null && Boolean.TRUE.equals(request.getAttribute("org.apache.tomcat.sendfile.support"))) {		
  long l = file.length();
  request.setAttribute("org.apache.tomcat.sendfile.filename", absolutePath);
  request.setAttribute("org.apache.tomcat.sendfile.start", 0l);
  request.setAttribute("org.apache.tomcat.sendfile.end", l);
  response.setHeader("Content-Length", Long.toString(l));
  response.flushBuffer();
} else if(use_xsendfile) {
  // see above
} else {
  // stream files
}

What i got wrong at first was setting those attributes in the response. That didn’t work. The must be set in the request and you must take care setting all of those and with the correct type (String respectively long). And that’s it.

The request attribute org.apache.tomcat.sendfile.support will be true when the connector is configured to either use the APR connector (org.apache.coyote.http11.Http11AprProtocol) or the non blocking Java connector (org.apache.coyote.http11.Http11NioProtocol) (the later one being easier to deploy as it has no external dependencies).

CPU usage for sending those files is now nearly 0.

Share This

I could drop two plugins: the widget plugin and the atom10 plugin. Nice. All others work as before (some important to mention are UTW, WP-Cache and the nice extended live archive(*).

A really nice site effect of the update: the WP Team finally managed to put a “SET NAMES blah” into wp-db.php, so that setting “UTF-8″ i.e. in wp-admin really means UTF-8 in the database. I always hacked my wp-db(**) for my other blog planet-punk.de, since there are a lot of old posts from another legacy system that _are_ indeed UTF-8 but which where maltransformed by wp without that hack before 2.2.

I do have a local development system on my mac but i tend to test things twice or more often. Other people maybe don’t have or want that luxury and need to udate their blogs directly on the server. Either way, it’s a good idea, to put your blog to maintenance while updating your wp core files. This is easily accomplished with .htacess and mod_rewrite. First create a file “maintenance.html” for your visitors. Than look up your external ip and add the following to your .htaccess:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REMOTE_ADDR} !87.78.68.17 [NC]
RewriteRule ! maintenance.html$ maintenance.html [R=301,L]
</IfModule>

and replace 87.78.68.17 with your external ip. Remember commenting these entries when you’re done.

(*) If you have any questions about my plugins, don’t hesitate to ask, i just don’t want a plugin list in case of bugs in any plugin.

(**) The hack was: Add the following to __construct in your wp-db.php (./wp-includes/) :

	$this->select($dbname);
	$this->query("SET NAMES 'utf8'");

Share This

Prämisse für mich war jedesmal, dass der eingebaute Mac OS X Apache genutzt wird und nicht ein zweiter Serverprozess.

Heute soll es um die FastCGI Integration gehen. CGI war mir bis jetzt zum Testen nicht zu langsam. Fängt man aber mit AJAX Spielerein an und nutzt Rails mit CGI, kann man das auch getrost ganz sein lassen. Vorweg: FastCGI zu CGI ist ein Unterschied wie Tag und Nacht.

Was braucht man? (Die Links verweisen direkt auf die benötigten Dateien)

• FastCGI SDK
• mod_fastcgi für Apache 1.3
• Ruby Bindings für FastCGI

Die Installation ist relativ einfach.

FastCGI SDK:

./configure
make
sudo make install

mod_fastcgi

apxs -o mod_fastcgi.so -c *.c 
sudo apxs -i -a -n fastcgi mod_fastcgi.so

Ruby Bindings

ruby install.rb config
ruby install.rb setup
ruby install.rb install

Fast geschafft. Es folgt ein Apache Neustart mit

sudo apachectl graceful

Anschliessend gibt es einen kleinen Pitfall. Man muss zwei Tempverzeichnisse für FastCGI chmoden:

chmod 777 /tmp/fcgi_ipc
chmod 777 /tmp/fcgi_ipc/dynamic

sonst geht es in die Hose.

Anschliessend zur Apache Konfiguration. Diese habe ich wieder auf zwei Dateien aufgeteilt. In der httpd.conf wird das Modul mod_fastcgi geladen. Der Installer hat diesen Eintrag bereits automatisch erzeugt. Wenn nicht, folgende Zeilen ergänzen:

LoadModule fastcgi_module     libexec/httpd/mod_fastcgi.so

Danach den Handler einrichten:

<IfModule mod_fastcgi.c> 
FastCgiIpcDir /tmp/fcgi_ipc/ 
AddHandler fastcgi-script .fcgi 
</IfModule>

und wir sind fast fertig. Die eigentliche Rails Anwendung wird wieder in der Userspezifischen httpd.conf eingestellt, zu finden unter /etc/httpd/users/name.conf:

<IfModule mod_fastcgi.c>
   FastCgiServer "/Users/msimons/dev/rails/test/public/dispatch.fcgi" -
initial-env RAILS_ENV=production -processes 15 -idle-timeout 60
</IfModule>

Die Werte fürs Timeout und die Anzahl Prozesse sind aus dem Buch “Agile Web Development with Rails”.

Die Anwendung nutzt fastcgi, sobald man die entsprechende Rewrite Rule in .htaccess im public folder setzt:

RewriteRule ^(.*)$ dispatch.fcgi [QSA,L]

bzw. die ursprüngliche Regel

RewriteRule ^(.*)$ dispatch.cgi [QSA,L]

ändert.

Danach ist ein letzter Apache Neustart fällig und man sieht seine Anwendung auf einmal in einem ganz anderen Tempo.

Share This

SetEnv RAILS_ENV production

Direktive in der httpd.conf oder einer lokalen .htaccess Datei funktioniert, muss das Modul “env_module” im Apache aktiviert werden. Dies wird unter Mac OS X nicht standardmässig getan.

Folgende Zeilen in der /etc/httpd.conf einkommentieren:

LoadModule env_module         libexec/httpd/mod_env.so
AddModule mod_env.c

Share This

Für den Einstieg sind die diversen Tutorials, die man im Netz findet, recht interessant, wirklich gut ist aber das Buch Agile Web Development with Rails. Man sollte darauf achten, dass man die zweite Ausgabe kauft und nicht wie ich die erste über Amazon.

Im Buch steht soweit alles drin, was man tun muss, um unter Mac OS X direkt loszulegen. Seit OS X Tiger in der Version 10.4.6 funktioniert auch die mitgelieferte Ruby Version problemlos mit Rails.

Um Rails zu installieren sind folgende Schritte notwendig:

RubyGems

curl -O http://rubyforge.org/frs/download.php/5207/rubygems-0.8.11.tgz
tar xzvf rubygems-0.8.11.tgz
cd rubygems-0.8.11
sudo ruby setup.rb

Rails

sudo gem install rails --include-dependencies

FastCGI bzw. LightTPD habe ich übersprungen, brauche ich zur Zeit nicht. Allerdings muss natürlich eine Datenbank her. Da ich bereits seit langem MySQL auf dem Rechner habe, wollte ich das auch nutzen:

MySQL

MySQL war der einzige Punkt, der etwas kritisch war. Die folgenden Befehle müssen natürlich an den Installationsort von MySQL angepasst werden, in den meisten Fällen wird der MySQL Installer allerdings einen Link nach /user/local/mysql erzeugt haben.

Folgender Befehl versagte bei mir:

sudo gem install mysql -- --with-mysql-dir=/usr/local/mysql

Und ich sah die ganze Zeit nur:

no checking for main() in -lm...
yes checking for mysql_query() in -lmysqlclient...
no checking for main() in -lz...
yes checking for mysql_query() in -lmysqlclient...
no checking for main() in -lsocket...
no checking for mysql_query() in -lmysqlclient...
no checking for main() in -lnsl...
no checking for mysql_query() in -lmysqlclient...

Geholfen hat die explizite Angabe der Libraries und Headerverzeichnisse wie folgt:

sudo gem install mysql -- --with-mysql-include=/usr/local/mysql/include/ --with-mysql-lib=/usr/local/mysql/lib/

Danach lief Rails mit dem eingebauten WEBrick problemlos.

Der eingebaute Apache unter Mac OS X

Für fertige Applikationen will ich den eingebauten Apache von OS X nutzen. Auch dazu gibt es einige Tutorials, aber keines alleine führte zu einer funktionierenden, sinnvollen Konfiguration.
Ich bin gewohnt, dass ich meine Seiten auf meinem Rechner unter http://localhost/~msimons/blah erreiche und das wollte ich auch mit den Railsanwendungen können.

Der Mac OS X Apache ist in meinen Augen für einen Rechner, der nicht direkt im Internet hängt, sehr sinnvoll konfiguriert, ich wollte deshalb nicht in der zentralen httpd.conf rumpfuschen. Praktischerweise legt OS X unter /etc/httpd/users/ für jeden OS User eine weitere conf Datei an, die ich entsprechend anpasse. Dazu habe ich mir einen Link auf dieses Datei erstellt und den Eigentümter von root auf mich geändert.

Für eine Beispielapplikation sieht das dann so aus:

Alias /~msimons/test/  "/Users/msimons/dev/rails/test/public/"
Alias /~msimons/test   "/Users/msimons/dev/rails/test/public/"
 
<Directory "/Users/msimons/dev/rails/test/public/">
    Options ExecCGI FollowSymLinks
    AllowOverride all
    Order allow,deny
    Allow from all
</Directory>

Danach muss die .htaccess Datei im public Verzeichnis der Testanwendung angepasst werden:

RewriteEngine On
RewriteBase /~msimons/test/

Die forwardslashes sind essentiell.

Ich hatte hier Hinweise gefunden, dass man in einigen Verzeichnissen noch Rechte anpassen muss, weil Apache natürlich nicht im Kontext des Benutzers läuft, sondern unter www:

Deswegen:

cd ~/dev/rails/
sudo chgrp -R www Test
cd Test
chmod 0775 db
chmod 0777 log
chmod 0775 public
chmod 0666 log/*.log

Allerdings wurde dabei das tmp Verzeichnis vergessen:

chmod -R 0775 tmp

Nach einem kurzen Apache Neustart über die Systemeinstellungen oder per

sudo apachectl graceful

steht dem Railsvergnügen unter OS X nichts mehr im Wege.

Resourcen

Geholfen haben mir unter anderem:

• Building Ruby, Rails, LightTPD, and MySQL on Tiger
• Rolling with ruby on rails on mac os x tiger for beginners
• HowtoInstallOnOSXTiger
• Bringing Ruby on Rails with FastCGI into Mac OS X Server

Gute Bücher gibt es hier: The Pragmatic Programmer. Sehr empfehlenswert Agile Web Development with Rails und Programming Ruby. Wenn man ersteres kauft, gibt es auf jedes Ruby Buch Rabatt. Sehr charmant.

Share This