その際、wordpress周りの設定を大分弄ったので備忘録として残しておきます
パフォーマンスの指標として今回はYSlowを使って測定しました
変更前は記録していないのですが、確かGrade Dで50台だったと思います…

設定内容はググって出てきたものをほとんどコピペしてるだけです

まずはhttpd.conf

<VirtualHost *>
～略
    <Directory /your-htdocs-root>
        AllowOverride All
        Options FollowSymLinks -MultiViews

        # gzip compress setting
        SetOutputFilter DEFLATE
        # Netscape 4.x has some problems...
        BrowserMatch ^Mozilla/4 gzip-only-text/html

        # Netscape 4.06-4.08 have some more problems
        BrowserMatch ^Mozilla/4\.0[678] no-gzip

        # MSIE masquerades as Netscape, but it is fine
        BrowserMatch \bMSIE !no-gzip !gzip-only-text/html

        # ここからフィルター設定
        FilterDeclare Compression CONTENT_SET
        FilterProvider Compression DEFLATE Content-Type $text/plain
        FilterProvider Compression DEFLATE Content-Type $text/css
        FilterProvider Compression DEFLATE Content-Type $application/xhtml
        FilterProvider Compression DEFLATE Content-Type $application/xml
        FilterProvider Compression DEFLATE Content-Type $application/xhtml+xml
        FilterProvider Compression DEFLATE Content-Type $application/rss+xml
        FilterProvider Compression DEFLATE Content-Type $application/atom+xml
        FilterProvider Compression DEFLATE Content-Type $application/x-javascript
        FilterProvider Compression DEFLATE Content-Type $image/svg+xml
        FilterProvider Compression DEFLATE Content-Type $text/html
        FilterProvider Compression DEFLATE Content-Type $application/javascript
        FilterChain Compression
        # ここまでフィルター設定

        # Don't append Vary heder for specific files
        SetEnvIfNoCase Request_URI \.(?:gif|jpe?g|png|zip|lzh|exe)$ dont-vary

        # Make sure proxies don't deliver the wrong content
        Header append Vary User-Agent env=!dont-vary
        Header append Vary Accept-Encoding env=!dont-vary
        # expires headers
        <FilesMatch "\.(ico|jpg|jpeg|png|gif|js|css|swf)$">
            ExpiresActive On
            ExpiresDefault "access plus 3 days"
        </FilesMatch>
    </Directory>
～略
</VirtualHost>

次にmysqlのクエリキャッシュ設定

[mysqld]
# query cache
query_cache_limit=1M
query_cache_min_res_unit=4k
query_cache_size=24M
query_cache_type=1

最後に、wp-minify の導入
wp-minify はwordpress内で使用されているjavascript, cssを1ファイルにまとめてくれるプラグインです
インストール後、wp-minify/cache に書き込み権限を与えておきます

APCや eAcceralatorなどもある程度効果ありますね
yusukezzz.netはAPCを導入しています

以上の設定を施したところ、YSlowのスコアは以下のようになりました
Grade A
Overall performance score 90
後はhttpリクエスト数を減らせ（CSSスプライトが未実施）＆CDN使え（パフォーマンスと無関係）の2点が評価悪いだけなので、今回はこの辺までで十分だと思います
#CDNについては about:config からYSlowの設定を弄ることで強制的にオレオレCDNを登録出来るそうですが、スコアが上がるだけなのでやってないです
CSSスプライトはテーマによっては対応してそうなので、もう少しいい評価になるかもしれません

＃2011/02/19　追記
そもそも YSlow の RuleSet を Small site or Blog にするべきでした
その状態で計測するとスコアは94まで行きました
あと、下記チューニングの通りにデーモンを停止してみました
CentOSをサーバーとして活用するための基本的な設定 (さくらインターネット創業日記)
＃追記終了

以下参考サイト一覧（順不同）
DSAS開発者の部屋:負荷分散環境でブラウザキャッシュが効かないときは – ETagの解説 -
Webサイトの高速化 ルール13　ETagを正しく設定する! (Yahoo! developer netoworkより翻訳) | 株式会社インターオフィス
クラウド環境でのApacheの設定 | cloudrop
ゆっくりと… » WP MinifyでCSS/JavaScriptをまとめて軽量化、ページの応答速度を向上させる
mod_expires – Apache HTTP サーバ
YSlow対策でmod_expireを利用してHTTPレスポンスヘッダにExpiresを追加する – blog.katsuma.tv
Apacheで圧縮してコンテンツ配信しよう – takami_hirokiの日記
Apache 2.2 mod_filterを使いこなす – AddOutputFilterByType DEFLATE text/htmlを書き換えてみる « cyano

こちらでwordpressのプロフィールで使用しているメールアドレスで登録し、画像を設定するだけです
登録時にニックネームが使われていると表示されても慌てないで下さい
このサービスはアカウント情報をwordpress.comと共有していますのでそちらで登録済みの場合は既にGravatarのアカウントも存在します
表示に従って手続きを進めてください

最新版のwordpressでGravatarに対応しているテーマならこれだけでコメント欄などでアバターが表示されるはずです

WordPress › Shadowbox JS « WordPress Plugins

ここ見てたら便利そうなのが多かったので良さそうなのを入れてみました

以下入れたもの（一部断念）リストと概要

・WordPress › All in One SEO Pack « WordPress Plugins
様々なHTMLのmeta要素を追加してくれるSEO改善プラグイン

・WordPress › Google XML Sitemaps « WordPress Plugins
sitemap.xmlおよびsitemap.xml.gzを生成してくれる

・WordPress › WP Super Cache « WordPress Plugins
ちょっと設定が面倒だけど、wordpressにmovabletypeみたいなページの静的（HTMLファイル）出力機能を与えてくれる
ただ、表示を弄るプラグインと競合することが多々あるようです（DesignWalkerさんで紹介されてるものではWPtouchとかKtaiStyle）

・WordPress › Ultimate Google Analytics « WordPress Plugins
全ページにGoogle Analytics解析用のJSを埋め込んでくれる
本当はGoogle Analytics for WordPress入れようと思ったけどなんかうまく動かなかった；

・Post-Thumb Revisited
面白そうだったけど設定項目多すぎて即効削除

・Popular Posts、Similar Posts
これはちょっと前から使ってますね

・WordPress › Lightbox 2 « WordPress Plugins
画像へのリンクを自動でオーバーレイ表示にしてくれます
カッコいい

・Twitter for WordPress
自分の環境ではうまく動きませんでした

・WordPress › Twitter Tools « WordPress Plugins
Twitter for WordPressの代わりに入れました
ただ、作者のサーバがダウンしてるせいかうまくステータスが取得出来ていません
ポストはうまくいったのでちょっと期待してるんですが…様子見します

今回導入したプラグインは以上です

vimcolor – WordPress Plugin Repository

一応ここが本家っぽいですが、wpvimcolor.tgzが置いてあるhttp://wsong.homeip.net/はドメインが無効になっているようです；
wpvimcolor.tgzでググると一応見つかりました（どういうサイトだったのか良く分からないのでURLは張りません；）
インストールは少々面倒でしたが（perlモジュール使うとかｗ）シンプルだしこれで行くことにします
別に行数とかなくても今のところ問題ないですし（行数表示が必要なほど長いコードを載せられる自信が無い；）

＃古いiG:Synatx hiliterの記事がかっこ悪いですが直す気力も無いので放置！

実践しました
どうやら古い投稿には効果がないみたいなのでこれから投稿されるコードと色が若干違う言語もあります；
それにしても100言語以上サポートって凄いな…

そこでこのセパレータを変更する方法を調べました
テーマごとのheader.phpのtitle要素の箇所でwp_titleの第1引数で指定することが出来ます

<? wp_title(' - '); ?>

とやれば半角スペースとハイフンで区切られます

<?php
    echo 'Hello World !';
?>

<?php
    phpinfo();
?>

インストール時の注意として、
syntax_hilite.php
を
ig_syntax_hilite
フォルダに入れて、こいつをpluginsディレクトリに設置・使用します
なんで最初から入れといてくれないんだろう…

#追記
Firefoxだとリストの中にブロック要素があると改行されてしまうという仕様らしく、
行数の直後で改行されて表示がおかしくなります

.syntax_hilite li div {
    display: inline;
}

とかやると直ります