>　とりあえず、画面はビットマップとして、あとはイベントを受け
>とって相手に投げると。受けた相手は、よしなに解釈して行動すると。

UNIX相手に-kオプションで使うならVNC（http://www.forest.impress.co.jp/library/vnc.html）使えばすみますよね。
キーイベント部分限定のおつもりだったのでは……違うかな。