NSP さんが扱っているファイルが、どういったものなのか、ちょっとわからないので、
当てずっぽうになりますが、内容がテキストファイルであるなら、文字化けの原因は
「文字コードが違う」ことです。

QX エディタでは基本的に Shift JIS、JIS、EUC の文字コードを扱います。
さらに日本語領域にかぎり Unicode も扱えます。どのコードで書かれたファイル
なのかを判断するのに、QX はファイルの先頭を読みとって、その内容で分類する
ようです。現在開いているファイルを QX がどの文字コードで編集しているのか、は、
ステータスライン（編集画面の上の方の、行桁表示などがあるところ）に表示され
ます。ファイルサイズの KB のあとに 4 桁の数字があります。これが 2 バイト単位
での、カーソル位置の文字コードです。その 4 桁の数字のあとに s とついていれば
Shift JIS モードです。このほかに j、e、u があるわけです。

QX で開いて文字化けしてしまった場合、そのファイルだけ冒頭の文字がちょっと
変則で、違う文字コードで開いてしまった、ということがあります。その場合、
「開く」ダイアログから「コード」のドロップダウンリストから文字コードを指定
して、開き直します。

QX で編集できるファイルサイズは、とくに上限はないと思います。少なくとも
数十メガバイトは平気で編集した経験があります。（パソコンのほうのメモリと
テンポラリファイルを作る場所の空きが必要ですが。）

（長くなるので印刷書式の話題は別投稿としました。）