免許更新時以外に住所変更した場合、新しい免許証ではなく免許の裏に新しい

免許更新時以外に住所変更した場合、新しい免許証ではなく免許の裏に新しい住所を書かれるんですか？

ボールペンで裏に書かれますよ。免許更新などで新しくなるまでそのままです。

記載事項の変更は、既存の免許証の裏面へ記入されて、上から公安委員会の印が押されます。
免許更新や新しい免許を取得して新しい免許証が発行されたときに表面に記入されます。

そのとおりです
新住所の住民票を持って最寄の警察署へ行けばものの10分ほどで終わります
警察官が免許証の裏に新住所を記入して確認の判子を押して終わりです
表面の住所が新しくなるのは次回の更新の時です
(次回更新までに別の免許を取ればその時に表面も新しくなります)