免許証の更新手続き終了してから交付までに４週間ほどかかるそうなのですが、その

免許証の更新手続き終了してから交付までに４週間ほどかかるそうなのですが、その期間に期限切れになってしまったら交付されるまでは運転していけないのでしょうか？

大丈夫です。警察署での更新で即日交付でない場合は古い免許証の有効期限を１か月くらい延長してくれ、免許証の裏にその旨記載されます。
免許センター等で更新すれば即日交付で、混み具合にもよりますが半日でＯＫです。