Firefox のインストール後に Internet Explorer をアンインストールする必要はありません。事実、Windows や他のプログラムを正しく動作させるために Internet Explorer が必要です。また、Windows Update などのサイトにアクセスするには Internet Explorer を必要とします。
Firefox を他のプログラムから開くブラウザにするには、Firefox を既定のブラウザーにするには をご覧ください。
Internet Explorer のショートカットを削除するには、Windows の機能である [[プログラムのアクセスと規定の設定] を利用してください。Microsoft のサイトにある詳しい情報は、以下の記事をご覧ください:
Based on information from Internet Explorer (mozillaZine KB)