csvファイルの重複行を削除して出力する

したいこと

DBにCSVファイルからデータ取り込みしようとしたら重複があってエラーになったので取り込み前にクレンジング

使用するコマンドレット|

コマンドレット	内容
Get-Content	csvを読み込む
Sort-Unique	ソートして重複削除
Sort-Object	ソート
Get-Unique	重複削除

2通りの方法がある

• Sort-Unique を使う方法

• Get-Unique を使う方法
  こちらを使う場合はソートそしてからじゃないと削除できないので
  Sort-Objectと併用する

サンプルコード

# 取込みファイルフルパス
[string]$filepath = $inifilefldr + $imptfile

# Sort-Uniqueを使う場合 
Get-Content -Path $filepath | sort -Unique

# Get-Uniqueを使う場合
Get-Content -Path $filepath | Sort-Object | Get-Unique -AsString