uniqコマンドの使い方のご紹介

はじめに

Linuxにはさまざまなコマンドがあり、データの操作や管理を効率的に行うことができます。その中でも、uniqコマンドは重複した行を削除するための便利なツールです。本記事では、初心者向けにuniqコマンドの基本的な使い方を解説します。

uniqコマンドとは

uniqコマンドは、テキストデータの重複行を処理するためのコマンドです。ただし、uniqコマンドは隣接する行しか処理しないため、入力データが事前にソートされている必要があります。

基本的な書式

uniq [オプション] [入力ファイル] [出力ファイル]

基本的な使い方

重複行の削除

以下の例では、入力ファイル sample.txt の重複行を削除し、結果をターミナルに表示します。

uniq sample.txt

結果を別ファイルに出力

結果を別のファイルに保存するには、出力ファイルを指定します。

uniq sample.txt output.txt

便利なオプション

-cオプション

各行が出現した回数を表示します。

uniq -c sample.txt

出力例：

2 apple
1 banana
3 cherry

-dオプション

重複している行のみを表示します。

uniq -d sample.txt

-uオプション

重複していない行のみを表示します。

uniq -u sample.txt

事前にソートが必要な理由

uniqコマンドは隣接する行しか処理しないため、入力データを事前にソートする必要があります。例えば、以下のようにソートを組み合わせます。

sort sample.txt | uniq

実践例

以下の例では、ファイル内のユニークな行を数えます。

sort sample.txt | uniq | wc -l

まとめ

uniqコマンドは、テキストデータの重複を処理する際に非常に便利です。ただし、事前にソートが必要であることを忘れないようにしましょう。本記事で紹介した基本的な使い方やオプションを活用して、データ処理を効率化してください。