iT邦幫忙

0

Linux uniq 問題

  • 分享至 

  • xImage

我要使用 cat 993.csv | uniq -f1
想法:uniq可以換列去搜尋有沒有重複的值嗎?我要用中間number1那個值找尋重複刪掉重複的一整行。但我-f 1並不會換列去尋找出來的值都很奇怪 是我語法錯誤嗎?還是uniq 並不能處理這樣的東西。
我txt csv都是過了!我要用比對的是中間的number1那個值!!
我要清出重複值用過了 R Python(他們都只要出現過一次就會判斷是重複的)但都沒有unip這樣只清除連續重複的值功能 所以我想使用linux uniq試試?還是有什麼方法可以建議一下感謝!https://ithelp.ithome.com.tw/upload/images/20180513/20109269ePgU5eBJXV.pnghttps://ithelp.ithome.com.tw/upload/images/20180513/20109269BDDP4KFbqK.png

圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 個回答

1
weiclin
iT邦高手 4 級 ‧ 2018-05-13 09:04:24
最佳解答

把 data.txt 替換成你要讀取的 csv
把兩個 $F[1] 換成你要 uniq 的欄位, 1 = 第二欄

perl -anF, -e '$n ne $F[1] && print; $n=$F[1];' data.txt
jaman iT邦新手 5 級 ‧ 2018-05-13 09:22:51 檢舉

真的 超級感謝!!!!!!
成功了 試了好多方法 後來我用db 雖然成功了 但麻煩許多 感謝!!

我要發表回答

立即登入回答