千萬筆資料匯入mysql

mysql 資料庫

jhu0717 2015-06-17 19:31:22 ‧ 11598 瀏覽

想請問各位前輩，
我已經更改php.ini裡面設定

要上傳有千萬筆資料的csv檔上去phpmyadmin
一定要先建立資料庫欄位嗎?
還是會讀取第一欄呢?

但我傳上去什麼失敗原因都沒有，
請問還有更好的辦法嗎?

目前我僅先以150萬筆資料為測試檔案大概480M

還有傳至記憶體用盡的問題這樣的話該如何修正
還是一樣更改php.ini嗎

外獅佬 iT邦大師 1 級 ‧ 2015-06-17 22:34:00 檢舉

你期待MySQL會自己解析csv（格式化的文字檔），然後自動幫你建好資料表的結構？！

老鷹(eagle) iT邦高手 1 級 ‧ 2015-06-18 09:47:17 檢舉

有這個功能跟我說

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

1 個回答

wiseguy

iT邦超人 1 級 ‧ 2015-06-17 22:44:25

最佳解答

資料這麼多筆，就別用 web 了，web 會 timeout、傳上去由 php 處理也會 timeout，更會耗盡記憶體。你會忙不完。
請直接透過 ssh 登入系統，再用 FTP 或 SFTP 上傳你的 CSV，執行 mysql 裡的 mysqlimport 來做匯入，或是執行 mysql 以 LOAD DATA INFILE 方式匯入。請參考
http://www.codedata.com.tw/database/mysql-tutorial-19-outfile-dump-infile-import/
匯入之前，當然要先開好 Database 跟 Table。