iT邦幫忙

0

python存文章到資料庫

各位好
小弟是一個初學程式的萌新
最近學習python遇到了一些問題想跟各位請教

關於我目前課業要做的專題
大致上是這樣子的:
使用python進行爬蟲
爬出多個網頁的:分類標籤、主要圖片、主文章文字、文章圖片、留言文字
並將五項資料存入線上資料庫
之後寫一個app 讀取線上資料庫的內容,整理顯示出來

我是該組負責python的部分,負責app的人還沒開始作
所以我目前苦惱於要怎麼儲存才能被app取用

目前我的狀況為:
能爬出網頁中想要的字串與圖片(url)
但我還只會下載下來存成文件

現在想要存到線上mysql資料庫(有申請了一個付費的)
使用phpadmin建立了資料表
但不知道怎麼樣才能完整的存入文章的文字
確定可以用python連上資料庫了
但不知要使用什麼儲存格式才能正確的存文章內容(包含格式)
目前每次存都說我編碼有問題,讀了python解碼編碼但還沒開始嘗試
找了些資料,有人說存成文件再讀取文件的url,但我不知道如何爬文章內容直接存到網路上
而且也不知道andriod studio是否能讀取我存到資料庫的東西
有想過存html原碼後,再經由andriod studio讀取時分析後顯示原文章格式?
因為負責andriod studio的人沒動工所以我無法得知取用資料時會遇到的問題

希望有了解這方面的人,提供一些方向指導我

5
海綿寶寶
iT邦超人 1 級 ‧ 2017-08-31 22:23:08

http://ithelp.ithome.com.tw/upload/images/20170831/20001787bkoqu8AaJR.png

這個專題要做的事
我簡單畫了如上圖
只用兩種圖形表示
一種代表「程式」
另一種代表「資料」

右方是「取得資料的 A 流程」(爬網站/寫進資料庫)
左方是「App呈現資料的 B 流程」(HTTP Request/Response(json))

以上提供參考

0
dog830228
iT邦研究生 4 級 ‧ 2017-08-31 23:28:40

建議python和app連接用的資料格式是
XML或Json
個人推薦Json 因為輕便簡潔

重點是你們要呈現在app上的資料是哪些
討論出來後 你們就可以試著去開傳出的欄位格式
一但有了協定資料格式 App和後端就可分開進行開發

0
froce
iT邦高手 1 級 ‧ 2017-09-01 00:59:40

1.先跟負責 andriod studio 的人商量他需要什麼,通常是透過 REST API 的方式存取 json 來做。因為 android app 很容易被反組譯,一般來說是不會直接連接 SQL server。
2.python 預設都是 UTF-8,所以都轉換成 UTF-8 就沒錯了。然後要記得處理溢出字元。
https://stackoverflow.com/questions/9322569/whats-the-best-way-to-store-html-code-in-mysql
why:
http://www.w3school.com.cn/php/func_mysql_real_escape_string.asp

python way:
https://wiki.python.org/moin/EscapingHtml
3.html code 輸出 json 的時候要記得處理溢出字元。
https://www.thorntech.com/2012/07/4-things-you-must-do-when-putting-html-in-json/

我要發表回答

立即登入回答