各位好
小弟是一個初學程式的萌新
最近學習python遇到了一些問題想跟各位請教
關於我目前課業要做的專題
大致上是這樣子的:
使用python進行爬蟲
爬出多個網頁的：分類標籤、主要圖片、主文章文字、文章圖片、留言文字
並將五項資料存入線上資料庫
之後寫一個app 讀取線上資料庫的內容，整理顯示出來
我是該組負責python的部分，負責app的人還沒開始作
所以我目前苦惱於要怎麼儲存才能被app取用
目前我的狀況為:
能爬出網頁中想要的字串與圖片(url)
但我還只會下載下來存成文件
現在想要存到線上mysql資料庫(有申請了一個付費的)
使用phpadmin建立了資料表
但不知道怎麼樣才能完整的存入文章的文字
確定可以用python連上資料庫了
但不知要使用什麼儲存格式才能正確的存文章內容(包含格式)
目前每次存都說我編碼有問題，讀了python解碼編碼但還沒開始嘗試
找了些資料，有人說存成文件再讀取文件的url，但我不知道如何爬文章內容直接存到網路上
而且也不知道andriod studio是否能讀取我存到資料庫的東西
有想過存html原碼後，再經由andriod studio讀取時分析後顯示原文章格式?
因為負責andriod studio的人沒動工所以我無法得知取用資料時會遇到的問題
希望有了解這方面的人，提供一些方向指導我
已邀請的邦友 {{ invite_list.length }}/5
這個專題要做的事
我簡單畫了如上圖
只用兩種圖形表示
一種代表「程式」
另一種代表「資料」
右方是「取得資料的 A 流程」(爬網站／寫進資料庫)
左方是「App呈現資料的 B 流程」(HTTP Request/Response(json))
以上提供參考
建議python和app連接用的資料格式是
XML或Json
個人推薦Json 因為輕便簡潔
重點是你們要呈現在app上的資料是哪些
討論出來後 你們就可以試著去開傳出的欄位格式
一但有了協定資料格式 App和後端就可分開進行開發
1.先跟負責 andriod studio 的人商量他需要什麼，通常是透過 REST API 的方式存取 json 來做。因為 android app 很容易被反組譯，一般來說是不會直接連接 SQL server。
2.python 預設都是 UTF-8，所以都轉換成 UTF-8 就沒錯了。然後要記得處理溢出字元。
https://stackoverflow.com/questions/9322569/whats-the-best-way-to-store-html-code-in-mysql
why:
http://www.w3school.com.cn/php/func_mysql_real_escape_string.asp
python way:
https://wiki.python.org/moin/EscapingHtml
3.html code 輸出 json 的時候要記得處理溢出字元。
https://www.thorntech.com/2012/07/4-things-you-must-do-when-putting-html-in-json/
iThome鐵人賽
看影片追技術