當 scrapy.Spider 爬蟲抓到資料後，會將資料送往 Item Pipelines 進行一系列的處理。常見的使用情境是： 清理 HTML 資料 驗證資...
老實說今天 Hackerrank 的主題讓我有點不想浪費一天的篇幅去講，因為是在講 Nested Logic，說穿了就只是要你練習兩層以上的 If Else 之...
在git平台中，比較著名的Github及GitLab兩大平台，Lektor都有提供部署方法。當然除了這兩個平台，還有Bitbucket等強大的平台，只是目前Le...
今天在 Hackerrank 的主題是，延續我們之前研究的 Linked list，為這個 Linked list 去增加一個 Function 來把 Link...
在前幾天的爬蟲中，我們都是以 Python dict 的結構在儲存爬取結果，隨著爬蟲數量增加，會在越來越多的程式中使用到相同的結構來儲存資料，但同時也容易在不同...
FTP相對來說是比較不安全的傳輸方式，而SSH可以提供安全的傳輸管道。 SSH以非對稱加密實現身分驗證。身分驗證有多種途徑，例如其中一種方法是使用自動生成的公鑰...
今天的主題是延續昨天的 Binary Search Tree，我們要來看其中一種 Traversal 的方法，所謂 Traversal 就是用某種順序來走訪 B...
大概兩個禮拜前我們已經有用 requests + BeautifulSoup 兩個套件來把文章爬取下來了，今天會把相關的邏輯都移植到 Scrapy 框架中。先附...
從小時候就存在的FTP，現在依舊還是偶爾會使用到。貼心的Lektor也提供FTP部署的設定： [servers.production] target = ftp...
接下來終於要進入正題了。前面介紹完Lektor基本功能後，也需要介紹部署到github的方法，不然怎麼符合一開始的目標呢！ 在部署的時候有兩個步驟，第一個為bu...
今天我們要來看的是 Binary Search Tree (BSTs)。Tree 是由有限節點組成具有層次關係的集合。以下圖為例，最上面的節點稱作根節點 (Ro...
昨天用 scrapy genspider ithome ithome.com 指令建立出來的爬蟲檔案 ithome.py 內容是這樣： import scrap...
今天要來談談 Generic。由於靜態語言對於宣告的類型有嚴格的規定，Generic 的出現則是讓這件事情變得更加彈性，可以將一套程式碼複用在不同類型的資料上。...
安裝 安裝套件 pipenv install scrapy 曾經在安裝的時候遇到 Twisted 一直安裝失敗，無法透過 pip 安裝。如果有遇到的讀...
在lektor中，model扮演著很重要的角色(當然content及template也是)。接下來會以models/page.ini檔案作為範例，說明model...
請證明你不是機器人 繪製親緣關係樹的前置工作中，搜集所有適合一起比對的基因之序列是十分累人的工作。我不寫程式以前，會找一首喜歡的專輯，放著聽，然後開始開啟大量瀏...
寫了好幾天的爬蟲，不知道大家有沒有感覺同一支程式中要關注的事情太多。目前我們爬蟲的流程大概是這樣： 發送請求，取得網頁 HTML 原始碼 可能需要額外的重試...
今天我們要來談談 Sorting，也就是排序。排序看似不起眼，但其實在電腦的世界扮演了許多關鍵的角色，例如當我們要更有效率地搜尋出某個東西的時候，又例如我們要按...
在前面的文章中有提到兩個外掛：disqus及webpack。本篇文章將說明如何安裝、讀取、以及基本外掛使用。 安裝外掛 安裝方式有兩種，第一個是直接在.lekt...
昨天發文後想到另一個狀況，是因為系統架構設計的關係，網站上呈現的資料並沒有在第一次發請求時取得，而是在網頁載入後陸續以 AJAX 的方式取得資料顯示在畫面上，或...
把資料庫基礎操作, server環境架設, 自動化相關操作搞定後，就來看後端程式怎麼設計。 後端程式架構設計主要分Controllers / Models兩...
今天終於要來談談介面，也就是 Interface 啦！之前當我們在談繼承以及抽象類別的時候，說到在 Golang 跟 Rust 並沒有這樣的概念，在這兩個語言則...
如果還不知道什麼是webpack，可以參考這裡。以下直接說明怎麼使用lektor建立webpack！ 設定webpack package.json lektor...
今天我們要來談談另外兩個很常見的線性資料結構：Queue 和 Stack。Queue 的概念就是先進先出啦！就像是排隊買東西，當然先來的人要讓他先買囉！而 St...
今天要帶各位繼續昨天沒完成的功能，也就是程式呼叫和 actix webservice 的 api 串再一起，那麼經過我稍微摸索一下發現其實不難那就讓我們開始吧，...
有些網站可能不太希望自己的內容被爬取，例如比價網站爬取各個線上購物的網站後，讓消費者很容易比價，就有可能讓某些網站流失消費者。另外如果太多外部的爬蟲在對伺服器發...
KEGG 簡介 Kyoto Encyclopedia of Genes and Genomes 緣起於 1995 年，由京都大學化學研究所教授金久實提出，最大的...
sitemap主要分為( html、asp、aspx、php )及 XML2大格式，第1種提供給使用者參考導覽，第2種則是提供搜尋引擎，協助SEO網站優化。本篇...
今天的主題在 Hackerrank 的安排下是延續昨天的主題。昨天我們做的事情是當發現異常的時候，各種語言是用什麼樣的方式在解決。然而今天我們要來看看如何讓我們...
先附上完整原始碼。跟 Day 17 的程式碼相比，只修改了 insert_article() 和 insert_responses() 兩個方法，把目標資料庫換...
Rex Chien
ryanyang1221
塔塔墨
Chen (Benjamin) Hsieh
Ivan
abrcdf1023
iThome鐵人賽
看影片追技術