工作需要整理出一套資料庫專門儲存各行各業的公司是營運什麼產業，目前在使用的主要有兩個方法
方法一是google直接搜尋關鍵字，在進入網站把裡面的所有文字資料使用monica ai來判斷該公司是屬於哪一個產業
方法二寫爬蟲把有公司名錄的網站爬下來，像是台灣黃頁這種的
方法二雖然爬下來的公司產業比較準確一點，但是資料非常少
方法一會把官網主頁面裡面所有的文字都蒐集起來，接著透過這些資料讓monica ai來判斷老四川是屬於哪一個產業，但是有時候不是很準確，想嘗試beautifulsoup來判斷出公司產業，不過完全沒有頭緒該怎麼開始，因為資料來源非常雜，例如老四川官網主頁的文字完全沒有提到餐飲或是類似餐飲的關鍵字，這種情況好像就沒辦法透過beautifulsoup來判斷出公司產業
所以想請問各位大佬有沒有一個可以準確的判斷出產業的方式，效率不要太差都可以QQ
已邀請的邦友 {{ invite_list.length }}/5
我有想到幾個有一絲絲機會的想法，與問問 AI 發現的思路：
除了你說的爬網站的文字之外，從網站 HTML 的 meta 裡面也會有 keyword 或 description 的資訊。
例如老四川的有 <meta name="description" content="老四川巴蜀麻辣燙火鍋官網，於台北、新竹、桃園、台中、嘉義、台南、高雄均有據點，可線上訂位、門市外帶、最新菜單、會員開卡，另有線上專賣店可網路宅配。">
Google 搜尋或 Google 地圖搜尋，從搜尋結果可以分析出產業類別。
以下是 AI 回覆的 API，但我沒用過：
https://developers.google.com/maps/documentation/places/web-service/overview?hl=zh-tw
https://developers.google.com/knowledge-graph?hl=zh-tw
從人力銀行網路爬蟲。
人力銀行上搜尋公司，也會寫出這家公司是哪個產業，不過就要先確保他們網站是否可以網路爬蟲。(可以透過 /robots.txt 來確認)
或 LinkedIn 有 API，也可以試試，看有什麼資料。
(以上取得的結果也可以再搭配你說的 monica ai 來分析)
以上只是我稍微想到的，也不知道是否可行，給你參考~
我建議可以直接把官網內容送給語言模型判斷業別就可以了, 像是以下就是用 OpenAI 的 gpt-4o-mini 模型判斷老四川的結果：
[
{
"result": "餐飲服務業",
"id": "chatcmpl-9t3nI116bSRSMyrpa8KUdM7soFBk1",
"object": "chat.completion",
"created": "2024-08-06T02:00:52.000Z",
"model": "gpt-4o-mini-2024-07-18",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "餐飲服務業"
},
"logprobs": null,
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 10549,
"completion_tokens": 4,
"total_tokens": 10553
},
"system_fingerprint": "fp_48196bc67a"
}
]
這裡的分類取自 104 網站。
iThome鐵人賽
看影片追技術