源自 jina.ai

jina.ai 目前很紅,您只要告訴她網址她立即可轉換成 markdown檔
優點:
1.markdown檔 好管理,向量資料庫感覺是資訊人員才有辦法去撈
2.以後可以依各單位目錄做管理
3.可由各單位自行增加
4.由網頁新增更容易

加入 jina.ai 您可以使用各種網頁去查詢或總結存成 markdown檔,再使用 RAG 去查詢如下畫面:



AI RAG(增強索引)->她變的簡單好用,在 AI 催化下,今天學的明日可能得更新

增強索引 是目前 AI 工程師都在努力的一個功課:
1.要讓 AI 用於企業這個做法比 AI 微調更重要
2.因為 AI 真的日新月異早在之前使用 langchain 的 RAG,學了好幾次都覺的很手工化,光 import 都要數個

現在出了 LlamaIndex 可以說將個人覺的最困難的 RAG 變的簡單好用
使用方法:
最基本的用法是傳遞一個 input_dir ，它將載入該目錄中所有支援的文件

from llama_index.core import SimpleDirectoryReader
reader = SimpleDirectoryReader(input_dir="path/to/directory")
documents = reader.load_data()

您可以傳遞文件路徑列表，而不是傳遞所有文件：

SimpleDirectoryReader(input_files=["path/to/file1", "path/to/file2"])

只需要更改 SimpleDirectoryReader

支援的文件類型:

.csv - comma-separated values
.docx - Microsoft Word
.epub - EPUB ebook format
.hwp - Hangul Word Processor
.ipynb - Jupyter Notebook
.jpeg, .jpg - JPEG image
.mbox - MBOX email archive
.md - Markdown
.mp3, .mp4 - audio and video
.pdf - Portable Document Format
.png - Portable Network Graphics
.ppt, .pptm, .pptx - Microsoft PowerPoint