鐵人檔案
這是一個以 RAG為名的系列，但其實大部分篇幅應該都在處理資料，預計內容包含：
(1) 取得(context, question, answer)對的三種方法
(2) 以Label Studio建立ground-truth
(3) 搭建 RAG baseline
(4) 探索驗證框架
(5) 各式方法論的實測
我會實測檢索的recall 、答題的忠實度以及 LLM as a judge的表現
看看現代 LLM／RAG／Agent 在自製題目集的能力與限制
Situation 先前我們在 Day7: perplexity api 初探 與 fact_ckecher 功能測試調用 perplexity api 時，...
Situation 先前我們在 Day6: pdf2txt 使用 llama-parse 與 mistral-ocr 時，我們已經把包含一系列單選題的 pdf...
Situation 我們昨天架構了 SubQuestionQueryEngine as workflow 的整體工作流程 並且測試了 prompt llm 來...
Situation 我們正在嘗試用 llama-index 的 workflow 自行架構 SubQuestionQueryEngine 應用情境為： 給定一...
Situation 我們前面大多是關注在怎麼使用 Agent 包含 Day8: Tavily 與 FunctionAgent 的 FunctionAgent...
TL;DR 今天的完整程式碼在 這裡 有一個 ipynb 用來釐清內部的細節 ReAct_parser_and_formatter 具體來說是: ReA...
Situation 今天是個全新的篇章，我們來探索一下新的主題: llm 的 Structured Output 這個系列預計會包含： 本篇 txt2jso...
TL;DR 今天的交付物是兩個 Dataset: 一個是structured_output_dataset 👉 點我看長相 一個是exam_data...
Intro 我們昨天產出了一份 toy problem:= structured_output_dataset.json 👉 點我看長相 今天要來跑實驗啦...
Intro 我們今天先來熟悉一下 llama-index 世界的 Evaluating 具體來說，我們會在範例資料上使用幾種不同的 evaluator 來實...
