發表文章

目前顯示的是 3月, 2025的文章

MSSQL 和 MariaDB 寫入大量資料

圖片
一直以來,我很少遇到需要一次性大量寫入資料的需求,印象中只有幾次需要將備份的歷史數據大量的轉回正式環境,那次因為不是很緊急,所以就直接下 SQL 讓他慢慢地寫(老實說真他 ○ × 的久),但在某次機會下,我查到 MSSQL 本身有提供批次寫入的語法(不好意思直白的說自己 SQL 不太好 XD),可以快速寫入大量的數據,因此這篇文章我要記錄一下如何在 MSSQL 和 MariaDB 批次寫入大量的資料。 MSSQL 批次寫入 Bulk Insert 是 MSSQL 提供給大量寫入資料庫的一個好用的語法,適用於一次性寫入數十萬甚至數千萬筆的資料,其主要由底下兩個實體檔案所組成。 Format File(格式檔):用來定義要寫入的數據結構。 資料文字檔:實際要導入的數據,例如 CSV 或 TXT 檔案。 Format File  SQL Server 支援兩種類型的格式檔案:非 XML 格式和 XML 格式。 非 XML 格式是舊版 SQL Server 所支援的原始格式,詳細的說明可參考 官網 ,這邊我就用非 XML 格式,也就是文字檔的格式來說明。

使用生成式 AI 結合 RAG 技術實作屬於自己的 LLM 知識庫 - 前言及流程規劃

圖片
# 使用生成式 AI 結合 RAG 技術實做屬於自己的 LLM 知識庫系列文章 前言 就在我停下追求技術腳步的跑去學界進修的這兩年,資訊領域發生了爆炸性的變化,生成式 AI(Generative AI)的技術在這段時間快速的成長,至今已有多家算是蠻成熟的 AI 公司,並發展了許多 AI 相關的服務,其中最著名的應用就是 ChatGPT,當然這些大型語言模型(Large Language Model, LLM)服務或多模態模型(Large Multimodal Models, LMM)服務提供商,也釋出了許多 API 給我們這些沒辦法自行架設環境的開發者,能透過他們提供的服務,讓我們自己的服務也跟上這一波 AI 的熱潮。 在這段時間,我一直很想抽空玩玩,但苦於時間真的是不太夠(真希望一天能有 48 小時 XD)。如今我進修的課程也到了尾聲,也差補不多是時候回來惡補我的 "技能債" 了。 關於如何自行架設 Gen AI 服務,或是串接各大廠商所提供 API,網路上已經有很多相關的文章,我敬仰的 Ian 大前輩,也在鐵人競賽寫了一系列關於  如何在 NET 中使用 GenAI 技術  的 文章 ,而自己在這領域也沒有玩太久,不敢在各位大神面前班門弄斧,所以本來沒有想要寫這系列的文章的,但回想當初寫這個部落格的目的,就是為了留下對於程式熱愛的記憶,因此我才決定寫下這一系列的記錄。