擅長AI生文、爬蟲、資料庫管理，有實際經驗之軟體結構師或團隊(詳需求說明)

需求說明

A. 合作內容： 一、 系統項目(共有兩部分)： 1. 圈客行銷部分： (1) 針對台灣地區(第一階段)之「廠商」獲取「台灣地區」及「國外」之準確目標客戶，並對之行銷。 (2) 針對大陸地區(第二階段加入之項目)之「外銷廠商」獲取「國外」之準確目標客戶，並對之行銷。 2. 口碑行銷部分： (1) 針對台灣地區(第一階段)之「廠商」產出合意及有效之評論內容，提供消費者對GoogleMap、FB、IG、小紅書、TikTok等五個平台發出評論。 (2) 針對大陸地區(第二階段加入之項目)之「廠商」產出合意及有效之評論內容，提供消費者對小紅書、TikTok等平台發出評論。 二、 第一階段預估年營業額1-2億新台幣，第二階段保守預估年營業額新台幣3億以上。 三、 合作報酬(以承攬開發及維運為前提)： 1. 每月紅利分配：月純淨利之20%。 2. 開發費用：開發完成前50個行業支付費用8萬元新台幣(開發輪廓、重點、細節應注意部分，大致已清楚)。 3. 前後端系統ONCALL維運及程式增修費用：每月支付費用4萬元新台幣。(維運期間每月新增3行業) 四、 有能力及意向之夥伴或團隊，請留言LINE ID及電話詳談細節。 B. 能力需求：誠徵精通以下範疇並具實際經驗之合作夥伴或團隊 一、 按前端(B端)及AI需求爬取及彙整FB、IG、GOOGLEMAP、官網、 amazon.....之內容： 1. 核心技能與經驗： (1) Python或其他爬蟲相關程式語言，至少2年以上實際爬蟲開發經驗。 (2) 閱讀、維護並重構既有爬蟲程式。 (3) 理解 HTTP Request / Response 機制，能處理登入驗證、Headers、Cookies、反爬機制等問題。 (4) 依據現有流程圖為主軸進行程式設計，獨立分析與補充細節，參考已開發程式進行優化與功能擴展。 (5) Web Scraping框架與工具，如Scrapy、BeautifulSoup、Selenium或Puppeteer，並根據需求選擇合適工具。 (6) 基於現有程式碼進行維護、調整與功能迭代，確保系統穩定性與持續改進。 (7) 示警細節與機制、監測平台。 (8) FB/IG自動化創建帳號養、養帳號能力。 (9) VPN上網技術及本系統反爬蟲規劃能力。 (10) 具全端程式及維運能力。 2. 社交媒體爬蟲專長： (1) 爬取Instagram、Facebook等社交平台貼文、短影音（Reels、Stories等）及相關資訊（如留言、按讚數、分享數）。 (2) 熟悉各大社交媒體平台限制規避技巧，確保資料抓取的穩定性與合法性。 (3) 處理動態網頁（JavaScript渲染）與反爬蟲機制（如CAPTCHA、IP封鎖）的挑戰。 (4) 以GraphQL 獲取資料。 3. WhatsApp： (1) 爬取amazon消費者相關資料。 (2) 以WhatsApp帳號發送訊息至messenger。 4. 以FB及IG帳號獲取除FB及IG內容外之「該特定受眾群之資訊及特性」。 二、 自然語言處理（NLP）與語言學，包括： 1. 語意分析、詞向量（word embeddings）、語境理解、語法結構（Syntax）、語義（Semantics）、語用（Pragmatics）。 2. 有效運用關鍵詞、上下文、格式化輸入來影響 AI 輸出。 三、 AI 及大型語言模型（LLM）知識，包括： 1. Transformer、GPT、BERT 等 LLM 的基本原理與工作方式。 2. 模型的限制（如幻覺、偏見、資訊不完整）並以設計之 prompt 避免問題。 3. 以Zero-shot、Few-shot Learning等prompt 技巧，提升 LLM 回應的準確性。 4. Prompt 設計與優化技巧： (1) 精確性（Precision）：以簡單、明確的語言表達需求。 (2) 上下文設計（Context Design）：提供適量資訊，確保 AI 理解目標。 (3) 約束與格式化（Constraints & Formatting）：要求特定輸出格式，如 JSON、Markdown、表格。 (4) 測試與調優（A/B Testing）：針對不同 prompt 設計變體，找出最佳效果。 5. 程式設計與 API 整合： (1) Python 及各大公司 API / LangChain 等框架。 (2) 撰寫腳本（.sh）來自動化 prompt 測試與分析 AI 輸出結果。 (3) 會使用正則表達式、文本處理技巧來提取與過濾 AI 產生的內容。 6. 資料分析與評估： (1) 分析 AI 回應的準確度、一致性、創造性，找出最佳 prompt 模式。 (2) 設計 AB 測試比較不同 prompt 的效果。 7. 領域知識（Domain Knowledge）： (1) 針對不同應用場景（如程式碼生成、醫療診斷、法律、行銷、不同產業）調整 Prompt。 (2) 具備 UX / UI 設計思維，確保 AI 輸出對使用者有價值。 8. 版本控制與協作： (1) 有專案合作經驗，看得懂其他人專案的程式碼。 (2) Git / GitHub。 (3) HACKMD：技術文件撰寫、記錄進度 （Prompt、流程） 、設計原則與最佳實踐。 9. 安全與道德考量： (1) 確保 Prompt 避免產生有害內容（如偏見、虛假資訊）。 (2) 瞭解 AI 法規與道德風險，如歧視、隱私保護、內容審查。 四、 資料庫系統設計、優化、與管理 (1) 關聯式資料庫（如MySQL、PostgreSQL）的設計與應用，設計資料結構與索引，針對大規模資料儲存與查詢的優化。 (2) 熟悉Linux 環境，部署與排程（ cron、systemd、Docker，具 Kubernetes (k8s)）。 (3) 設計高效的資料結構與索引，支援跨行業、多帳號的社交媒體資料存儲與快速檢索。 (4) 資料清理與正規化，確保爬取資料的一致性與可用性。 (5) 管理管理資料庫。 五、 軟性技能與其他要求 1. 程式碼品質與文件紀錄：熟悉版本控制工具（如Git），撰寫乾淨、可讀的程式碼，並保持詳細的文件紀錄，確保程式碼易於理解與維護。 2. 資料隱私與合規性：深入了解資料隱私與法律規範（如GDPR、平台使用條款），確保爬蟲行為符合法規要求，並能在設計爬蟲系統時考慮倫理與法律約束。 3. 按既定程序與架構進行：理解既定程序與架構需求，並能密切合作，具備良好的達成能力。 4. 理解業務需求並將其轉化為技術實現。 5. 持續學習與技術更新：對新技術與社交平台API更新的保持敏感，持續學習以適應快速變化的爬蟲環境。 6. 快速理解既有程式邏輯並進行維護、功能調整、錯誤修復及效能優化。 7. Microsoft Azure雲端服務，在Azure環境中部署與擴展爬蟲系統，相關工具（如Azure Functions、Azure Blob Storage）。 8. 容器化技術（如Docker），以支援爬蟲系統的部署與管理。 9. 基本資料分析能力，將爬取資料進行初步結構化處理，方便後續分析應用。 10. 版本控制與監控：Git / GitHub 程式版本管理&錯誤監控與日誌管理（如 Sentry、ELK，或可自製監控腳本）。 六、 創意思維與問題解決能力&持續學習與研究： 1. 應對社交平台反爬蟲機制的變化或資料庫效能瓶頸。 2. 能夠拆解複雜問題，轉化為 AI 可理解的輸入格式。 3. 透過迭代測試找到最有效的 Prompt 組合。 4. 思考如何讓 AI 生成更具創意、符合需求的內容。 5. 跟蹤 AI / NLP 最新技術（如 OpenAI 發布的新模型、論文、第一手知道Deepseek消息等等）。 6. 持續優化 Prompt 設計，以適應 AI 的進步與應用需求。 7. 查閱論文研究解決問題，優秀的問題解決能力。