[外包接案使用調查]
公告 如何發案 如何接案 幫助中心爬蟲程式
【需求】 每天早上固定時間,自動去看八個來源有沒有新東西,有的話整理成一份 PDF 直接送到手機上。不用自己開八個網頁一個一個看。 【第一件事:「今天沒有新的」和「我抓壞了」長得一模一樣】 最直覺的做法是比對日期——抓到的東西是今天的就算新的。 問題是各家的日期格式都不一樣,有的根本沒有日期。只要日期解析失敗,程式就會很有精神地回報「今天沒有新消息」,然後你永遠不會發現它壞了。這是最貴的一種故障:安靜地壞掉。 所以這支程式不比對日期,改成比對「看過的識別碼」:每筆記下唯一 id,下次只跳過確定看過的。日期解析失敗最多讓同一則重複出現一次,不會讓整批消失。寧可吵一點,不要安靜地漏掉。 【第二件事:一個來源掛掉不能拖垮整份報告】 八個來源各自獨立抓取。其中一個超時或改版,其他七個照常產出——而且失敗的來源會列在報告最後面,不是靜靜跳過。你要看得到「今天有一個沒抓到」,才有機會決定要不要理它。 【第三件事:測試模式不可以留下痕跡】 開發時抓到兩個自己寫的坑:試跑用的 dry-run 竟然會把「已讀」狀態寫進紀錄檔,結果正式跑的時候那些消息全被當成看過的,一則都不會出現;另一個只產檔不呼叫 AI 的模式,會直接覆蓋掉當天已經產好的正式檔。 兩個都改掉了。判準是:任何會改到狀態的動作,都要先問「這在測試模式下該不該發生」。 【第四件事:刻意控制成本】 摘要用的是較便宜的模型,一天成本約 0.01~0.03 美元。這是想清楚才選的——這份報告的價值在「每天都準時有」,不在「每個字都完美」。花十倍的錢換一點文筆,對這個用途不划算,這種取捨我會先跟業主講。 【實測】 每天 09:00 自動執行,PDF 直接送達通訊軟體。約 1,095 行。 【可交付】 抓取程式、去重機制、內容摘要、PDF 排版、自動推播、排程設定、失敗回報、原始碼與說明文件。
熊熊