使用 monpa 以 GPU 做批次斷詞monpa 也提供應用 GPU 運算能力的 cut_batch function,將文字資料以 list 格式單批次輸入,不超過 GPU 可使用的記憶體容量內可快速斷詞,回傳值亦是 list 格式。初次啟動需耗費額外時間將程序及資料轉換到 GPU…May 30, 2021May 30, 2021
使用 monpa 多工程序加快斷詞monpa 從 v0.3.2 開始提供多執行程序 (Multi-processing) 的輔助功能,藉由同時啟動 CPU 多核心支援來提升大量句子的斷詞效率。只要以 list 或是 list of list 格式輸入原始文字資料,並設定要使用的 worker 數量(一個…May 28, 2021May 28, 2021
截長句成短句,再用 monpa 來斷詞。深度學習訓練出來的 monpa 模型,語料限制也就有處理文字數目的限制,如果一股腦地將長文直接斷詞,除了超出限定字數的部分會被丟失,甚至沒丟失的部分也可能失了準度。Aug 15, 2019Aug 15, 2019