Consider Rewriting the Code Using Higher-Level Abstractions

核心觀點#

控制低階多執行緒程式碼是極其困難的任務。Race condition、deadlock、livelock 和次優效能只是常見問題的一部分。當遇到難以解決的並行 bug 時，值得考慮放棄低階並行程式碼，改用更高階的解決方案。

本質上，這些方法是將多核心處理的複雜性委託給其他軟體來處理。

最高階的方式——找到可靠的 ready-made middleware 來承擔並行工作：

讓作業系統替你分配多核心的工作：

bzip2 -dc <data.bz2 | gzip -c >data.gz

循序執行需要 41 秒，pipeline 只需 27 秒——因為解壓縮和壓縮會並行執行在不同核心上。

適合處理離散的資料區塊（檔案、行、記錄）：

ls *.jpg | parallel 'djpeg -scale 1/16 {} | cjpeg >thumb/{}'

用 xargs 循序處理需 10.5 秒，用 parallel 只需 4.1 秒。

用 make -j 進行平行建置：

$ time make >/dev/null        # 14 分 18 秒
$ time make -j 8 >/dev/null   #  3 分 12 秒

make -j 不只適用於編譯——任何可以用依賴關係圖表達的工作流程都能用 Makefile 來平行化。

在應用程式內部使用 map-reduce 和 filter-reduce 技術：

只需使用 container 和相容的 map、filter、reduce 函式。

許多計算密集型任務已有針對多核心最佳化的函式庫：

以 R 語言求解 10000x10000 矩陣反轉為例：

函式庫版本	時間
單核心 BLAS	3 分 10 秒
多核心最佳化 BLAS	1 分 2 秒

Java java.util.concurrent 套件提供多種高階替代方案：

Executor / ExecutorService：取代低階執行緒管理
CountDownLatch、CyclicBarrier、Exchanger、Phaser、Semaphore：取代手寫的 synchronized 區塊
並行集合：ConcurrentHashMap、BlockingQueue、CopyOnWriteArrayList 等，取代手動同步化
CompletableFuture：組織有複雜依賴關係的平行任務
Parallel streams + lambda：表達需要並行執行的 filter 和 map 操作

使用 streams 和 CompletableFuture 平行解析 1,000 個 IP 位址：

實作方式	時間
CompletableFuture（100 執行緒）	37 秒
循序實作	48 分鐘

加速比達到 78 倍，主要歸功於 DNS 查詢的 I/O 等待可以被大量平行化。