在分布式流處理環(huán)境中，大量的連續(xù)查詢被分發(fā)到多個(gè)server上。數(shù)據(jù)流突發(fā)性的到達(dá)對(duì)結(jié)果的質(zhì)量有負(fù)面影響(如吞吐量，延時(shí)等)。為系統(tǒng)設(shè)置最壞情況負(fù)載的方法一般不是經(jīng)濟(jì)合理的。另一方面，突發(fā)數(shù)據(jù)率可能會(huì)在server鏈的某個(gè)點(diǎn)上產(chǎn)生瓶頸。瓶頸的產(chǎn)生可能是由于在這個(gè)server上對(duì)于處理能力的過量需求，或者在連接各個(gè)server的物理網(wǎng)絡(luò)上的帶寬缺陷。瓶頸延緩了處理和網(wǎng)絡(luò)傳輸，并且導(dǎo)致了延遲輸出。
當(dāng)一個(gè)或多個(gè)server由于大爆發(fā)量數(shù)據(jù)的到來而變得超負(fù)荷時(shí)，為了保持這些查詢結(jié)果的低延時(shí)，超出的負(fù)載需要被甩掉。由于server之間的負(fù)載依賴，在這些server之間的甩負(fù)荷決策必須被很好的協(xié)調(diào)來達(dá)到對(duì)輸出質(zhì)量的端對(duì)端控制。
本文模擬分布式甩負(fù)荷問題為一個(gè)線性優(yōu)化問題，提出了兩種可選的解決方法：一個(gè)基于求解器(solver-based)的集中式方法，一個(gè)基于元數(shù)據(jù)集合和傳播的分布式方法，該方法的集中實(shí)施也是有效的。這兩種方法都是基于事先生成一系列甩負(fù)荷計(jì)劃，用于特定輸入負(fù)載條件。我們已經(jīng)把這個(gè)技術(shù)用于北歐化工分布式流處理引擎軟件。