油電混合車隨機控制策略學習指南 — 把駕駛者的功率需求當成一條平穩馬可夫鏈，將能量管理寫成無限期域的隨機動態規劃問題，用策略疊代求出一張時間不變的全狀態回授查表，直接裝進車上；再與從確定性 DP 萃取出來的規則式控制在七個標準行駛循環上對打。A study guide to the paper that reframed hybrid power management as a stochastic problem — the driver’s power demand becomes a stationary Markov chain, the energy-management task becomes an infinite-horizon stochastic dynamic program, and policy iteration returns a time-invariant full-state feedback lookup table that can be dropped straight into a vehicle and benchmarked against a rule-based controller extracted from deterministic DP.ハイブリッド車のための確率的制御戦略の学習ガイド — 運転者の要求出力を定常マルコフ連鎖として表し、エネルギー管理を無限期間の確率的動的計画問題として定式化する。方策反復によって得られるのは時不変の全状態フィードバック表であり、そのまま車両に実装でき、決定論的 DP から抽出したルールベース制御と七つの標準走行サイクル上で比較される。
混合動力車的監督層控制策略（supervisory control strategy）負責協調各個子系統，以達成最大燃油經濟性與最低排放這類性能目標。這個高階控制問題通常被稱為能量管理問題（power management problem）：在滿足可駕駛性、電量維持與元件可靠度等限制的前提下，決定引擎與電機之間的功率該怎麼分。The supervisory control strategy of a hybrid vehicle coordinates the operation of the vehicle sub-systems to achieve performance targets such as maximizing fuel economy and reducing exhaust emissions. This high-level control problem is commonly referred to as the power management problem: decide how to split power between the engine and the motor while satisfying constraints such as drivability, charge sustenance and component reliability.ハイブリッド車の上位制御戦略（supervisory control strategy）は、燃費の最大化や排出ガスの低減といった性能目標を達成するために各サブシステムの動作を協調させる。この高位の制御問題は一般にパワーマネジメント問題と呼ばれる。すなわち運転性、電池残量の維持、部品の信頼性といった拘束を満たしつつ、エンジンと電動機の間で出力をどう分配するかを決める問題である。
過去許多監督層控制策略，是在少數幾條預先指定的行駛循環上，靠直覺與啟發式規則調出來的。論文的原話是：這樣得到的策略「本質上是在打循環，而且缺乏有保證的最佳性水準」（inherently cycle-beating and lacked a guaranteed level of optimality）。換句話說，它在 UDDS 上很漂亮，但你沒有任何理由相信它在明天早上那條真實的路上也一樣漂亮。In the past, many supervisory control strategies were developed on the basis of a few pre-defined driving cycles, using intuition and heuristics. In the authors’ own words, the resulting strategy was often “inherently cycle-beating and lacked a guaranteed level of optimality.” Put bluntly: it looks excellent on UDDS, and you have no reason at all to believe it will look excellent on the road you actually drive tomorrow morning.従来の上位制御戦略の多くは、少数のあらかじめ決められた走行サイクルの上で、直感とヒューリスティクスによって作られてきた。著者自身の言葉では、そうして得られる戦略はしばしば「本質的にサイクル狙い撃ちであり、最適性の保証された水準を欠く」。要するに UDDS では見事な成績を出すが、明日の朝に実際に走る道でも見事である理由はどこにもない。
| 路線Routeアプローチ | 做法What it does内容 | 問題Catch問題点 |
|---|---|---|
| 規則 / 模糊邏輯 [1][2]Rules / fuzzy logic [1][2]ルール／ファジィ論理 [1][2] | 以「負載均化」為概念：讓引擎待在高效率區，電池當作均化負載的緩衝。Built on the idea of “load-leveling”: keep the engine in an efficient region and use the battery as the load-leveling device.「負荷平準化」の考えに基づく。エンジンを高効率域に保ち、電池を平準化装置として使う。 | 沒有最佳性的保證，調校高度依賴工程師經驗與所選的循環。No guarantee of optimality; the tuning depends heavily on the engineer’s experience and on which cycle was chosen.最適性の保証がなく、調整は技術者の経験と選んだサイクルに強く依存する。 |
| 靜態最佳化 / 等效消耗 [3]Static optimization / equivalent consumption [3]静的最適化／等価消費 [3] | 把電能換算成等效燃油，逐時刻最小化「總等效消耗成本」來決定兩個能源的分配。Converts electrical energy into equivalent fuel and decides the split by minimizing the total equivalent consumption cost at each instant.電気エネルギーを等価燃料に換算し、各瞬間に総等価消費コストを最小化して分配を決める。 | 只看當下，等效係數本身仍要調；未來資訊被壓縮成一個數。Instantaneous only; the equivalence factor itself still has to be tuned, and the whole future is compressed into one number.瞬時的であり、等価係数自体は調整が必要で、未来全体が一つの数に圧縮される。 |
| DDP 後萃取規則 [4][5]DDP then rule extraction [4][5]DDP からのルール抽出 [4][5] | 作者群自己的前作：先用確定性動態規劃求出該循環的最佳解，再從解裡萃取出可實作的規則。這套控制律在真實的混合動力卡車上表現良好 [5]。The authors’ own earlier work: use deterministic dynamic programming to find the optimal solution for a cycle, then extract implementable rules from it. The resulting control laws performed well in a real hybrid electric vehicle [5].著者らの先行研究。まず決定論的動的計画法で当該サイクルの最適解を求め、そこから実装可能なルールを抽出する。得られた制御則は実車のハイブリッドトラックで良好に機能した [5]。 | 兩個缺點，見下。Two drawbacks — see below.二つの欠点がある（下記）。 |
本論文要克服的就是這兩點。核心的翻轉只有一句話：不要再假設未來的功率需求是已知的路徑，而要假設它背後有一個馬可夫過程。一旦接受這個假設，問題就從「在一條給定循環上做確定性最佳化」變成「在一整族隨機行駛循環上，以平均意義做最佳化」。付出的代價是要先學一個機率模型；拿回來的好處是一個平穩的全狀態回授控制律，可以直接實作。This paper exists to remove both. The reframing is a single sentence: stop assuming the future power demand is a known path, and assume instead that there is an underlying Markov process generating it. Once you accept that, the problem changes from “deterministic optimization over one given cycle” into “optimization over a whole family of random driving cycles, in an average sense.” The price is that you must first learn a probabilistic model; the payoff is a stationary full-state feedback control law that can be directly implemented.本論文はこの二点を取り除くために存在する。発想の転換は一文で言える — 将来の要求出力を既知の経路と仮定するのをやめ、その背後にマルコフ過程があると仮定する。これを受け入れた瞬間、問題は「与えられた一つのサイクル上での決定論的最適化」から「ランダムな走行サイクルの族全体に対する平均的な意味での最適化」へと変わる。代償は確率モデルをまず学習しなければならないこと、見返りは定常な全状態フィードバック制御則がそのまま実装できることである。
類似的想法在汽車動力系統控制上並非首見 — 論文引用 Kolmanovsky 等人 [6] 作為先例 — 但把它完整套在混合動力車的能量管理上，並與真實的規則式控制器正面比較，是本文的貢獻。A similar approach to an automotive powertrain control problem can be found in Kolmanovsky et al. [6]; what this paper contributes is to carry it all the way through for hybrid power management and to put it head to head with a real rule-based controller.同様の発想は自動車パワートレイン制御において Kolmanovsky ら [6] に先例がある。本論文の貢献は、それをハイブリッド車のパワーマネジメントに対して最後まで実行し、実際のルールベース制御器と正面から比較した点にある。
實驗平台是一台由 Navistar 改裝的 International 4700 系列 4X2 Class VI 柴油卡車 [7]。混合動力版採並聯配置，電機裝在變速箱之後；原本的 V8 7.3 L 柴油引擎被縮小為 V6 5.5 L，再加上一具 49 kW 的電機。The test-bed is an International 4700 series 4X2 Class VI diesel truck modified by Navistar [7]. The hybrid version has a parallel configuration with the electric motor positioned after the transmission; the original V8 7.3 L diesel engine was downsized to a V6 5.5 L, and a 49 kW electric motor was added.試験車両は Navistar が改造した International 4700 シリーズ 4X2 クラス VI ディーゼルトラック [7] である。ハイブリッド版は並列構成をとり、電動機は変速機の後ろに置かれる。元の V8 7.3 L ディーゼルエンジンは V6 5.5 L へ小型化され、49 kW の電動機が追加された。
| 項目Item項目 | 規格Specification仕様 |
|---|---|
| DI 柴油引擎DI diesel engineDI ディーゼルエンジン | V6, 5.475 L, 157 HP / 2400 rpm |
| 直流電機DC motor直流電動機 | 49 kW |
| 鉛酸電池Lead-acid battery鉛蓄電池 | 18 Ah, 數量 25 顆number 25個数 25 |
| 自動變速箱Automatic transmission自動変速機 | 4 速，齒比 4 speed, GR 4 速、ギヤ比 3.45 / 2.24 / 1.41 / 1.0 |
| 車輛Vehicle車両 | 總質量 total mass 総質量 7504 kg |
這是整篇論文最實務的一個決定。動態規劃的計算量隨狀態數指數成長，所以狀態變數要留到最少。論文給出三條理由：This is the most pragmatic decision in the whole paper. The computation time of dynamic programming problems increases exponentially with the number of states, so a minimum set of state variables is kept. The paper gives three reasons:本論文で最も実務的な判断がこれである。動的計画法の計算時間は状態数に対して指数的に増加するため、状態変数は最小限に抑えられる。論文は三つの理由を挙げる。
$k$ 是時間索引，時間步長假設為 1 秒；$Q_b$ 是電池的最大電荷量；$i_b$ 是電池電流，由電池功率 $P_b$ 透過一個靜態等效電路模型算出。慣例上，正的 $P_b$ 代表放電，負的代表充電。$k$ is the time index and the time step is assumed to be one second; $Q_b$ is the maximum battery charge; $i_b$ is the battery current, calculated from the battery power $P_b$ by a static equivalent circuit model. By convention, positive $P_b$ indicates discharging and negative indicates charging.$k$ は時間インデックスで、時間刻みは 1 秒と仮定する。$Q_b$ は電池の最大充電量、$i_b$ は電池電流であり、電池出力 $P_b$ から静的な等価回路モデルによって計算される。慣例として$P_b$ が正なら放電、負なら充電である。
這是一個把兩條公式寫成一條的小把戲，在混合動力的文獻裡到處都是。損耗永遠站在「能量提供者」那一邊：This is the standard trick for writing two formulas as one, and it is everywhere in the hybrid literature. The loss always sits on the side of whoever is supplying the energy:これは二つの式を一つにまとめる常套手段で、ハイブリッドの文献では至るところに現れる。損失は常にエネルギーを供給する側につく。
兩種情況下 $|P_b|$ 的變化方向相反，但都讓車輛虧錢 — 這正是我們要的。一來一回的往返效率是 $\eta_m^2$。The two cases move $|P_b|$ in opposite directions, but both of them cost the vehicle — which is exactly right. The round-trip efficiency is $\eta_m^2$.二つの場合で $|P_b|$ の動く向きは逆だが、どちらも車両にとって損になる — まさにそうあるべきである。往復効率は $\eta_m^2$ となる。
引擎動態基於準靜態假設 [8] 被忽略。燃油消耗率 $W_{fuel}(\omega_e,\tau_e)$、引擎出口 NOx 排放 $W_{NOx}(\omega_e,\tau_e)$ 與 PM 排放 $W_{PM}(\omega_e,\tau_e)$ 都被當成引擎轉速與轉矩的靜態函數（查表）。引擎假設已充分暖車，不考慮引擎溫度的影響。傳動鏈元件夠快，一律用靜態模型：扭力轉換器的輸出轉速 $\omega_r(\omega_e,\tau_e)$ 與輸出轉矩 $\tau_r(\omega_e,\tau_e)$ 都是非線性查表。Engine dynamics are ignored on the basis of the quasi-static assumption [8]. The fuel consumption rate $W_{fuel}(\omega_e,\tau_e)$, the engine-out NOx emission $W_{NOx}(\omega_e,\tau_e)$ and the PM emission $W_{PM}(\omega_e,\tau_e)$ are all assumed to be static functions (maps) of engine speed and engine torque. The engine is assumed fully warmed up and the effect of engine temperature is not considered. The driveline components are fast and are therefore represented by static models: nonlinear maps give the torque converter output speed $\omega_r(\omega_e,\tau_e)$ and output torque $\tau_r(\omega_e,\tau_e)$.エンジンの動特性は準静的仮定 [8] に基づいて無視される。燃料消費率 $W_{fuel}(\omega_e,\tau_e)$、エンジンアウト NOx 排出 $W_{NOx}(\omega_e,\tau_e)$、PM 排出 $W_{PM}(\omega_e,\tau_e)$ はいずれもエンジン回転数とトルクの静的関数（マップ）とする。エンジンは十分に暖機されているものとし、温度の影響は考慮しない。駆動系要素は応答が速いため静的モデルで表現され、トルクコンバータの出力回転数 $\omega_r(\omega_e,\tau_e)$ と出力トルク $\tau_r(\omega_e,\tau_e)$ は非線形マップで与えられる。
$R_x$ 是變速箱齒比，$\eta_x(g_x)$ 是隨檔位 $g_x$ 變化的齒輪效率，$\tau_{x,l}(\omega_r,g_x)$ 是摩擦與攪油造成的轉矩損失。論文特別提醒：傳動的無效率是藉由「減少轉矩放大倍率」來建模的，而速度減速比維持不變（亦即 $\omega_x = \omega_r/R_x$）。這點很容易被忽略，但它有物理意義：齒輪不會「吃掉轉速」，齒比是幾何決定的硬約束；能被損耗吃掉的只有力。檔位由 [4] 中產生的換檔邏輯 $g_x(\tau_e,\omega_e)$ 決定。$R_x$ is the transmission gear ratio, $\eta_x(g_x)$ is the gear efficiency which varies with the gear position $g_x$, and $\tau_{x,l}(\omega_r,g_x)$ is the torque loss due to friction and churning. The paper flags this explicitly: the transmission inefficiency is modelled by reducing the torque multiplication while keeping the speed reduction the same (that is, $\omega_x = \omega_r/R_x$). It is easy to skip past, but it is physically right: gears do not “eat speed” — the ratio is a hard geometric constraint. Only force can be lost. The gear position is determined by the shift logic $g_x(\tau_e,\omega_e)$ generated in [4].$R_x$ は変速機のギヤ比、$\eta_x(g_x)$ はギヤ位置 $g_x$ によって変わるギヤ効率、$\tau_{x,l}(\omega_r,g_x)$ は摩擦と攪拌による損失トルクである。論文は明示的に注意を促している — 変速機の非効率はトルク増幅を減らすことでモデル化し、速度減速比は変えない（すなわち $\omega_x = \omega_r/R_x$）。読み飛ばしやすいが物理的に正しい。歯車は「回転数を食う」ことはなく、比は幾何学的な硬い拘束である。失われうるのは力だけだ。ギヤ位置は [4] で生成された変速ロジック $g_x(\tau_e,\omega_e)$ によって決まる。
引擎與電機的轉矩是在變速箱之後，由一個齒比 $R_c$、效率 $\eta_c$ 的轉矩耦合裝置相加；最後經過終傳（齒比 $R_d$、效率 $\eta_d$、損失 $\tau_{d,l}(\omega_x)$）得到推進轉矩 $\tau_d$。車輛以質點建模，輪速由下面的狀態方程算出。The torques from the engine and the motor are summed after the transmission by a torque coupling device with gear reduction ratio $R_c$ and efficiency $\eta_c$; the final propulsion torque after the differential (ratio $R_d$, efficiency $\eta_d$, loss $\tau_{d,l}(\omega_x)$) is $\tau_d$. The vehicle is modelled as a point mass and the wheel speed comes from the state equation below.エンジンと電動機のトルクは変速機の後で、減速比 $R_c$・効率 $\eta_c$ のトルク結合装置によって加算される。差動装置（比 $R_d$、効率 $\eta_d$、損失 $\tau_{d,l}(\omega_x)$）を経た最終推進トルクが $\tau_d$ である。車両は質点としてモデル化され、車輪回転数は以下の状態方程式から求める。
其中 $\tau_{wh,k} = \tau_d - \tau_{fb}$ 是淨輪端轉矩（$\tau_{fb}$ 為摩擦煞車轉矩），$r_d$ 是動態輪胎半徑，$B_{wh}$ 是黏性阻尼，$F_r$ 與 $F_a$ 分別是滾動阻力與空氣阻力，$M_e = M_v + J_r/r_d^{\,2}$ 是車輛的等效質量，$J_r$ 是車上旋轉元件的等效轉動慣量。注意這是一條步長 1 秒的前向歐拉離散式 — 與式 (1) 的節拍完全一致。Here $\tau_{wh,k} = \tau_d - \tau_{fb}$ is the net wheel torque ($\tau_{fb}$ is the friction braking torque), $r_d$ is the dynamic tire radius, $B_{wh}$ the viscous damping, $F_r$ and $F_a$ the rolling resistance and aerodynamic drag forces, $M_e = M_v + J_r/r_d^{\,2}$ the effective mass of the vehicle and $J_r$ the equivalent moment of inertia of the rotating components. Note this is a forward-Euler discretization at a one-second step — exactly the same beat as Eq. (1).ここで $\tau_{wh,k} = \tau_d - \tau_{fb}$ は正味の車輪トルク（$\tau_{fb}$ は摩擦制動トルク）、$r_d$ は動的タイヤ半径、$B_{wh}$ は粘性減衰、$F_r$ と $F_a$ は転がり抵抗力と空気抵抗力、$M_e = M_v + J_r/r_d^{\,2}$ は車両の等価質量、$J_r$ は回転部品の等価慣性モーメントである。これは刻み幅 1 秒の前進オイラー離散化であり、式 (1) と拍子が完全に一致している。
功率需求是能量管理控制器的輸入。駕駛者的油門與煞車踏板命令被詮釋成「動力系統必須滿足的功率需求」。有別於把功率需求當成先驗資訊的做法（例如一條已知的、要去追隨的功率需求路徑），本論文提出把駕駛者的需求建模成一個離散時間隨機動態過程。The power demand is an input to the power management controller. The driver’s throttle and brake pedal commands are interpreted as a power demand to be satisfied by the powertrain. Unlike other work that treats the power demand as a-priori information (e.g. a known power demand path to follow along a given driving cycle), this paper proposes to model the driver’s demand as a discrete-time stochastic dynamic process.要求出力はパワーマネジメント制御器への入力である。運転者のアクセルおよびブレーキペダル操作は、パワートレインが満たすべき要求出力として解釈される。要求出力を事前情報として扱う従来研究とは異なり（たとえば与えられた走行サイクルに沿った既知の要求出力経路を追従する）、本論文は運転者の要求を離散時間確率動的過程としてモデル化する。
確定性 DP 問你：「這條路我已經知道了，最佳怎麼開？」隨機 DP 問你：「我不知道接下來會怎樣，但我知道接下來會怎樣的機率分布，那麼現在該怎麼做？」第一個問題的答案是一條軌跡，第二個問題的答案是一張映射。只有後者能裝進 ECU。Deterministic DP asks: “I already know this road — how do I drive it optimally?” Stochastic DP asks: “I do not know what comes next, but I know the probability distribution of what comes next — so what do I do now?” The answer to the first question is a trajectory; the answer to the second is a map. Only the second one fits in an ECU.決定論的 DP はこう問う — 「この道はすでに分かっている。どう走れば最適か」。確率的 DP はこう問う — 「次に何が来るかは分からない。しかし次に何が来るかの確率分布は分かっている。ではいまどうするか」。前者の答えは軌道であり、後者の答えは写像である。ECU に収まるのは後者だけである。
用一條平穩馬可夫鏈產生駕駛者的功率需求 $P_{dem}$，並假設它只取有限多個值；車速（直接對應車輪轉速）同樣被離散化。A stationary Markov chain is used to generate the power demand from the driver, $P_{dem}$, which is assumed to take on a finite number of values; the wheel speed (directly related to the vehicle speed) is also discretized into a finite number of values.運転者の要求出力 $P_{dem}$ は定常マルコフ連鎖によって生成され、有限個の値のみをとると仮定される。車輪回転数（車速に直結する）も同様に有限個の値へ離散化される。
$p_{il,j}$ 就是「在時刻 $k$ 需求為 $P_{dem}^{\,i}$、輪速為 $\omega_{wh}^{\,l}$ 的條件下，時刻 $k+1$ 的需求變成 $P_{dem}^{\,j}$」的一步轉移機率。注意 $P_{dem}$ 的「動態」式 (5) 看起來空洞 — 下一刻的需求就等於雜訊 $w_k$ — 全部的結構都藏在 $w_k$ 的條件分布裡。$p_{il,j}$ is the one-step transition probability that the system is in $P_{dem}^{\,j}$ at time $k+1$ given that it is in $P_{dem}^{\,i}$ and $\omega_{wh}^{\,l}$ at time $k$. Note how empty the “dynamics” of Eq. (5) look — next demand simply equals the noise $w_k$. All of the structure lives in the conditional distribution of $w_k$.$p_{il,j}$ は、時刻 $k$ に要求が $P_{dem}^{\,i}$、車輪回転数が $\omega_{wh}^{\,l}$ であるという条件の下で、時刻 $k+1$ に要求が $P_{dem}^{\,j}$ となる一段遷移確率である。式 (5) の「動特性」が空疎に見える点に注意 — 次の要求はそのまま雑音 $w_k$ に等しい。構造はすべて $w_k$ の条件付き分布の中にある。
嚴格來說，狀態對 $(P_{dem},\omega_{wh})$ 應該要一條二維的馬可夫鏈 $p_{il,jm}$（$m = 1,\ldots,N_\omega$）。論文明確指出：$p_{il,j}$ 是從那條二維鏈簡化而來的，理由是 — $\omega_{wh}$ 的轉移是一個確定性過程。輪速的下一步由式 (2) 給定，一旦功率需求決定了，輪速就沒有自由度可言，用不著機率。這一招直接把要估的參數從 $N_p^2 N_\omega^2$ 砍到 $N_p^2 N_\omega$。Strictly, the state pair $(P_{dem},\omega_{wh})$ would need a two-dimensional Markov chain $p_{il,jm}$ with $m = 1,\ldots,N_\omega$. The paper states plainly that $p_{il,j}$ is simplified from that two-dimensional chain, and gives the reason: the transition of $\omega_{wh}$ is a deterministic process. The next wheel speed is handed to you by Eq. (2); once the power demand is decided, the wheel speed has no freedom left, so no probability is needed for it. That one observation cuts the parameters to be estimated from $N_p^2 N_\omega^2$ down to $N_p^2 N_\omega$.厳密には状態対 $(P_{dem},\omega_{wh})$ には二次元マルコフ連鎖 $p_{il,jm}$（$m = 1,\ldots,N_\omega$）が必要となる。論文は $p_{il,j}$ がその二次元連鎖から簡略化されたものであると明記し、理由を挙げる — $\omega_{wh}$ の遷移は決定論的な過程である。次の車輪回転数は式 (2) が与える。要求出力が決まれば車輪回転数に自由度は残らず、確率を割り当てる必要がない。この一点で推定すべきパラメータ数は $N_p^2 N_\omega^2$ から $N_p^2 N_\omega$ に減る。
「指定行駛循環的特性，等價於指定轉移機率。」（It follows that specifying driving-cycle characteristics is equivalent to specifying the transition probabilities $p_{il,j}$.）這句話把「行駛循環」這個工程上很具體的東西，和「隨機矩陣」這個數學物件畫上等號。你不再需要挑一條代表性的循環；你需要的是一組代表性的統計量。“It follows that specifying driving-cycle characteristics is equivalent to specifying the transition probabilities $p_{il,j}$.” That sentence puts an equals sign between a very concrete engineering object (a driving cycle) and a mathematical one (a stochastic matrix). You no longer need to pick a representative cycle; you need a representative set of statistics.「走行サイクルの特性を指定することは、遷移確率 $p_{il,j}$ を指定することと等価である」。この一文は、走行サイクルという極めて具体的な工学的対象と、確率行列という数学的対象との間に等号を置く。もはや代表的なサイクルを一つ選ぶ必要はない。必要なのは代表的な統計量の組である。
決定 $p_{il,j}$ 最自然的辦法，是從觀測到的樣本路徑去估 — 過去的行車紀錄，或是標準行駛循環。本研究用的是標準循環：挑選數條代表混合市區、郊區與高速公路的標準循環，由速度曲線透過車輛模型算出 $P_{dem}$ 與 $\omega_{wh}$，再用最近鄰量化把觀測序列映射到量化狀態序列 $(P_{dem}^{\,i},\omega_{wh}^{\,l})$，最後用最大概似估計器數次數。The natural way to determine the transition probabilities is to estimate them from observed sample paths — past driving records, or standard driving cycles. Standard cycles were used in this study: several were selected to represent mixed city, suburban and highway driving; from the speed profile, $P_{dem}$ and $\omega_{wh}$ were computed by the vehicle model; using nearest-neighbour quantization, the sequence of observations was mapped into a sequence of quantized states $(P_{dem}^{\,i},\omega_{wh}^{\,l})$; and the transition probability was then estimated by the maximum likelihood estimator, which counts the observation data.遷移確率を決める自然な方法は、観測された標本経路から推定することである — 過去の走行記録、あるいは標準走行サイクル。本研究では標準サイクルを用いた。市街地・郊外・高速の混合走行を代表するサイクルを複数選び、速度プロファイルから車両モデルによって $P_{dem}$ と $\omega_{wh}$ を計算し、最近傍量子化によって観測列を量子化状態列 $(P_{dem}^{\,i},\omega_{wh}^{\,l})$ へ写像し、最後に観測データを数え上げる最尤推定量で遷移確率を推定した。
$m_{il,j}$ 是「在輪速狀態 $\omega_{wh}^{\,l}$ 下，從 $P_{dem}^{\,i}$ 轉移到 $P_{dem}^{\,j}$ 」發生的次數；$m_{il}$ 是 $P_{dem}^{\,i}$ 在 $\omega_{wh}^{\,l}$ 下出現的總次數。但訓練集可能不夠豐富、涵蓋不了整個狀態空間：對某些 $(i,l)$ 會出現 $m_{il} = 0$，式 (7) 直接除零。因此論文對估計出來的參數套用了一個平滑化技術（引用自語音辨識領域的 Dai [9]）。$m_{il,j}$ is the number of times the transition from $P_{dem}^{\,i}$ to $P_{dem}^{\,j}$ occurred given that the wheel speed state was $\omega_{wh}^{\,l}$; $m_{il}$ is the total number of times $P_{dem}^{\,i}$ occurred at $\omega_{wh}^{\,l}$. But a training set may not be rich enough to cover the whole state space: for some $(i,l)$, $m_{il}$ may be zero and Eq. (7) divides by zero. A smoothing technique was therefore applied to the estimated parameters (cited from the speech recognition literature, Dai [9]).$m_{il,j}$ は、車輪回転数状態が $\omega_{wh}^{\,l}$ であるときに $P_{dem}^{\,i}$ から $P_{dem}^{\,j}$ への遷移が起きた回数、$m_{il}$ は $\omega_{wh}^{\,l}$ において $P_{dem}^{\,i}$ が出現した総回数である。しかし学習集合が状態空間全体を覆うほど豊富でない場合がある。ある $(i,l)$ では $m_{il}$ がゼロとなり、式 (7) はゼロ除算になる。そこで推定パラメータには平滑化手法が適用された（音声認識分野の Dai [9] から引用）。
馬可夫模型建好之後，就得到一個如下圖的隨機混合動力車模型（論文圖 2）。模型有三個狀態變數：SOC、車輪轉速、駕駛功率需求。馬可夫駕駛模型用來決定未來功率需求的機率分布，並產生一串合成的功率需求 — 換句話說，一條隨機行駛循環。能量管理控制器就是在這個隨機模型的基礎上被最佳化的。After the Markov model is built, one obtains the stochastic hybrid vehicle model drawn below (the paper’s Fig. 2). The model includes three state variables: SOC, wheel speed and driver power demand. The Markov driver model is used to determine the probability distribution of future power demands and to generate a sequence of synthetic power demands — in other words, a random driving cycle. The power management controller is the thing that gets optimized on the basis of this stochastic model.マルコフモデルを構築すると、下図のような確率的ハイブリッド車モデル（論文の図 2）が得られる。モデルは三つの状態変数 — SOC、車輪回転数、運転者要求出力 — を含む。マルコフ運転者モデルは将来の要求出力の確率分布を定め、合成された要求出力列、すなわちランダム走行サイクルを生成する。パワーマネジメント制御器はこの確率モデルの上で最適化される。
本節要決定兩個能源（引擎與電機）之間功率分流的最佳策略，使燃油消耗與排放最小化，同時滿足車輛可駕駛性與維持電池 SOC 的要求。This section determines an optimal policy for the power split between the two power sources (engine and motor) so that fuel consumption and emissions are minimized, while vehicle drivability and the desire to maintain battery SOC are satisfied.本節では、燃料消費と排出を最小化しつつ、車両の運転性と電池 SOC の維持という要求を満たすように、二つの動力源（エンジンと電動機）間の動力分配の最適方策を決定する。
論文給的理由有兩層。第一，系統動態與成本都是時不變的，而且沒有定義終端時刻或終端約束 — 車子不知道自己什麼時候要熄火，也沒人規定熄火時 SOC 必須等於多少。第二，也是真正的好處：無限期域問題產生的控制策略是時間不變的，因此容易實作。有限期域問題會給你 $\pi_0,\pi_1,\ldots,\pi_{N-1}$ 一整串隨時間變化的策略；無限期域只給你一個 $\pi$。The paper gives two layers of reason. First, the system dynamics and the cost are time-invariant and there is no final time or terminal constraint defined — the car does not know when it will be switched off, and nobody has decreed what SOC must equal at key-off. Second, and this is the real payoff: a key benefit of the infinite horizon problem is that the generated control policy is time-invariant and thus can be easily implemented. A finite-horizon problem hands you a whole sequence $\pi_0,\pi_1,\ldots,\pi_{N-1}$ of time-varying policies; the infinite-horizon problem hands you a single $\pi$.論文は二段階の理由を挙げる。第一に、システムの動特性もコストも時不変であり、終端時刻も終端拘束も定義されていない — 車はいつ停止されるか知らず、キーオフ時の SOC がいくらであるべきかも誰も定めていない。第二に、そしてこれが本当の見返りだが、無限期間問題の鍵となる利点は、生成される制御方策が時不変であり、したがって容易に実装できることである。有限期間問題は $\pi_0,\pi_1,\ldots,\pi_{N-1}$ という時変方策の列を渡してくるが、無限期間問題はただ一つの $\pi$ を渡してくる。
目標是找一個最佳控制策略 $u = \pi(x)$，把觀測到的狀態映射到控制決策，使無限期域的期望總成本最小。$g$ 是瞬時成本，$\gamma$ 是折扣因子，$J_\pi(x_0)$ 是系統從狀態 $x_0$ 出發、此後都遵循策略 $\pi$ 所產生的期望成本。The objective is to find an optimal control policy $u = \pi(x)$ that maps observed states to control decisions so as to minimize the expected total cost over an infinite horizon. Here $g$ is the instantaneous cost incurred, $\gamma$ is the discount factor, and $J_\pi(x_0)$ indicates the resulting expected cost when the system starts at state $x_0$ and follows the policy $\pi$ thereafter.目的は、観測された状態を制御決定へ写す最適制御方策 $u = \pi(x)$ を見つけ、無限期間にわたる期待総コストを最小化することである。$g$ は瞬時コスト、$\gamma$ は割引率、$J_\pi(x_0)$ は系が状態 $x_0$ から出発し以後方策 $\pi$ に従ったときの期待コストを表す。
對這台混合動力車，控制訊號是引擎功率 $P_e$。一旦加上可駕駛性的要求 — 駕駛者要多少功率就得給多少 — 電機功率 $P_m$ 就不再是自由變數，而是由每一時刻都必須成立的功率平衡式 (9) 決定的相依變數。這一步把控制維度從二維壓成一維，對 DP 的計算量是決定性的。For this hybrid vehicle control problem, the control signal is the engine power $P_e$. Once a drivability requirement is imposed — give the driver the power they asked for — the motor power $P_m$ stops being a free variable and becomes a dependent one, fixed by the power balance requirement Eq. (9) imposed at each time step. That single step collapses the control dimension from two to one, which matters enormously for DP cost.このハイブリッド車の制御問題では制御入力はエンジン出力 $P_e$ である。運転性の要求 — 運転者が求めた出力を与える — を課した瞬間、電動機出力 $P_m$ は自由変数ではなくなり、各時刻で課される出力収支式 (9) によって定まる従属変数となる。この一手で制御の次元が二から一へ潰れ、DP の計算量に決定的に効く。
「電量維持」本來是一條積分約束（整趟跑完，SOC 不准下降）。這種約束在無限期域問題裡根本沒地方放 — 沒有「整趟跑完」這回事。論文的處理是：把電量維持的積分約束搬進成本函數，使得 SOC 的耗損也一併被最小化。為了滿足電量維持的要求，加權因子 $\alpha$ 被選來確保 SOC 運轉在一個可允許的區域內。$\mu$ 與 $\nu$ 則是 NOx 與 PM 兩項排放的加權因子，它們把「公克的氮氧化物」換算成「公克的燃油」。Charge sustenance is naturally an integral constraint (over the whole trip, SOC must not fall). There is nowhere to put such a constraint in an infinite-horizon problem — there is no “whole trip.” The paper’s move: the integral constraint on charge sustenance is moved into the cost function so that the SOC depletion can also be minimized. To satisfy the charge-sustaining constraint, the weighting factor $\alpha$ is chosen to ensure the SOC is operated in an allowable region. $\mu$ and $\nu$ are the weighting factors on the NOx and PM emissions; they convert “grams of NOx” into “grams of fuel.”電量維持は本来積分拘束（走行全体を通じて SOC を下げない）である。無限期間問題にはそのような拘束を置く場所がない — 「走行全体」が存在しないからだ。論文の処方はこうである — 電量維持の積分拘束をコスト関数へ移し、SOC の減少もあわせて最小化されるようにする。電量維持の拘束を満たすため、重み係数 $\alpha$ は SOC が許容領域内で運転されるように選ばれる。$\mu$ と $\nu$ は NOx と PM の排出に対する重み係数で、「NOx のグラム」を「燃料のグラム」に換算する。
注意電機的轉矩上下限同時取決於轉速與 SOC — 電池快沒電時電機就推不動了，這是物理，不是罰則。最佳化同時受到第 2 節描述的等式約束（系統方程）所規範。Note that the motor torque limits depend on both speed and SOC — a nearly empty battery cannot push, and that is physics, not a penalty. The optimization is also subject to the equality constraints (the system equations) described in Section 2.電動機のトルク上下限が回転数と SOC の双方に依存する点に注意 — 残量の乏しい電池は力を出せない。これは罰則ではなく物理である。最適化は第 2 節で述べた等式拘束（系の方程式）にも従う。
狀態向量 $x = (SOC,\ \omega_{wh},\ P_{dem})$ 構成一個三維狀態空間：$SOC$ 與 $\omega_{wh}$ 原本連續，$P_{dem}$ 依式 (3) 取有限值。把 $SOC$ 離散成 $\{SOC^1,\ldots,SOC^{N_s}\}$、輪速依式 (4) 離散，整個狀態空間就由有限格點 $\{x^i,\ i = 1,2,\ldots,N_s N_\omega N_p\}$ 表示。控制變數 $u = P_e$ 同樣離散成 $\{P_e^1,\ldots,P_e^{N_u}\}$。The state vector $x = (SOC,\ \omega_{wh},\ P_{dem})$ forms a three-dimensional state space, where $SOC$ and $\omega_{wh}$ originally take on continuous values and $P_{dem}$ has finite values as in Eq. (3). Discretizing $SOC$ as $\{SOC^1,\ldots,SOC^{N_s}\}$ and the wheel speed as in Eq. (4), the total state space is represented by the finite grids $\{x^i,\ i = 1,2,\ldots,N_s N_\omega N_p\}$. The control variable $u = P_e$ is also discretized into $\{P_e^1,\ldots,P_e^{N_u}\}$.状態ベクトル $x = (SOC,\ \omega_{wh},\ P_{dem})$ は三次元の状態空間をなす。$SOC$ と $\omega_{wh}$ は本来連続値をとり、$P_{dem}$ は式 (3) のとおり有限値をとる。$SOC$ を $\{SOC^1,\ldots,SOC^{N_s}\}$ に、車輪回転数を式 (4) のように離散化すると、状態空間全体は有限格子 $\{x^i,\ i = 1,2,\ldots,N_s N_\omega N_p\}$ で表される。制御変数 $u = P_e$ も $\{P_e^1,\ldots,P_e^{N_u}\}$ に離散化される。
基於 Bellman 最佳性方程，SDP 問題用策略疊代演算法求解：交替進行策略評估與策略改善，直到最佳成本函數收斂。Based on Bellman’s optimality equation, the SDP problem is solved by a policy iteration algorithm: a policy evaluation step and a policy improvement step alternate in an iterative manner until the optimal cost function converges.ベルマン最適性方程式に基づき、SDP 問題は方策反復アルゴリズムで解かれる。方策評価と方策改善の二段階を、最適コスト関数が収束するまで交互に繰り返す。
式 (13) 中 $s$ 是疊代次數，$x'$ 是新狀態，由式 (1)、(2)、(5) 共同給出。式 (14) 中 $J_\pi$ 是策略評估步驟得到的近似成本函數，每一次最小化都要遵守式 (12) 的約束。得到新策略後回到策略評估，用新策略更新成本函數，如此反覆，直到 $J_\pi$ 收斂到選定的容忍度內。In Eq. (13), $s$ is the iteration number and $x'$ is the new state, given jointly by Eqs. (1), (2) and (5). In Eq. (14), $J_\pi$ is the approximate cost function obtained from the policy evaluation step, and each of the minimizations is performed subject to the constraints in Eq. (12). After the new policy is obtained, one goes back to the policy evaluation step to update the cost function using the new policy; the iterative process repeats until $J_\pi$ converges within a selected tolerance level.式 (13) の $s$ は反復回数、$x'$ は新しい状態で、式 (1)、(2)、(5) によって与えられる。式 (14) の $J_\pi$ は方策評価の段階で得られた近似コスト関数であり、各最小化は式 (12) の拘束の下で行われる。新しい方策が得られたら方策評価に戻り、その方策でコスト関数を更新する。この反復を $J_\pi$ が選定した許容値以内に収束するまで繰り返す。
$\mu = 40$ 與 $\nu = 800$ 是根據前作 [4] 中所做的取捨分析選定的；折扣因子取 $\gamma = 0.95$，$\alpha$ 取 600。策略疊代程序在兩次相鄰成本函數之差的最大絕對值小於 0.01 時終止。The weighting factors $\mu = 40$ and $\nu = 800$ are selected based on the tradeoff analysis conducted in [4]; the discount factor is $\gamma = 0.95$ and $\alpha$ is chosen as 600. The policy iteration procedure is terminated when the maximum absolute value of the difference of two successive cost functions is less than 0.01.重み係数 $\mu = 40$ と $\nu = 800$ は先行研究 [4] で行われたトレードオフ解析に基づいて選定された。割引率は $\gamma = 0.95$、$\alpha$ は 600 とされた。方策反復の手続きは連続する二つのコスト関数の差の絶対値の最大が 0.01 未満になった時点で終了する。
得到的策略形式是一張查表 $\pi^*(SOC,\ \omega_{wh},\ P_{dem})$ — 最佳引擎功率 $P_e^*$ 是 SOC、輪速、駕駛功率需求的函數。想要的電機功率接著由 $P_m^* = P_{dem} - P_e^*$ 算出。為了把控制策略看得更清楚，$P_e^*$ 被轉換成最佳功率分流比：The resulting policy takes the form of a look-up table, $\pi^*(SOC,\ \omega_{wh},\ P_{dem})$: the optimal engine power $P_e^*$ is a function of SOC, wheel speed and driver power demand. The desired motor power is then calculated from $P_m^* = P_{dem} - P_e^*$. To illustrate the control policy more clearly, $P_e^*$ is transformed into an optimal power-split ratio:得られる方策はルックアップテーブル $\pi^*(SOC,\ \omega_{wh},\ P_{dem})$ の形をとる。最適エンジン出力 $P_e^*$ は SOC、車輪回転数、運転者要求出力の関数である。所望の電動機出力はそこから $P_m^* = P_{dem} - P_e^*$ として求まる。制御方策をより明確に示すため、$P_e^*$ は最適な動力分配比へ変換される。
論文特別指出：$\mathrm{PSR}$ 隨 SOC 下降而增加，以確保電量維持。這就是式 (10)、(11) 那個 $\alpha(SOC - SOC_{ref})^2$ 罰則在策略上的長相 — 它沒有變成一條「if SOC < 0.5 then 充電」的硬規則，而是變成整張查表上一個連續、平滑的偏壓。SOC 愈低，最佳化就愈願意為了充電而多燒一點油。這是「把積分約束搬進成本函數」這一步最漂亮的回報。The paper flags it explicitly: PSR increases as SOC decreases, in order to ensure charge sustenance. This is what the $\alpha(SOC - SOC_{ref})^2$ penalty of Eqs. (10) and (11) looks like once it has been turned into a policy — not a hard rule saying “if SOC < 0.5 then charge,” but a continuous, smooth bias across the whole table. The lower the SOC, the more fuel the optimizer is willing to burn in order to put charge back. That is the prettiest dividend of moving the integral constraint into the cost function.論文は明示的に指摘する — 電量維持を確保するため、SOC が下がるにつれて PSR は増加する。これは式 (10)、(11) の罰則 $\alpha(SOC - SOC_{ref})^2$ が方策になったときの姿である。「SOC < 0.5 なら充電せよ」という硬いルールではなく、表全体にわたる連続的で滑らかなバイアスとなる。SOC が低いほど、最適化は充電のためにより多くの燃料を燃やすことを厭わなくなる。積分拘束をコスト関数へ移したことの、最も美しい配当である。
拿到最佳策略後，第一件事是用圖 4 那個簡化模型跑隨機循環模擬。馬可夫模型可以產生一條隨機的功率需求軌跡：在時刻 $k$，把當前的 $(P_{dem},\omega_{wh})$ 內插到最近的格點 $(P_{dem}^{\,i},\omega_{wh}^{\,l})$，取出下一步功率需求的機率 $\Pr\{P_{dem}^{\,j}\}$，再用一個均勻亂數產生器決定 $k+1$ 的功率需求。離散時間模擬更新系統動態，並在每個取樣時刻依 SDP 策略產生控制。因為功率需求是隨機的，車速也跟著變成隨機，可以模擬出各式各樣的駕駛情境。With the optimal policy in hand, the first step is a random cycle simulation using the simplified model of Fig. 4. A random power demand trajectory can be generated by the Markov model: at time $k$, the current $(P_{dem},\omega_{wh})$ is interpolated to the nearest grid point $(P_{dem}^{\,i},\omega_{wh}^{\,l})$, the corresponding probability of the next power demand $\Pr\{P_{dem}^{\,j}\}$ is obtained, and a uniform random number generator then determines the power demand at $k+1$. The discrete-time simulation updates the system dynamics and generates the control based on the SDP policy at every sampling time. Since the power demand is stochastic, the wheel speed (vehicle speed) also becomes stochastic and can emulate diverse driving scenarios.最適方策が得られたら、まず図 4 の簡略モデルを用いたランダムサイクル模擬を行う。マルコフモデルはランダムな要求出力軌道を生成できる。時刻 $k$ において現在の $(P_{dem},\omega_{wh})$ を最近傍の格子点 $(P_{dem}^{\,i},\omega_{wh}^{\,l})$ へ補間し、次の要求出力の確率 $\Pr\{P_{dem}^{\,j}\}$ を取り出し、一様乱数生成器で $k+1$ の要求出力を決める。離散時間模擬は系の動特性を更新し、各サンプリング時刻に SDP 方策に基づく制御を生成する。要求出力が確率的であるため車輪回転数（車速）も確率的となり、多様な走行シナリオを再現できる。
模擬時間 1500 秒，初始條件 $SOC_0 = 0.55$、$\omega_{wh,0} = 0$、$P_{dem,0} = 0$。結果是：馬可夫鏈產生的功率需求，就車速型態而言呈現出混合的高速公路／郊區／市區樣貌。這證明了馬可夫隨機建模能產生貌似真實行車條件的多樣行駛循環。於是那句關鍵的結論成立：我們的控制策略是在所有可能的隨機循環上、以平均意義被最佳化的。（從圖上也可以看到 SOC 在 0.4 到 0.6 之間遊走而沒有單調下滑 — 電量維持成立。）The simulation time is 1500 seconds and the initial conditions are $SOC_0 = 0.55$, $\omega_{wh,0} = 0$ and $P_{dem,0} = 0$. The finding: the simulated power demands from the Markov chain lead to mixed highway, suburban and urban driving patterns in terms of wheel speed. This demonstrates that the Markov stochastic modelling can generate diverse driving cycles which resemble real driving conditions. Hence the key conclusion: the control policy is optimized over all the possible random cycles in an average sense. (The SOC trace also wanders between roughly 0.4 and 0.6 without sliding monotonically downhill — charge sustenance holds.)模擬時間は 1500 秒、初期条件は $SOC_0 = 0.55$、$\omega_{wh,0} = 0$、$P_{dem,0} = 0$。結果として、マルコフ連鎖が生む要求出力は車速の形態において高速・郊外・市街地の混合パターンを示す。これはマルコフ確率モデル化が実際の走行条件に似た多様な走行サイクルを生成しうることを示している。よって鍵となる結論が成り立つ — 制御方策はあらゆる可能なランダムサイクルに対して平均的な意味で最適化されている。（SOC の軌跡もおよそ 0.4 から 0.6 の間を漂い、単調に下り続けることはない — 電量維持が成立している。）
但車輛在官方評鑑時是跑預先指定的循環的。為了展示這套控制設計方法的有效性，接著做連續時間的標準行駛循環模擬：把 SDP 導出的控制策略整合進原本那個詳細的 HEV 模型 [7]，在 SIMULINK 環境裡跑（論文圖 7）。這裡不再用馬可夫駕駛，而是改用一個 PI（比例–積分）控制器取代駕駛，用來確保指定的速度曲線被追隨。駕駛模型輸出油門與煞車踏板訊號，這些訊號隨後被詮釋成能量管理控制器的功率需求。這套模擬設定讓我們能在貼近真實的行車條件下研究控制演算法的性能。But when a vehicle is officially evaluated, it is driven over pre-determined cycles. To illustrate the effectiveness of the proposed control design approach, a continuous-time standard driving cycle simulation is performed: the control policy derived from SDP is integrated into the original, detailed HEV model [7] in the SIMULINK environment (the paper’s Fig. 7). Here, instead of using a Markov driver, a PI (proportional-integral) controller replaces the driver and is used to ensure the specified velocity profile is followed. The driver model outputs the acceleration pedal and braking pedal signals, which are subsequently interpreted as a power demand for the power management controller. This simulation set-up allows the performance of the control algorithms to be studied under realistic driving conditions.しかし車両が公式に評価されるときはあらかじめ定められたサイクルを走る。提案する制御設計手法の有効性を示すため、続いて連続時間の標準走行サイクル模擬を行う。SDP から導かれた制御方策を、元の詳細な HEV モデル [7] に統合し、SIMULINK 環境で動かす（論文の図 7）。ここではマルコフ運転者ではなく PI（比例積分）制御器が運転者を置き換え、指定された速度プロファイルを追従させる。運転者モデルはアクセルおよびブレーキペダル信号を出力し、それらが続いてパワーマネジメント制御器への要求出力として解釈される。この構成により、現実的な走行条件の下で制御アルゴリズムの性能を検討できる。
表 2 的每一格都是一個加權成本，單位是 $\text{fuel} + 40\cdot\text{NOx} + 800\cdot\text{PM}$ 的公克／英里。這不是油耗 mpg，數字愈小愈好。如果你剛讀完本站另一份《功率分流式油電混合車》指南裡那張 mpg 長條圖，請在心裡把方向反過來 — 那張圖愈高愈好，這張圖愈矮愈好。加權係數 40 與 800 正是式 (10) 裡的 $\mu$ 與 $\nu$，所以這張表量的，就是 SDP 自己被要求去最小化的那個東西。Every cell in Table 2 is a weighted cost in grams per mile of $\text{fuel} + 40\cdot\text{NOx} + 800\cdot\text{PM}$. This is not mpg; smaller is better. If you have just come from the mpg bar chart in this site’s Power-Split Hybrid Vehicle guide, flip the direction in your head — there, taller was better; here, shorter is better. The weights 40 and 800 are exactly the $\mu$ and $\nu$ of Eq. (10), so this table measures precisely the quantity SDP was asked to minimize.表 2 の各セルは $\text{fuel} + 40\cdot\text{NOx} + 800\cdot\text{PM}$ のグラム毎マイルで表された重み付きコストである。燃費 mpg ではなく、小さいほど良い。本サイトの『動力分割式ハイブリッド車』ガイドの mpg 棒グラフを読んだ直後なら、頭の中で向きを反転させてほしい — あちらは高いほど良く、こちらは低いほど良い。重み 40 と 800 は式 (10) の $\mu$ と $\nu$ そのものであり、したがってこの表は SDP が最小化するよう課されたまさにその量を測っている。
| 行駛循環Driving cycle走行サイクル | Rule-Based (DDP) | SDP | 差值Delta差 |
|---|---|---|---|
| UDDSHDV * † | 793.2 | 796.2 | +3.0 |
| WVUINTER * | 896.0 | 885.4 | −10.6 |
| WVUSUB * | 582.2 | 587.3 | +5.1 |
| WVUCITY * | 494.1 | 477.9 | −16.2 |
| NYCCOMP | 401.2 | 393.5 | −7.7 |
| HWFET | 958.7 | 941.0 | −17.7 |
| SC03 | 1011.8 | 993.5 | −18.3 |
* 用於學習馬可夫模型的訓練集循環。Cycles that used as training sets for learning the Markov model.マルコフモデルの学習集合として用いられたサイクル。
† 用於施行 DDP 並訓練規則式控制的那一條循環。Cycle that used to apply DDP and train the rule-based control.DDP を適用しルールベース制御を学習させたサイクル。
論文用馬可夫鏈建模與隨機動態規劃技術，開發出一套混合動力車能量管理控制演算法的設計方法。駕駛者的功率需求被建模成一個馬可夫過程，以表示多樣駕駛條件下、未來駕駛者功率請求的不確定性。A design method for the power management control algorithm for hybrid electric vehicles is developed by using Markov chain modelling and stochastic dynamic programming techniques. The driver power demand is modelled as a Markov process to represent the future uncertainty of the driver power request under diverse driving conditions.マルコフ連鎖モデル化と確率的動的計画法を用いて、ハイブリッド車のパワーマネジメント制御アルゴリズムの設計手法が構築された。運転者の要求出力は、多様な走行条件下での将来の要求の不確実性を表すためにマルコフ過程としてモデル化される。
相對於在給定行駛循環上做確定性最佳化，隨機方法把控制策略最佳化在一族多樣的行駛型態上。你不再是為某一條路調車，而是為某一種駕駛方式調車。As opposed to deterministic optimization over a given driving cycle, the stochastic approach optimizes the control policy over a family of diverse driving patterns. You stop tuning for a road and start tuning for a way of driving.与えられた走行サイクル上での決定論的最適化とは対照的に、確率的手法は制御方策を多様な走行パターンの族に対して最適化する。一本の道に合わせるのをやめ、ある運転の仕方に合わせるようになる。
無限期域 SDP 解產生一個時間不變、狀態相依的功率分流策略，用來支配引擎與電機的運作。它是一張 $\pi^*(SOC,\omega_{wh},P_{dem})$ 查表，不是一條軌跡。The infinite-horizon SDP solution generates a time-invariant, state-dependent power-split strategy which governs the engine and motor operations. It is a lookup table $\pi^*(SOC,\omega_{wh},P_{dem})$, not a trajectory.無限期間 SDP 解は、エンジンと電動機の動作を支配する時不変で状態依存の動力分配戦略を生成する。これは軌道ではなく、参照表 $\pi^*(SOC,\omega_{wh},P_{dem})$ である。
該演算法可以直接實作於模擬與車輛測試。不需要規則萃取這一道人工且耗時的工序 — 這正是前作 [4] 的第二個缺點被解決的地方。The algorithm can be directly implemented in simulations and vehicle testing. No rule-extraction step, manual and slow, stands in between — which is exactly where the second drawback of [4] gets removed.このアルゴリズムは模擬にも車両試験にも直接実装できる。手作業で時間のかかるルール抽出の工程が間に挟まらない — [4] の第二の欠点が取り除かれるのはまさにここである。
論文最後一句的野心：這個方法提供了一條可直接實作的控制設計路徑，而這一點之所以「高度可取」，是因為它具有走向完全整合的最佳設計與控制流程的潛力 — 動力系統尺寸與控制律可以一起最佳化。The ambition in the paper’s closing line: the approach provides a directly implementable control design path, which is highly desirable because of its potential for a fully integrated optimal design and control process — powertrain sizing and control law optimized together.論文の結びの一文に込められた野心 — この手法はそのまま実装できる制御設計の道筋を提供する。これが「極めて望ましい」のは、完全に統合された最適設計・制御プロセスへの可能性を持つからである。すなわちパワートレインの諸元と制御則を一緒に最適化できる。
這一篇是方法的起點。本站另有兩份相關的學習指南，三份一起讀才看得到整條線：This paper is where the method starts. Two related study guides live on this site, and the three of them together show the whole arc:本論文は手法の出発点である。本サイトには関連する学習ガイドが二編あり、三編を併せて読むと全体の流れが見えてくる。
題目：Problem:問題： 對以下三種狀況，算出 $\mathrm{PSR}^*$、算出 $P_m^*$，並指出是四種模式中的哪一種。(a) $P_{dem} = 30$ kW，$P_e^* = 18$ kW。(b) $P_{dem} = 12$ kW，$P_e^* = 20$ kW。(c) $P_{dem} = 4$ kW，$P_e^* = 0$。對於 (b)，多出來的功率跑去哪裡？若 $\eta_m = 0.9$，用式 $P_b$ 算出電池實際收到多少。For each of the three situations below, compute $\mathrm{PSR}^*$ and $P_m^*$ and name which of the four modes it is. (a) $P_{dem} = 30$ kW, $P_e^* = 18$ kW. (b) $P_{dem} = 12$ kW, $P_e^* = 20$ kW. (c) $P_{dem} = 4$ kW, $P_e^* = 0$. For case (b), where does the extra power go? With $\eta_m = 0.9$, use the $P_b$ relation to find how much the battery actually receives.以下の三つの状況について $\mathrm{PSR}^*$ と $P_m^*$ を求め、四つのモードのいずれかを答えよ。(a) $P_{dem} = 30$ kW、$P_e^* = 18$ kW。(b) $P_{dem} = 12$ kW、$P_e^* = 20$ kW。(c) $P_{dem} = 4$ kW、$P_e^* = 0$。(b) では余分な出力はどこへ行くか。$\eta_m = 0.9$ として$P_b$ の式から電池が実際に受け取る量を求めよ。
(a)
$$\mathrm{PSR}^* = \frac{18}{30} = 0.60, \qquad P_m^* = 30 - 18 = +12\ \text{kW}$$$0 \lt \mathrm{PSR} \lt 1$ → 助力模式（power-assist）。電機出力 12 kW 幫引擎扛掉 $40\%$ 的需求。論文說這是高功率需求時的典型選擇。$0 \lt \mathrm{PSR} \lt 1$ → power-assist. The motor contributes 12 kW, carrying $40\%$ of the demand for the engine. The paper reports this as the typical choice when the power demand is high.$0 \lt \mathrm{PSR} \lt 1$ → パワーアシスト。電動機が 12 kW を出し、要求の $40\%$ をエンジンに代わって担う。論文はこれを要求出力が高いときの典型的な選択としている。
(b)
$$\mathrm{PSR}^* = \frac{20}{12} = 1.667, \qquad P_m^* = 12 - 20 = -8\ \text{kW}$$$\mathrm{PSR} \gt 1$ → 充電模式（recharging）。引擎刻意多燒了 8 kW；這 8 kW 不是浪費掉，而是從轉矩耦合器倒灌回電機，電機以發電機身分運轉（$\tau_m \lt 0$）把它變成電。由式 ($P_b$)，$\operatorname{sgn}(\tau_m) = -1$，指數為 $+1$：$\mathrm{PSR} \gt 1$ → recharging. The engine deliberately burns an extra 8 kW; that 8 kW is not thrown away but flows backwards from the torque coupler into the machine, which runs as a generator ($\tau_m \lt 0$) and turns it into electricity. From the $P_b$ relation, $\operatorname{sgn}(\tau_m) = -1$ so the exponent is $+1$:$\mathrm{PSR} \gt 1$ → 充電モード。エンジンは意図的に 8 kW 余分に燃やす。この 8 kW は捨てられるのではなく、トルクカプラから電動機へ逆流し、電動機は発電機として（$\tau_m \lt 0$）これを電力に変える。$P_b$ の式より $\operatorname{sgn}(\tau_m) = -1$ すなわち指数は $+1$：
$$P_b = \tau_m\omega_m\,\eta_m = (-8\ \text{kW})(0.9) = -7.2\ \text{kW}$$負號代表充電，電池收到 7.2 kW，另外 0.8 kW 變成電機與換流器的損耗。注意這一步的代價：引擎為了把 7.2 kW 塞進電池，多燒了 8 kW 的機械功；這些電之後還要再乘一次 $\eta_m$ 才能回到輪上。整個「現在多燒、以後再用」的交易，往返效率只有 $\eta_m^2 = 0.81$ 左右（還不含電池的內阻損耗）。SDP 會選擇這麼做，只有當它判斷「現在引擎在低負載下很不效率，把它推到高負載再把多的存起來」划算 — 或者當 SOC 已經低到式 (11) 的罰則蓋過這些損耗。The negative sign means charging: the battery receives 7.2 kW and the remaining 0.8 kW becomes motor and inverter loss. Notice the price of this step: the engine burned 8 kW of extra mechanical work to put 7.2 kW into the battery, and that energy must be multiplied by $\eta_m$ again on the way back out to the wheels. The whole “burn now, use later” trade runs at a round-trip efficiency of only about $\eta_m^2 = 0.81$ (before battery internal resistance). SDP chooses to do this only when it judges that moving the engine out of a very inefficient low-load point pays for the loss — or when SOC has fallen far enough that the Eq. (11) penalty outweighs it.負号は充電を意味し、電池は 7.2 kW を受け取り、残りの 0.8 kW は電動機とインバータの損失になる。この一手の代償に注意 — エンジンは 7.2 kW を電池に入れるために 8 kW 余分な機械仕事を燃やし、そのエネルギーは車輪へ戻る際にもう一度 $\eta_m$ を掛けられる。「いま燃やして後で使う」取引全体の往復効率はおよそ $\eta_m^2 = 0.81$ にすぎない（電池内部抵抗を除いて）。SDP がこれを選ぶのは、エンジンを極端に非効率な低負荷点から動かすことが損失に見合うと判断したとき、あるいは SOC が下がり式 (11) の罰則がそれを上回ったときだけである。
(c)
$$\mathrm{PSR}^* = \frac{0}{4} = 0, \qquad P_m^* = 4 - 0 = +4\ \text{kW}$$$\mathrm{PSR} = 0$ → 純電機模式（motor-only），引擎關掉。這正是論文觀察到的「功率需求極低時用純電機」：4 kW 對一具 157 HP（117 kW）的柴油引擎來說是近乎怠速的負載，BSFC 糟糕透頂，不如整個關掉。$\mathrm{PSR} = 0$ → motor-only, engine off. This is exactly the paper’s observation that the optimal policy “uses motor-only mode at extremely low $P_{dem}$”: 4 kW is near-idle load for a 157 HP (117 kW) diesel, where BSFC is appalling, so it is better to shut it off entirely.$\mathrm{PSR} = 0$ → モータのみ、エンジン停止。これはまさに論文の観察「要求出力が極めて低いときはモータのみのモードを使う」に対応する。4 kW は 157 HP（117 kW）のディーゼルにとってアイドルに近い負荷であり BSFC が極端に悪いため、いっそ止めたほうがよい。
題目：Problem:問題： 式 $P_b = \tau_m\omega_m\eta_m^{-\operatorname{sgn}(\tau_m)}$ 的指數為什麼要隨轉矩符號翻轉？取 $\omega_m = 200$ rad/s、$|\tau_m| = 100$ N·m、$\eta_m = 0.9$，把驅動與發電兩種情況都算出來。接著回答：如果有人偷懶，永遠把 $\eta_m$ 放在分母，會壞掉什麼？這個錯誤在 SDP 的最佳化裡會造成什麼具體的後果？Why must the exponent in $P_b = \tau_m\omega_m\eta_m^{-\operatorname{sgn}(\tau_m)}$ flip with the sign of the torque? Take $\omega_m = 200$ rad/s, $|\tau_m| = 100$ N·m and $\eta_m = 0.9$, and work out both the motoring and the generating case. Then answer: if somebody got lazy and always put $\eta_m$ in the denominator, what would break? What concrete consequence would that error have inside the SDP optimization?式 $P_b = \tau_m\omega_m\eta_m^{-\operatorname{sgn}(\tau_m)}$ の指数はなぜトルクの符号で反転しなければならないか。$\omega_m = 200$ rad/s、$|\tau_m| = 100$ N·m、$\eta_m = 0.9$ として力行と発電の両方を計算せよ。さらに、もし横着して常に $\eta_m$ を分母に置いたら何が壊れるか。その誤りは SDP の最適化の中でどんな具体的な結果を生むか。
先算軸功率：$\tau_m\omega_m = \pm 100 \times 200 = \pm 20{,}000$ W $= \pm 20$ kW。Shaft power first: $\tau_m\omega_m = \pm 100 \times 200 = \pm 20{,}000$ W $= \pm 20$ kW.まず軸出力：$\tau_m\omega_m = \pm 100 \times 200 = \pm 20{,}000$ W $= \pm 20$ kW。
$$\tau_m \gt 0:\quad \operatorname{sgn}(\tau_m) = +1,\quad P_b = \frac{20}{0.9} = +22.22\ \text{kW}$$ $$\tau_m \lt 0:\quad \operatorname{sgn}(\tau_m) = -1,\quad P_b = (-20)(0.9) = -18.00\ \text{kW}$$正確的物理是：損耗永遠由能量的提供者支付。驅動時提供者是電池，所以電池要拿出 22.22 kW 才能在軸上生出 20 kW；發電時提供者是傳動軸，軸給出 20 kW，電池只收到 18 kW。兩種情況下，$2.22$ kW 與 $2.00$ kW 都是離開系統的熱。The correct physics: the loss is always paid by whoever supplies the energy. When motoring the supplier is the battery, so the battery must hand over 22.22 kW to produce 20 kW at the shaft. When generating the supplier is the driveline, which hands over 20 kW while the battery receives only 18 kW. In both cases, the $2.22$ kW and the $2.00$ kW are heat leaving the system.正しい物理はこうだ — 損失は常にエネルギーを供給する側が払う。力行では供給側は電池であり、軸で 20 kW を出すには電池が 22.22 kW を出さねばならない。発電では供給側は駆動軸であり、軸が 20 kW を出すのに電池は 18 kW しか受け取らない。いずれの場合も $2.22$ kW と $2.00$ kW は系を出ていく熱である。
永遠除以 $\eta_m$ 會怎樣？發電時會算出 $P_b = -20/0.9 = -22.22$ kW — 軸上只送進 20 kW，電池卻收到 22.22 kW。這台電機憑空生出 2.22 kW，是一台永動機。What if you always divide by $\eta_m$? Generating would give $P_b = -20/0.9 = -22.22$ kW — the shaft handed over 20 kW and the battery received 22.22 kW. The machine created 2.22 kW out of nothing: a perpetual motion machine.常に $\eta_m$ で割ったらどうなるか。発電時に $P_b = -20/0.9 = -22.22$ kW となる — 軸は 20 kW しか渡していないのに電池は 22.22 kW を受け取る。この電動機は 2.22 kW を無から生み出した。永久機関である。
在 SDP 裡的具體後果：式 (1) 的 SOC 會被高估得太快，於是式 (11) 的罰則 $M = (SOC - SOC_{ref})^2$ 幾乎永遠很小，最佳化會系統性地過度偏好充電模式（$\mathrm{PSR} \gt 1$）— 因為在它的帳本裡，存電比實際便宜。得到的策略在模擬中 SOC 會漂亮地維持住，裝到真車上卻會慢慢沒電。這就是為什麼效率模型的符號慣例必須在建模階段就釘死：DP 不會檢查你的物理，它只會忠實地把你給的帳本最佳化到極致。The concrete consequence inside SDP: SOC in Eq. (1) would be over-credited, so the penalty $M = (SOC - SOC_{ref})^2$ of Eq. (11) would almost always look small, and the optimizer would systematically over-prefer the recharging mode ($\mathrm{PSR} \gt 1$) — because in its ledger, storing energy is cheaper than it really is. The resulting policy would hold SOC beautifully in simulation and slowly go flat in a real truck. This is why the sign convention of the efficiency model has to be nailed down at modelling time: DP does not check your physics, it faithfully optimizes whatever ledger you hand it, to the last digit.SDP の中での具体的な帰結：式 (1) の SOC が過大に見積もられ、式 (11) の罰則 $M = (SOC - SOC_{ref})^2$ はほとんど常に小さく見える。その結果、最適化は充電モード（$\mathrm{PSR} \gt 1$）を系統的に偏好する — その帳簿では蓄電が実際より安いからだ。得られる方策は模擬では SOC を見事に保つが、実車に載せるとじわじわ電池が空になる。だからこそ効率モデルの符号規約はモデリングの段階で確定させておかねばならない。DP はあなたの物理を検査しない。渡された帳簿を最後の一桁まで忠実に最適化するだけである。
題目：Problem:問題： 論文說功率需求有 $N_p = 30$ 個離散狀態，所以給定一個輪速時，轉移機率是一個 $30\times30$ 矩陣。(a) 若輪速有 $N_\omega$ 個狀態，總共要存多少個數字？其中有多少個是自由參數？(b) 取 $N_\omega = 30$ 算出具體數值。(c) 「機率集中在對角線附近」這個觀察，可以讓你利用什麼？(d) 把 (b) 的數字與二維馬可夫鏈 $p_{il,jm}$ 的大小比一比。The paper says the power demand has $N_p = 30$ discrete states, so for a given wheel speed the transition probability is a $30\times30$ matrix. (a) With $N_\omega$ wheel-speed states, how many numbers must be stored in total, and how many of them are free parameters? (b) Evaluate for $N_\omega = 30$. (c) What does the observation that “the probabilities cluster around the diagonal” let you exploit? (d) Compare your answer in (b) with the size of the two-dimensional Markov chain $p_{il,jm}$.論文によれば要求出力は $N_p = 30$ の離散状態をもち、車輪回転数を一つ固定すると遷移確率は $30\times30$ 行列になる。(a) 車輪回転数の状態が $N_\omega$ 個あるとき、全部でいくつの数を保存する必要があるか。そのうち自由パラメータはいくつか。(b) $N_\omega = 30$ として具体値を求めよ。(c) 「確率が対角線付近に集中する」という観察から何を利用できるか。(d) (b) の答えを二次元マルコフ連鎖 $p_{il,jm}$ の大きさと比較せよ。
(a) 索引是 $(i, l, j)$，所以總數是 $N_p \times N_\omega \times N_p = N_p^2 N_\omega$。但式 (6) 的歸一化條件 $\sum_j p_{il,j} = 1$ 對每一組 $(i,l)$ 都成立，共 $N_p N_\omega$ 條約束，所以自由參數是 $N_p N_\omega (N_p - 1)$。The index is $(i, l, j)$, so the total is $N_p \times N_\omega \times N_p = N_p^2 N_\omega$. But the normalization $\sum_j p_{il,j} = 1$ of Eq. (6) holds for every pair $(i,l)$, which is $N_p N_\omega$ constraints, so the free parameters number $N_p N_\omega (N_p - 1)$.添字は $(i, l, j)$ なので総数は $N_p \times N_\omega \times N_p = N_p^2 N_\omega$。ただし式 (6) の正規化条件 $\sum_j p_{il,j} = 1$ が各組 $(i,l)$ について成り立ち、これは $N_p N_\omega$ 本の拘束なので、自由パラメータは $N_p N_\omega (N_p - 1)$ 個である。
(b)
$$30^2 \times 30 = 27{,}000 \ \text{numbers}, \qquad 30 \times 30 \times 29 = 26{,}100 \ \text{free}$$以雙精度浮點數存，$27{,}000 \times 8$ bytes $\approx 216$ kB — 對離線計算完全不成問題，對 2004 年的車用 ECU 倒是值得想一想（不過要注意：車上只需要存最後那張策略表 $\pi^*$，不需要存轉移機率。$p_{il,j}$ 只在離線的策略疊代裡用到）。In double precision, $27{,}000 \times 8$ bytes $\approx 216$ kB — nothing at all for an offline computation, though worth a thought for a 2004 automotive ECU. (Note, though: only the final policy table $\pi^*$ has to live in the vehicle, not the transition probabilities. $p_{il,j}$ is used only in the offline policy iteration.)倍精度で保存すると $27{,}000 \times 8$ バイト $\approx 216$ kB — オフライン計算にはまったく問題なく、2004 年の車載 ECU には一考の価値がある量である。（ただし注意 — 車上に置く必要があるのは最終的な方策表 $\pi^*$ だけで、遷移確率ではない。$p_{il,j}$ はオフラインの方策反復でのみ使われる。）
(c) 對角線聚集代表這是一個帶狀（banded）矩陣。可以利用的地方有三：Clustering on the diagonal means this is a banded matrix. Three things it lets you exploit:対角線への集中は、これが帯行列であることを意味する。利用できる点は三つある。
(d) 二維鏈 $p_{il,jm}$ 的索引是 $(i,l,j,m)$，大小為 $N_p^2 N_\omega^2 = 30^2 \times 30^2 = 810{,}000$ — 是簡化版的 30 倍（一般而言是 $N_\omega$ 倍）。論文靠「$\omega_{wh}$ 的轉移是確定性的」這一句話就把這 30 倍省掉了，而且沒有任何近似 — 不是把它砍掉，是它本來就不該在那裡。The two-dimensional chain $p_{il,jm}$ is indexed by $(i,l,j,m)$, of size $N_p^2 N_\omega^2 = 30^2 \times 30^2 = 810{,}000$ — 30 times the simplified version (in general $N_\omega$ times). The paper saves that factor of 30 with a single sentence, “the transition of $\omega_{wh}$ is a deterministic process,” and it costs no approximation at all: the extra dimension is not being truncated, it was never supposed to be there.二次元連鎖 $p_{il,jm}$ の添字は $(i,l,j,m)$ で、大きさは $N_p^2 N_\omega^2 = 30^2 \times 30^2 = 810{,}000$ — 簡略版の 30 倍（一般には $N_\omega$ 倍）である。論文は「$\omega_{wh}$ の遷移は決定論的な過程である」という一文だけでこの 30 倍を節約し、しかも何の近似も伴わない。余分な次元を切り捨てたのではなく、そもそもそこにあるべきではなかったのだ。
題目：Problem:問題： 式 (8) 要求 $0 \lt \gamma \lt 1$。(a) 假設瞬時成本有界，$0 \le g \le G$，證明這個級數收斂並給出上界。(b) 論文取 $\gamma = 0.95$，而時間步長是 1 秒。算出「有效期域」$1/(1-\gamma)$，以及權重 $\gamma^k$ 衰減到 $0.01$ 所需的 $k$。這代表這張策略表「往前看」多久？(c) $\gamma \to 1$ 在物理上是什麼意思，為什麼不能直接這樣設？Eq. (8) requires $0 \lt \gamma \lt 1$. (a) Assuming a bounded instantaneous cost $0 \le g \le G$, show that the series converges and give the bound. (b) The paper uses $\gamma = 0.95$ with a one-second time step. Compute the “effective horizon” $1/(1-\gamma)$ and the $k$ at which the weight $\gamma^k$ has decayed to $0.01$. How far ahead is this policy table really looking? (c) What does $\gamma \to 1$ mean physically, and why can you not simply set it there?式 (8) は $0 \lt \gamma \lt 1$ を要求する。(a) 瞬時コストが有界 $0 \le g \le G$ と仮定して、この級数が収束することを示し上界を与えよ。(b) 論文は時間刻み 1 秒で $\gamma = 0.95$ を用いる。「実効期間」$1/(1-\gamma)$ と、重み $\gamma^k$ が $0.01$ まで減衰する $k$ を求めよ。この方策表は実際どれだけ先を見ているのか。(c) $\gamma \to 1$ は物理的に何を意味し、なぜそのまま設定できないのか。
(a)
$$J_\pi(x_0) = \mathop{E}_w\left\{\sum_{k=0}^{\infty}\gamma^{\,k} g_k\right\} \le \sum_{k=0}^{\infty}\gamma^{\,k} G = \frac{G}{1-\gamma}$$這是幾何級數，$|\gamma| \lt 1$ 時收斂。若 $\gamma = 1$，上式變成 $\sum_k G$，發散 — 車子永遠開下去，燒的油也就無限多，每一條策略的成本都是 $\infty$，式 (14) 的 argmin 無從比較。折扣因子在這裡的角色不是「對未來不耐煩」，而是讓目標函數有定義。A geometric series, convergent for $|\gamma| \lt 1$. With $\gamma = 1$ the expression becomes $\sum_k G$, which diverges: the car drives forever, so it burns infinite fuel, every policy costs $\infty$, and the argmin of Eq. (14) has nothing to compare. The discount factor’s role here is not “impatience about the future” but making the objective well defined in the first place.幾何級数であり $|\gamma| \lt 1$ で収束する。$\gamma = 1$ では $\sum_k G$ となり発散する。車は永遠に走り続け、燃料も無限に燃え、どの方策もコストは $\infty$ となって式 (14) の argmin は比較する対象を失う。ここでの割引率の役割は「未来への焦り」ではなく、そもそも目的関数を定義可能にすることである。
(b)
$$\frac{1}{1-\gamma} = \frac{1}{0.05} = 20\ \text{s}, \qquad k = \frac{\ln 0.01}{\ln 0.95} = \frac{-4.605}{-0.05129} \approx 89.8\ \text{s}$$加權質心大約落在 20 秒，而 $90$ 秒之後的事情權重已經不到 $1\%$。所以 $\gamma = 0.95$ 這個數值的物理意思是：這張策略表大約在規劃接下來的一分半鐘。這對能量管理來說是個合理的尺度 — 一個紅燈、一次超車、一段上坡，差不多就是這個長度。如果你想讓策略願意為了「十分鐘後的長下坡」而現在先把電放掉，$\gamma = 0.95$ 絕對做不到；要做到就得把 $\gamma$ 推到 $0.998$ 以上，或者改用別的表述 — 這正是 SP-SDP 用終端成本取代 $\gamma$ 的動機。The weighted centre of mass sits at about 20 seconds, and anything beyond $90$ seconds carries less than $1\%$ weight. So the physical meaning of $\gamma = 0.95$ is: this policy table is planning roughly the next minute and a half. For power management that is a sensible scale — one red light, one overtake, one hill is about that long. If you wanted the policy to spend battery now because of a long descent ten minutes away, $\gamma = 0.95$ will never do it; you would have to push $\gamma$ above $0.998$ or change the formulation — which is exactly the motivation for SP-SDP replacing $\gamma$ with a terminal cost.重み付き重心はおよそ 20 秒にあり、$90$ 秒より先の重みは $1\%$ を切る。したがって $\gamma = 0.95$ の物理的意味はこうだ — この方策表はおよそ次の 1 分半を計画している。パワーマネジメントにとっては妥当な尺度である。赤信号一つ、追い越し一回、坂一つがだいたいその長さだ。十分後の長い下り坂のために今から電池を使っておく、といった判断を望むなら $\gamma = 0.95$ では決してできない。$\gamma$ を $0.998$ 以上に押し上げるか、定式化を変えるしかない — これこそ SP-SDP が $\gamma$ を終端コストで置き換えた動機である。
(c) $\gamma \to 1$ 的意思是一小時後燒的一公克油，和現在燒的一公克油一樣重要 — 聽起來才是對的物理，畢竟油箱不在乎你什麼時候燒它。問題在數學：如前所述總成本發散。正統的解法是改用平均成本（average cost per stage）表述，最小化 $\lim_{N\to\infty}\frac{1}{N}E\{\sum g_k\}$，但那是另一套理論（需要處理遍歷性與相對值函數），而且解出來的相對值函數在數值上更難搞。論文選擇了務實的路：取一個夠接近 1 的 $\gamma$，讓有效期域長到足以涵蓋所關心的能量管理時間尺度，同時保住收斂與標準策略疊代的全部現成保證。$\gamma \to 1$ means a gram of fuel burned an hour from now matters exactly as much as a gram burned right now — which sounds like the honest physics, since the tank does not care when you burn it. The problem is mathematical: as shown above, the total cost diverges. The orthodox fix is the average-cost-per-stage formulation, minimizing $\lim_{N\to\infty}\frac{1}{N}E\{\sum g_k\}$, but that is a different body of theory (ergodicity, relative value functions) and the relative value function is numerically nastier. The paper takes the pragmatic route: pick a $\gamma$ close enough to 1 that the effective horizon covers the power-management timescale of interest, while keeping convergence and every off-the-shelf guarantee of standard policy iteration.$\gamma \to 1$ は一時間後に燃やす 1 グラムと、いま燃やす 1 グラムが等しく重要であることを意味する — タンクはいつ燃やすかなど気にしないのだから、こちらのほうが正直な物理に聞こえる。問題は数学の側にある。上で見たように総コストが発散する。正統な処方は平均コスト定式化で $\lim_{N\to\infty}\frac{1}{N}E\{\sum g_k\}$ を最小化することだが、これは別系統の理論（エルゴード性、相対値関数）であり、相対値関数は数値的により厄介である。論文は実務的な道をとった — 実効期間が関心のあるパワーマネジメントの時間尺度を覆う程度に 1 へ近い $\gamma$ を選び、同時に収束性と標準的な方策反復の既製の保証すべてを保つ。
題目：Problem:問題： 一位同學說：「SDP 就是 DP 加了雜訊而已。」請從兩者各自輸出什麼的角度說明這句話為什麼不對，以及為什麼只有其中一個能裝進量產車。把你的論證扣回論文第 1 節列出的那兩個缺點。A student says: “SDP is just DP with noise added.” Explain, in terms of what each one outputs, why that is wrong and why only one of them can be shipped in a car. Tie your argument back to the two drawbacks listed in Section 1 of the paper.ある学生がこう言う — 「SDP は雑音を加えただけの DP だ」。それぞれが何を出力するかという観点から、なぜこれが誤りなのか、そしてなぜ一方だけが量産車に載せられるのかを説明せよ。論文第 1 節が挙げる二つの欠点に議論を結びつけること。
| DDP | SDP | |
|---|---|---|
| 輸入Input入力 | 一條完整已知的行駛循環 $P_{dem}(t),\ t \in [0,T]$One complete, fully known driving cycle $P_{dem}(t),\ t \in [0,T]$完全に既知の走行サイクル一本 $P_{dem}(t),\ t \in [0,T]$ | 一個轉移機率張量 $p_{il,j}$A transition probability tensor $p_{il,j}$遷移確率テンソル $p_{il,j}$ |
| 輸出Output出力 | 一條最佳軌跡 $u^*(t)$，或等價地一串時變的 $\pi_k$。它只對那一條循環、那一個初始狀態有意義。One optimal trajectory $u^*(t)$, or equivalently a time-varying sequence $\pi_k$. It is meaningful only for that cycle and that initial state.最適軌道一本 $u^*(t)$、あるいは等価に時変列 $\pi_k$。そのサイクルとその初期状態にのみ意味をもつ。 | 一個映射 $\pi^*: (SOC,\omega_{wh},P_{dem}) \mapsto P_e^*$。對狀態空間中每一點都有定義，且不隨時間改變。A map $\pi^*: (SOC,\omega_{wh},P_{dem}) \mapsto P_e^*$, defined at every point of the state space and unchanging in time.写像 $\pi^*: (SOC,\omega_{wh},P_{dem}) \mapsto P_e^*$。状態空間のすべての点で定義され、時間とともに変わらない。 |
| 因果性Causality因果性 | 非因果 — 求解時用到了未來。Non-causal — it used the future to solve.非因果的 — 解く際に未来を使っている。 | 因果 — 只用當下量得到的三個數。Causal — it uses only three numbers measurable right now.因果的 — いま測れる三つの数しか使わない。 |
| 上車方式How it ships車への載せ方 | 不能直接上車。必須人工萃取規則，耗時，而且萃取過程本身會丟掉最佳性。Cannot ship. A human must extract rules from it; slow, and the extraction itself discards optimality.そのままでは載せられない。人手でルール抽出が必要で、時間がかかり、抽出自体が最適性を捨てる。 | 燒成一張查表就結束了。Burn it into a lookup table and you are done.参照表に焼き込めば終わりである。 |
為什麼「加雜訊」這個說法會誤導。它暗示 DP 與 SDP 解的是同一個問題，只是後者的答案比較模糊、比較保守。事實不是這樣。關鍵在式 (14) 裡期望值與最小化的順序：Why “add noise” misleads. It suggests DP and SDP solve the same problem and that the second just gives a blurrier, more conservative answer. They do not. The key is the order of expectation and minimization in Eq. (14):「雑音を加える」という言い方が誤解を招く理由。それは DP と SDP が同じ問題を解いており、後者はただぼやけた保守的な答えを返すだけだと示唆する。そうではない。鍵は式 (14) における期待値と最小化の順序にある。
$$\min_u \mathop{E}_w\{\cdot\} \;\neq\; \mathop{E}_w\left\{\min_u \cdot\right\}$$右邊是「先知道雜訊、再做決定」，也就是對很多條循環各自跑 DP 再平均 — 那會得到一個過於樂觀的值，而且不產生任何可實作的控制律。左邊才是真實世界：決定必須在不確定性揭曉之前做出。Jensen 不等式保證兩者不相等，差值就是「未來資訊」的價值。SDP 求的是左邊。The right-hand side is “see the noise, then decide” — running DP on many cycles and averaging the results. That gives an over-optimistic number and produces no implementable control law at all. The left-hand side is the real world: the decision must be made before the uncertainty is revealed. Jensen’s inequality guarantees the two differ, and the gap is precisely the value of future information. SDP solves the left-hand side.右辺は「雑音を見てから決める」 — 多数のサイクルで DP を回して平均することに相当する。これは過度に楽観的な値を与え、実装可能な制御則は何も生まない。左辺が現実世界である — 決定は不確実性が明かされる前に下さねばならない。イェンセンの不等式が両者の不一致を保証し、その差こそ将来情報の価値である。SDP が解くのは左辺である。
扣回第 1 節的兩個缺點。DDP 路線的缺點一是「只對一條循環最佳」— SDP 用一族循環（亦即轉移機率）取代單一循環，直接解決。缺點二是「回授解不可直接實作」— SDP 的輸出本來就是回授律，連「萃取」這個動作都不存在。這也是為什麼論文的結論句要說，這個方法是一條可直接實作的控制設計路徑。Back to the two drawbacks of Section 1. Drawback one was “optimizes with respect to one specific cycle” — SDP replaces the single cycle with a family of them (that is, with the transition probabilities), which removes it outright. Drawback two was “the feedback solution is not directly implementable” — SDP’s output is the feedback law; there is no extraction step to perform. That is why the paper’s closing sentence calls this a directly implementable control design path.第 1 節の二つの欠点に戻る。欠点の一つは「特定の一サイクルに対して最適化する」こと — SDP は単一サイクルをその族（すなわち遷移確率）で置き換え、これを根こそぎ取り除く。もう一つは「フィードバック解がそのままでは実装できない」こと — SDP の出力はそもそもフィードバック則であり、抽出という工程自体が存在しない。論文の結びの一文がこれをそのまま実装できる制御設計の道筋と呼ぶのはそのためである。
駕駛者不是一條已知的曲線，而是一條平穩馬可夫鏈。「指定行駛循環的特性，等價於指定轉移機率。」最佳化的對象從一條路變成一族路。The driver is not a known curve but a stationary Markov chain. “Specifying driving-cycle characteristics is equivalent to specifying the transition probabilities.” The object of optimization changes from one road to a family of roads.運転者は既知の曲線ではなく定常マルコフ連鎖である。「走行サイクルの特性を指定することは遷移確率を指定することと等価である」。最適化の対象は一本の道から道の族へと変わる。
動態只留 SOC 與 $\omega_{wh}$（DP 的計算量隨狀態數指數成長）；加上 $P_{dem}$ 共三維狀態空間。控制只有引擎功率 $P_e$ — 式 (9) 的功率平衡把 $P_m$ 降為相依變數。Only SOC and $\omega_{wh}$ are kept as dynamics (DP cost grows exponentially with state count); with $P_{dem}$ that is a three-dimensional state space. The control is engine power $P_e$ alone — the power balance of Eq. (9) demotes $P_m$ to a dependent variable.動特性として残すのは SOC と $\omega_{wh}$ だけ（DP の計算量は状態数に対し指数的に増える）。$P_{dem}$ を加えて三次元の状態空間となる。制御はエンジン出力 $P_e$ のみ — 式 (9) の出力収支が $P_m$ を従属変数へ降格させる。
無限期域裡沒有「終點」可以掛電量維持的積分約束，所以把它變成瞬時罰則 $\alpha(SOC - SOC_{ref})^2$，$\alpha = 600$。結果是策略上一條平滑的偏壓：SOC 愈低，PSR 愈高。An infinite horizon has no “end” on which to hang the integral charge-sustenance constraint, so it becomes the instantaneous penalty $\alpha(SOC - SOC_{ref})^2$ with $\alpha = 600$. The result is a smooth bias in the policy: the lower the SOC, the higher the PSR.無限期間には電量維持の積分拘束を掛ける「終点」がないため、瞬時罰則 $\alpha(SOC - SOC_{ref})^2$（$\alpha = 600$）に変換される。結果は方策上の滑らかなバイアスである — SOC が低いほど PSR は高くなる。
$\pi^*(SOC,\omega_{wh},P_{dem}) \to P_e^*$，時間不變，直接燒進 ECU。用 PSR 來看就是四種模式：純電機、助力、純引擎、充電。七條標準循環上贏規則式控制五條，而且贏在沒訓練過的那幾條。$\pi^*(SOC,\omega_{wh},P_{dem}) \to P_e^*$, time-invariant, burned straight into the ECU. Viewed as PSR it is four modes: motor-only, power-assist, engine-only, recharging. It beats the rule-based controller on five of seven standard cycles — and wins on the ones it was never trained on.$\pi^*(SOC,\omega_{wh},P_{dem}) \to P_e^*$、時不変、そのまま ECU に焼き込める。PSR として見れば四つのモード — モータのみ、パワーアシスト、エンジンのみ、充電。七つの標準サイクルのうち五つでルールベース制御に勝ち、しかも学習に使われなかったサイクルで勝っている。
| 符號Symbol記号 | 意義Meaning意味 |
|---|---|
| $SOC,\ Q_b,\ i_b,\ P_b$ | 電池荷電狀態、最大電荷量、電流、電池功率（正為放電）Battery state of charge, maximum charge, current, battery power (positive is discharging)電池の充電状態、最大充電量、電流、電池出力（正が放電） |
| $\omega_{wh},\ r_d,\ M_e,\ B_{wh}$ | 車輪轉速、動態輪胎半徑、等效質量 $M_v + J_r/r_d^2$、黏性阻尼Wheel speed, dynamic tire radius, effective mass $M_v + J_r/r_d^2$, viscous damping車輪回転数、動的タイヤ半径、等価質量 $M_v + J_r/r_d^2$、粘性減衰 |
| $\tau_e,\ \tau_r,\ \tau_x,\ \tau_d,\ \tau_{wh},\ \tau_{fb}$ | 引擎、扭力轉換器輸出、變速箱輸出、終傳輸出、淨輪端、摩擦煞車轉矩Engine, torque converter output, transmission output, final drive output, net wheel and friction braking torqueエンジン、トルコン出力、変速機出力、終減速出力、正味車輪、摩擦制動の各トルク |
| $R_x,\ R_c,\ R_d,\ \eta_x,\ \eta_c,\ \eta_d$ | 變速箱／轉矩耦合器／終傳的齒比與效率；$\eta_x$ 隨檔位 $g_x$ 變化Gear ratios and efficiencies of transmission / torque coupler / final drive; $\eta_x$ varies with gear position $g_x$変速機／トルクカプラ／終減速の比と効率。$\eta_x$ はギヤ位置 $g_x$ で変わる |
| $\tau_m,\ \omega_m,\ \eta_m$ | 電機轉矩、轉速、效率；效率指數為 $-\operatorname{sgn}(\tau_m)$Motor torque, speed and efficiency; the efficiency exponent is $-\operatorname{sgn}(\tau_m)$電動機のトルク、回転数、効率。効率の指数は $-\operatorname{sgn}(\tau_m)$ |
| $W_{fuel},\ W_{NOx},\ W_{PM}$ | 燃油消耗率、引擎出口 NOx、PM 排放率；皆為 $(\omega_e,\tau_e)$ 的靜態查表Fuel consumption rate, engine-out NOx and PM emission rates; all static maps of $(\omega_e,\tau_e)$燃料消費率、エンジンアウト NOx および PM 排出率。いずれも $(\omega_e,\tau_e)$ の静的マップ |
| $P_{dem},\ P_e,\ P_m$ | 駕駛需求功率、引擎功率（控制變數）、電機功率（相依變數）Driver power demand, engine power (the control), motor power (dependent)運転者要求出力、エンジン出力（制御変数）、電動機出力（従属変数） |
| $p_{il,j},\ m_{il,j},\ N_p,\ N_\omega,\ N_s$ | 轉移機率、觀測次數、功率需求／輪速／SOC 的離散狀態數Transition probability, observation count, number of discrete states of power demand / wheel speed / SOC遷移確率、観測回数、要求出力／車輪回転数／SOC の離散状態数 |
| $\gamma,\ \alpha,\ \mu,\ \nu$ | 折扣因子 0.95、SOC 罰則 600、NOx 權重 40、PM 權重 800Discount factor 0.95, SOC penalty 600, NOx weight 40, PM weight 800割引率 0.95、SOC 罰則 600、NOx の重み 40、PM の重み 800 |
| $J_\pi,\ g,\ M,\ \pi^*$ | 成本函數、瞬時成本、SOC 偏差罰則、最佳策略Cost function, instantaneous cost, SOC deviation penalty, optimal policyコスト関数、瞬時コスト、SOC 偏差の罰則、最適方策 |
| $\mathrm{PSR}^*$ | 最佳功率分流比 $P_e^*/P_{dem}$：0 純電機、$(0,1)$ 助力、1 純引擎、$\gt 1$ 充電Optimal power-split ratio $P_e^*/P_{dem}$: 0 motor-only, $(0,1)$ power-assist, 1 engine-only, $\gt 1$ recharging最適動力分配比 $P_e^*/P_{dem}$。0 はモータのみ、$(0,1)$ はパワーアシスト、1 はエンジンのみ、$\gt 1$ は充電 |
把「未來的駕駛」從一條已知曲線換成一個機率模型，動態規劃的輸出就從一條不能上車的軌跡變成一張可以上車的查表 — 而且代價只是 $3\%$ 以內的性能差距與一次離線的策略疊代。Swap “the future driver” from a known curve to a probability model, and the output of dynamic programming changes from a trajectory you cannot ship into a lookup table you can — at a cost of a few percent of performance and one offline policy iteration.「未来の運転者」を既知の曲線から確率モデルへ置き換えれば、動的計画法の出力は載せられない軌道から載せられる参照表へ変わる — 代償は数パーセントの性能差と、一度のオフライン方策反復だけである。