こんな感じでできました。
import pandas as pd
# 実験用データ
df = pd.DataFrame({'date': ['2019-01-05', '2019-01-18', '2019-01-25', '2019-02-06', '2019-02-16', '2019-03-02'],
'value': [10, 20, 30, 40, 50, 60],
'name': ['あ', 'い', 'う', 'え', 'お', 'か']})
# 日付列を日付型に変える
df['date'] = pd.to_datetime(df['date'])
# 日付リストのDataFrameを作ってマージする。
df = pd.merge(pd.DataFrame({"date": pd.date_range('2019-1-1', '2019-3-31')}), df, how='left')
# 累計値を新たな列として追加
df['cumsum'] = df['value'].fillna(0).cumsum()
print(df)