原创文章第608篇，专注"AI量化投资、世界运行的规律、个人成长与财富自由"。
做因子挖掘这段时间，有一个观感。
传统的因子挖掘，尤其是手工构造因子，到遗传算法因子挖掘。------本身也是一种"拟合"，或者说试图"解释"过往的收益率，有一种符号表达的方式。
传统机器学习，我们也是试图这么做的，有不少工程上的tricks。
但在深度学习时代，最大的一点进步就是不需要特征工程，因为特征工程本身是对现实数据的简化。深度卷积神经网络读图片，它是读入像素级数据，然后自己建模。
之前星球有同学提问说------为什么不能直接端到端建模？
这其实是一个好问题。
图像识别就是端到端，AlphaGo就是端到端，深度强化学习端到端构建投资组合------从逻辑上更符合金融投资的场景------它甚至不需要label。
通过深度强化学习构建、筛选因子，然后再用深度学习来组合因子，这里确实会损失很多信息。
IC筛选出来的因子，在机器学习里组合效果并不一定好。
一个原因可能是ic是线性信息，而机器学习可以拟合高维非线性的信息。
所以，现在手工构建的因子，多数用于加权合成，而非机器学习；那么反过来，机器学习所需的特征，通过IC值来筛选还靠谱吗？
import warnings
# from collections import defaultdict
from typing import Dict, List, Tuple
import pandas as pd
import torch
from torch.nn.utils import clip_grad_norm_
# from torch.utils.data import DataLoader
from tqdm import tqdm
from .data_processor import DataProcessor
from .general import corrcoef_loss, get_strategy_returns, share_loss
from .module import Multi_Task_Model # CustomDataset
from .utils import all_nan, plot_pred_nan_num
class MTL_TSMOM:
def __init__(
self,
dataset: DataProcessor,
input_size: int,
lstm_hidden_size: int,
mlp_hidden_size: int,
lstm_layers: int,
mlp_layers: int,
optimizer_name: str,
transcation_cost: float,
target_vol: float,
lstm_dropout: float,
mlp_dropout: float,
max_grad_norm: float,
# batch_size: int,
num_epochs: int,
opt_kwargs: Dict = None,
early_stopping: int = 50,
log_step: int = 100,
verbose: bool = False,
save_path: str = None,
) -> None:
self.epoch_loss = [] # 储存每一次的损失
# self.all_loss = defaultdict(list) # 储存每一次的损失 1-train 2-valid
self.dataset = dataset
self.transcation_cost = transcation_cost
self.target_vol = target_vol
self.max_grad_norm = max_grad_norm
# self.batch_size = batch_size
self.num_epochs = num_epochs
self.early_stopping = early_stopping
self.log_step = log_step
self.verbose = verbose
self.save_path = save_path
# 初始化模型
self.model = Multi_Task_Model(
input_size,
lstm_hidden_size,
mlp_hidden_size,
lstm_layers,
mlp_layers,
lstm_dropout,
mlp_dropout,
).cuda()
if opt_kwargs is None:
opt_kwargs = {}
self.optimizer = getattr(torch.optim, optimizer_name)(
self.model.parameters(), **opt_kwargs
)
def log(self, arg, verbose=True) -> None:
if verbose:
print(arg)
def train_model(self, train_datase: List, gloabal_step: int = None) -> float:
self.model.train()
# train_dataset = CustomDataset(train_datase)
# train_loader = DataLoader(
# train_dataset, batch_size=self.batch_size, shuffle=False
# )
features, next_returns, forward_vol = train_datase
total_loss = 0.0
# loss = 0.0
# for batch, (features, next_returns, forward_vol) in enumerate(train_loader):
pred_sigma, weight = self.model(features)
auxiliary_loss: float = corrcoef_loss(pred_sigma, forward_vol)
main_loss: float = share_loss(
weight, next_returns, self.target_vol, self.transcation_cost
)
total_loss = (auxiliary_loss + main_loss) * 0.5
self.optimizer.zero_grad()
total_loss.backward()
# 为了防止梯度爆炸，我们对梯度进行裁剪
if self.max_grad_norm is not None:
clip_grad_norm_(self.model.parameters(), self.max_grad_norm)
self.optimizer.step()
# if gloabal_step is not None:
# self.all_loss[gloabal_step].append(
# (1, batch, auxiliary_loss, main_loss, total_loss)
# )
# loss += total_loss
return total_loss # loss / len(train_loader)
def validation_model(
self, validation_dataset: List, gloabal_step: int = None
) -> float:
# valid_dataset = CustomDataset(validation_dataset)
# valid_loader = DataLoader(
# valid_dataset, batch_size=self.batch_size, shuffle=False
# )
total_loss = 0.0
# loss = 0.0
self.model.eval()
features, next_returns, forward_vol = validation_dataset
with torch.no_grad():
# for batch, (features, next_returns, forward_vol) in enumerate(valid_loader):
pred_sigma, weight = self.model(features)
auxiliary_loss = corrcoef_loss(pred_sigma, forward_vol)
main_loss = share_loss(
weight, next_returns, self.target_vol, self.transcation_cost
)
total_loss = (auxiliary_loss + main_loss) * 0.5
# loss += total_loss
# if gloabal_step is not None:
# self.all_loss[gloabal_step].append(
# (2, batch, auxiliary_loss, main_loss, total_loss)
# )
return total_loss # loss / len(valid_loader)
def predict_data(self, test_part: List) -> Tuple[torch.Tensor, torch.Tensor]:
features, next_returns, _ = test_part
with torch.no_grad():
_, weight = self.model(features)
return weight, next_returns
def loop(
self, train_part: List, valid_part: List, global_step: int = None
) -> float:
best_valid_loss: float = float("inf") # 用于记录最好的验证集损失
epochs_without_improvement: int = 0 # 用于记录连续验证集损失没有改善的轮数
for epoch in range(self.num_epochs):
train_loss: float = self.train_model(train_part)
valid_loss: float = self.validation_model(valid_part)
if (self.log_step is not None) and (epoch % self.log_step == 0):
self.log(
f"Epoch {epoch or epoch+1}, Train Loss: {train_loss:.4f}, Valid Loss: {valid_loss:.4f}",
self.verbose,
)
# 判断是否有性能提升，如果没有则计数器加 1
# NOTE:这样是最小化适用的,如果是最大化,需要改成 valid_loss > best_valid_loss
if valid_loss < best_valid_loss:
best_valid_loss = valid_loss
epochs_without_improvement: int = 0
else:
epochs_without_improvement += 1
# 保存每一次的损失
self.epoch_loss.append((global_step, train_loss, valid_loss))
# 判断是否满足 early stopping 条件
if (self.early_stopping is not None) and (
epochs_without_improvement >= self.early_stopping
):
self.log(f"Early stopping at epoch {epoch + 1}...", self.verbose)
break
return valid_loss
def fit(self):
ls: List = [] # 储存每一次的权重和收益
size: int = len(self.dataset.train_dataset)
for i, (train_part, valid_part, test_part) in enumerate(
tqdm(
zip(
self.dataset.train_dataset,
self.dataset.valid_dataset,
self.dataset.test_dataset,
),
total=size,
desc="train",
)
):
self.loop(train_part, valid_part, i)
weight, next_returns = self.predict_data(test_part)
ls.append((weight, next_returns))
if all_nan(weight):
warnings.warn(f"下标{i}次时:All nan in weight,已经跳过")
# raise ValueError(f"下标{i}次时:All nan in weight")
break
weights_tensor: torch.Tensor = torch.cat([t[0] for t in ls], dim=0)
returns_tensor: torch.Tensor = torch.cat([t[1] for t in ls], dim=0)
self.weight = weights_tensor
self.next_returns = returns_tensor
if self.save_path is not None:
torch.save(self.model.state_dict(), self.save_path)
# return weights_tensor, returns_tensor
def get_backtest_returns(self) -> pd.DataFrame:
try:
self.weight
except NameError as e:
raise NameError("请先调用fit方法") from e
strategy_frame: pd.DataFrame = get_strategy_returns(
self.weight, self.next_returns, self.dataset.test_idx
)
return strategy_frame
def get_loss_score(self) -> pd.DataFrame:
if self.epoch_loss == []:
raise ValueError("请先调用fit方法")
return pd.DataFrame(
[(j.item(), k.item()) for _, j, k in self.epoch_loss],
columns=["train", "valid"],
)
def plot_pred_nan_num(self):
try:
self.weight
except NameError as e:
raise NameError("请先调用fit方法") from e
return plot_pred_nan_num(self.weight)昨天在星球里发布的论文，以上是核心代码。
通过时序动量和波动率对投资组合目标波动率建模。
代码下载：
吾日三省吾身
01
财富自由小目标------七年赚到500万实现财富自由，这是我的计划，也适合大多数普通人------这是我三年前写的文章了，这个时间点的认知，基本已经成型。财富自由的三个层次，三条路径吧。
第二层次相信并持续践行中。
努力开展第三层次。------做生产者，创造有价值的东西，走财富自由快车道。
更新了一下小目标： 按进度5年的阶段小目标，如果你有勇气把目标提升至10倍，那么5年内就可以实现大目标。
2000个W------普通人基本可以退休且无后顾之忧了。
怎么做呢？投资、创业、技能和知识付费。。
我问kimi怎么做，它的回答：
普通人在5年内赚取2000万是一个具有挑战性的目标，但并非不可能。以下是一些可能的途径和策略，但请注意，这些方法都涉及不同程度的风险，并且成功并不是保证的。
02
"对宏观保持耐心，对微观保持效率"。
今天读到这句话挺受启发。
多数人对宏观缺乏耐心，无论是投资还是经营自己的人生。
其实就是"但行好事，莫问前程"，又同长期主义，延迟满足相关联。
好的事情发生，需要一点时间，有时候来得比你想象中要更久。我们可以努力的时间，只是一点一滴的当下。
"种一棵树最好的时间是十年前，其次是现在"。
03
吐槽两句------有一种讲量化的书，竟然只讲一堆理论、公式，数学推导。
然后竟然没有一行代码。
金融是一个偏实战的行业，它与物理、数学这种严格的科学不同。
好比马可维茨获得诺奖的MVO，并不能用于投资一样，因为参数敏感度太高，收益率无法预估且不稳定等因素。
理论当然重要，但金融的艺术性决定理论与实战会有出入。
所以，作为量化的书，不结合实战，连数据分析都不做，就光讲理论，洋洋洒洒这么厚的一本书，实在是。
之后我若是写书，一定会规避这种风格。要么不写，要么大家一定会拿到可以直接跑的代码。