一文详解TensorFlow与PyTorch有什么关联

# TensorFlow 1.x（静态图） → 借鉴 PyTorch → TensorFlow 2.x（动态图）
# PyTorch（动态图） → 借鉴 TensorFlow → PyTorch JIT（静态图支持）

# PyTorch 的动态图
import torch
x = torch.tensor([1.0])
y = torch.tensor([2.0])
z = x + y  # 立即执行

# TensorFlow 2.x 的动态图
import tensorflow as tf
x = tf.constant([1.0])
y = tf.constant([2.0])
z = x + y  # 立即执行（Eager Execution）

# 两者都支持的静态图/图模式
# PyTorch TorchScript
@torch.jit.script
def model(x):
    return x * 2

# TensorFlow tf.function
@tf.function
def model(x):
    return x * 2

# Keras API 成为事实标准（两者都支持）
# TensorFlow 内置 Keras
model = tf.keras.Sequential([...])

# PyTorch 有第三方实现（但官方推荐自己的方式）
# PyTorch Lightning / torch.nn 模块设计受 Keras 影响
import torch.nn as nn
model = nn.Sequential(...)

ONNX（Open Neural Network Exchange）作为桥梁：
PyTorch → ONNX → TensorFlow
TensorFlow → ONNX → PyTorch

工具链：
- torch.onnx.export()      # PyTorch 导出
- onnx-tf                  # ONNX 转 TensorFlow
- tf2onnx                  # TensorFlow 转 ONNX

# 1. PyTorch 模型在 TensorFlow 中运行
# 使用 ONNX Runtime
import onnxruntime as ort
ort_session = ort.InferenceSession("pytorch_model.onnx")

# 2. TensorFlow 模型在 PyTorch 中运行
# 使用 tf2onnx + onnx2pytorch
# 或直接使用 TensorFlow 的 SavedModel

# 3. 数据格式转换
import torch
import tensorflow as tf
import numpy as np

# NumPy 作为中介
numpy_array = np.random.randn(3, 224, 224)

# NumPy → PyTorch Tensor
torch_tensor = torch.from_numpy(numpy_array).float()

# NumPy → TensorFlow Tensor
tf_tensor = tf.constant(numpy_array, dtype=tf.float32)

# 相互转换
torch_to_tf = tf.constant(torch_tensor.numpy())
tf_to_torch = torch.from_numpy(tf_tensor.numpy())

# 场景：研究用 PyTorch，部署用 TensorFlow
# 研究阶段（PyTorch）
import torch
import torch.nn as nn

class ResearchModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.layers = nn.Sequential(...)
    
    def forward(self, x):
        return self.layers(x)

# 训练和实验后，转换为 ONNX
torch.onnx.export(model, dummy_input, "model.onnx")

# 生产部署（TensorFlow + TensorRT/TFLite）
# 使用 ONNX-TensorFlow 转换

# 1. Hugging Face Transformers（同时支持）
from transformers import AutoModel

# PyTorch
model = AutoModel.from_pretrained("bert-base-uncased")

# TensorFlow
model = TFAutoModel.from_pretrained("bert-base-uncased")

# 2. Keras 3.0（多后端支持）
# 可以切换 TensorFlow、PyTorch、JAX 后端
import keras
keras.config.set_backend("torch")  # 使用 PyTorch 后端
keras.config.set_backend("tensorflow")  # 使用 TensorFlow 后端

# MLIR（Multi-Level IR）趋势
# TensorFlow 使用 MLIR 作为编译器基础设施
# PyTorch 2.0 的 TorchDynamo 也向类似方向发展

# JAX 作为另一个影响因子
# 两者都在借鉴 JAX 的纯函数式思想

# 如果是：
# 1. 学术研究、快速原型 → PyTorch
# 2. 工业部署、移动端 → TensorFlow
# 3. 大型团队、企业级 → 两者都可能（考虑团队熟悉度）
# 4. 特定需求（TPU、TensorRT） → 选择支持更好的

# 最好掌握两者基础：
# 研究论文通常提供两种实现
# 工作中可能遇到两种代码库