ml project struct

Proposed struct:

ml-pipeline/
│
├── data/                          # Raw and processed data (git-ignored)
│   ├── raw/
│   ├── processed/
│   └── augmented/
│
├── src/
│   ├── data/
│   │   ├── fetch.py               # Data fetching (API, DB, web, etc.)
│   │   ├── augment.py             # Data augmentation logic
│   │   └── preprocess.py          # Preprocessing: cleaning, normalization, tokenization, etc.
│   │
│   ├── models/
│   │   ├── base.py                # Base model class (optional)
│   │   ├── model_a.py             # e.g., CNN, Transformer, etc.
│   │   ├── model_b.py
│   │   └── _init_.py
│   │
│   ├── training/
│   │   ├── trainer.py             # Training loop, supports multiple models
│   │   ├── optimizers.py          # Custom or wrapped optimizers
│   │   └── callbacks.py           # Logging, checkpointing, early stopping
│   │
│   ├── inference/
│   │   ├── predictor.py           # Load model and run inference
│   │   └── api.py                 # FastAPI/Flask wrapper (optional)
│   │
│   ├── utils/
│   │   ├── config.py              # Config loading (YAML/JSON)
│   │   ├── logging.py             # Custom logging setup
│   │   └── metrics.py             # Evaluation metrics
│   │
│   └── pipeline/
│       ├── pipeline.py            # Orchestrates full pipeline
│       └── dag.py                 # For complex workflows (e.g., using Prefect/Airflow later)
│
├── configs/
│   ├── config.yaml                # Main config
│   ├── model_a.yaml
│   └── model_b.yaml
│
├── notebooks/
│   ├── eda.ipynb
│   └── experiment_dev.ipynb       # For prototyping
│
├── experiments/
│   ├── run_001/
│   │   ├── model.pth
│   │   ├── metrics.json
│   │   └── log.txt
│   └── ...
│
├── tests/
│   ├── test_data.py
│   └── test_models.py
│
├── requirements.txt
├── setup.py                       # Optional: make your package installable
└── README.md