┌─────┐ │start│ ├─────┤ └─────┘ | | ┌───────────────────┐ │Evaluate loss index│ ├───────────────────┤ └───────────────────┘ ┌───────────────────────────────────────────┐ │Improve neural network parameters │ ├───────────────────────────────────────────┤ ┌─┐ │* Calculate quasi-Newton training direction│ │ │ │* Calculate training rate │--├─┤ │ │ └─┘ └───────────────────────────────────────────┘ | | ┌───┐ │end│ ├───┤ └───┘