Mastering LLMs: From Fundamentals to Fine-Tuning
Obiettivi del Corso
Al termine del corso, i partecipanti saranno in grado di:
- Comprendere i fondamenti matematici del deep learning.
- Sviluppare da zero sistemi di deep learning utilizzando PyTorch.
- Implementare modelli avanzati come Transformers e Large Language Models (LLM).
- Applicare le conoscenze acquisite per risolvere problemi reali nel campo dell’intelligenza artificiale.
Metodologia Didattica
- Lezioni frontali per introdurre i concetti teorici.
- Esercitazioni pratiche con Jupyter Notebooks per consolidare l’apprendimento.
Materiali didattici: slides, dispense scritte e notebook, alcuni dei quali già utilizzati in corsi magistrali di Deep Learning e altri sviluppati appositamente per questo corso.
Durata del corso: 3 giorni da 8 ore (24 ore)
Luogo del corso: Diretta Streaming
Costo del corso: Euro 2.400,00
Numero massimo studenti: 20
Prossima sessione: 20 maggio 2025
Requisiti:
Basi di programmazione in Python, concetti di base di calcolo (concetto di funzione, derivata, linearità).
Programma del Corso
Prerequisiti e Concetti Base
- Prerequisiti di Algebra e Ottimizzazione
- Ripasso di algebra lineare: vettori, matrici e operazioni fondamentali.
- Nozioni di calcolo differenziale: derivate e gradienti.
Introduzione alle Reti Neurali: MLP (Multilayer Perceptron)
- Architettura delle reti neurali artificiali.
- Funzioni di attivazione e loro importanza.
- Forward propagation e struttura dei layer.
Introduzione a PyTorch
- Panoramica del framework PyTorch.
- Tensori e operazioni fondamentali.
- Implementazione di una semplice rete neurale.
Deep Learning
- Training di una rete
- Introduzione al concetto di loss, esempi notevoli di loss.
- Gradient Descent e Stochastic Gradient Descent.
- Calcolo del gradiente tramite backpropagation.
Implementazione from Scratch di un Classificatore per Immagini
- Preparazione del dataset e pre-processing.
- Costruzione e training di un modello da zero.
- Valutazione delle performance e metriche di classificazione.
Transformers
- Introduzione all’architettura Transformer.
- Meccanismi di self-attention.
- Vantaggi rispetto alle reti neurali tradizionali.
Large Language Models (LLM)
- Introduzione al Language Modeling
- Concetti fondamentali del language modeling.
- Modelli probabilistici e reti neurali applicate al linguaggio.
Tokenizzazione
- Tecniche di tokenizzazione e loro importanza.
- Byte Pair Encoding (BPE) e subword tokenization.
Sviluppo di un LLM from Scratch (nanoGPT)
- Implementazione di un piccolo modello GPT.
- Training su dataset di testo.
- Generazione di testo e valutazione dei risultati.
Prenota il tuo posto.
Compilando il form ti verrà riservato un posto al prossimo corso.
Riceverai all'indirizzo email indicato l'offerta completa per il corso prenotato.
Per confermare la prenotazione ti verrà chiesto di effettuare un bonifico pari al 10% dell'importo totale, per poi effettuare il saldo entro 2 giorni antecedenti la data di inizio del corso.
Le date indicate potranno essere soggette a variazioni che verranno comunicate con congruo anticipo.
Nel caso sopraggiunga l'impossibilità di partecipare al corso nelle date indicate, si potrà partecipare nella sessione successiva.