Use este identificador para citar ou linkar para este item: http://hdl.handle.net/11422/23205
Tipo: Dissertação
Título: Particionamento de redes neurais profundas com saídas antecipadas
Autor(es)/Inventor(es): Pacheco, Roberto Gonçalves
Orientador: Couto, Rodrigo de Souza
Resumo: O processo de inferência em redes neurais profundas (Deep Neural Networks - DNNs) demanda uma alta capacidade computacional. Essa capacidade pode não estar disponível nos dispositivos finais, sendo necessário o uso de uma infraestrutura de computação em nuvem. No entanto, enviar dados brutos à nuvem pode aumentar o tempo de inferência, devido ao tempo de comunicação. Para reduzir esse tempo, as primeiras camadas neurais da DNN podem ser executadas em uma infraestrutura de computação na borda e o restante na nuvem. Dependendo de quais camadas são processadas na borda, isso pode reduzir a quantidade de dados enviada, mas pode também aumentar o tempo de processamento. Como o tempo de inferência é composto pelo tempo de comunicação e de processamento, é necessário lidar com esse compromisso. Problemas de particionamento de DNNs buscam resolver esse compromisso, escolhendo o conjunto de camadas a ser executado na borda para minimizar o tempo de inferência. Esta dissertação aborda o particionamento de DNNs com saídas antecipadas. Nesse tipo de DNN, o processo de inferência pode ser concluído nas camadas intermediárias, dependendo do nível de incerteza da classificação de uma amostra de entrada. Assim, além das condições da rede e do hardware da nuvem e da borda, características dos dados de entrada também podem influenciar a decisão de particionamento. Para considerar tais características, esta dissertação modela o problema de particionamento como um problema de caminho mais curto em um grafo e, portanto, resolvido em tempo polinomial. O modelo é usado como base para propor o sistema POPEX (Partitioning OPtimization for deep neural networks with Early eXits). Além disso, esta dissertação avalia como o modelo da rede neural e os dados de entrada alteram o particionamento ótimo em DNNs com saídas antecipadas. Em relação ao primeiro, considera-se o processo de calibração de DNNs, enquanto o segundo refere-se ao impacto da distorção da imagem no particionamento.
Resumo: Deep Neural Networks (DNNs) requires high computation power. This power may not be available on end devices, requiring the use of a cloud computing infrastructure. However, sending raw data to the cloud can increase the inference time, due to the communication time. To reduce this time, the first layers of DNN can be executed in a edge device and the remaining layers in the cloud. Depending on which layers are processed at the edge, this can reduce the amount of data sent, but can also increase processing time. As the inference time is composed of the communication and processing time, it is necessary to deal with this trade-off. Partitioning problems try to solve this trade-off, choosing a set of layers to be executed in the edge device to minimize the inference time. This dissertation addresses DNN partitioning with early exits. In this kind of DNN, the inference can be finished in the middle layers, depending on the level of uncertainty of the classification of an input sample. Therefore, besides of network conditions and cloud and edge hardware, input data characteristics can also influence the partitioning decision. To consider these characteristics, this disseration models the partitioning problem as a shortest path problem in a graph and, thus, can be solved in polynomial time. This model is used as the basis for proposing the POPEX (Partitioning OPtimization for deep neural networks with Early eXits) system. Moreover, this dissertation evaluates as the DNN model and input data can affect the DNN partitioning with early exits. Regarding the first, this considers the process of DNN calibration, while the second refers to image distortion in the partitioning.
Palavras-chave: Redes neurais profundas
Computação em borda
Particionamento de redes neurais profundas
Assunto CNPq: Engenharia Elétrica
Programa: Programa de Pós-Graduação em Engenharia Elétrica
Unidade produtora: Instituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa de Engenharia
Editora: Universidade Federal do Rio de Janeiro
Data de publicação: Set-2020
País de publicação: Brasil
Idioma da publicação: por
Tipo de acesso: Acesso Aberto
Aparece nas coleções:Engenharia Elétrica

Arquivos associados a este item:
Arquivo Descrição TamanhoFormato 
942465.pdf1.17 MBAdobe PDFVisualizar/Abrir


Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.