| Compartilhe o registro |
|
Exportar este item:
Use este identificador para citar ou linkar para este item:
https://tede2.pucrs.br/tede2/handle/tede/10941| Tipo do documento: | Tese |
| Título: | Data processing with cross-application interference control via system-level instrumentation |
| Título(s) alternativo(s): | Processamento de dados com controle de interferência entre aplicativos por meio de instrumentação no nível do sistema operacional |
| Autor: | Xavier, Miguel Gomes  |
| Primeiro orientador: | De Rose, Cesar Augusto F. |
| Resumo: | World’s gigantic data collection is reaching a crucial point for significant technological changes to deal with the immense variety and performance needs. While the complexities of data have been increasing, the real impact depends on the ability of extraction and transformation of these massive and varied raw data sets to uncover valuable information. Gaining insights into this information has led to the area of Big Data analytics. Data analysis has represented a major challenge in designing highly scalable resource management systems to integrate, extract and transform data into information, while maintaining users’ experience and business’ expectation. Resource management systems for Big Data generally consolidate applications and use system-level virtualization (containers) to enable resource sharing and improve efficiency, but performance still vary unpredictably due to the competition in access to shared resources like CPU, memory, disk and network. The initial intuition motivating our work is that the system-level information availability could be used to classify the interference emanate from containerized applications. We therefore conjecture that interference-aware clusters may speed up applications to accelerate Big Data analytics and improve resource-efficiency, while maintaining users’ experiences and business’ expectations. To confirm our thesis, we first studied Big Data performance needs and existing container system performance isolation weaknesses. Gaining insight from these studies to propose an container placement with interference recognition, we put all these together in an interference-aware scheduler prototype, which resulted in gains of up to 35% in scheduling performance and 42% in resource efficiency, thus, confirming the thesis. |
| Abstract: | O volume de dados na rede global está atingindo uma escala sem precedentes exigindo mudanças tecnológicas em diferentes espectros da computação para lidar com a crescente necessidade de desempenho. Embora as complexidades dos dados tenham aumentado, o impacto real depende da capacidade de extração e transformação desses conjuntos maciços de dados brutos e variados para extrair informações valiosas. Obter informações sobre esses dados derivou um amplo espectro para análise de Big Data. A análise de dados representou um grande desafio ao projetar sistemas de gerenciamento de recursos altamente escaláveis para integrar, extrair e transformar dados brutos em informações, mantendo a experiência dos usuários e as expectativas dos negócios. Os sistemas de gerenciamento de recursos para Big Data geralmente consolidam aplicativos e usam virtualização em nível de sistema operacional (contêineres) para permitir o compartilhamento de recursos e melhorar a eficiência. No entanto, o desempenho ainda varia imprevisivelmente devido à competição no acesso a recursos compartilhados como CPU, memória, disco e rede. A intuição inicial que motiva o desenvolvimento desse trabalho é capacidade dos processadores modernos de disponibilizar informações que possam ser usadas para classificar a interferência emanada de aplicativos em contêiner. Portanto, conjeturamos que os clusters que interpresetam esses dados podem acelerar as aplicações no processo de análise de Big Data e melhorar a eficiência de recursos. Para confirmar nossa tese, primeiro estudamos as necessidades de desempenho de Big Data e os pontos fracos existentes no isolamento de desempenho de contêineres. Obtendo informações desses estudos para propor uma colocação de contêiner com reconhecimento de interferência, reunimos tudo isso em um protótipo de planejador com reconhecimento de interferência, que resultou em ganhos de até 35% no desempenho da programação e 42% na eficiência dos recursos, portanto, confirmando a tese. |
| Palavras-chave: | Big Data Resource Management Virtualization High Performance Computing Operating Systems Big Data Gerenciamento de Recursos Sistemas Operacionais Virtualização Computação de Alto Desempenho |
| Área(s) do CNPq: | CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO |
| Idioma: | eng |
| País: | Brasil |
| Instituição: | Pontifícia Universidade Católica do Rio Grande do Sul |
| Sigla da instituição: | PUCRS |
| Departamento: | Escola Politécnica |
| Programa: | Programa de Pós-Graduação em Ciência da Computação |
| Tipo de acesso: | Acesso Aberto |
| Restrição de acesso: | Trabalho não apresenta restrição para publicação |
| URI: | https://tede2.pucrs.br/tede2/handle/tede/10941 |
| Data de defesa: | 8-Jan-2019 |
| Aparece nas coleções: | Programa de Pós-Graduação em Ciência da Computação |
Arquivos associados a este item:
| Arquivo | Descrição | Tamanho | Formato | |
|---|---|---|---|---|
| MIGUEL GOMES XAVIER_TES.pdf | MIGUEL_GOMES_XAVIER_TES | 2,24 MB | Adobe PDF |  Baixar/Abrir Pré-Visualizar |
Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.