Otimização da seleção dinâmica de ensemble em classificação: integrando seleção de protótipos e metaclassificadores
| dc.contributor.advisor | Silva, Leandro Augusto da | |
| dc.contributor.author | Manastarla, Alberto | |
| dc.date.accessioned | 2025-03-07T12:15:04Z | |
| dc.date.available | 2025-03-07T12:15:04Z | |
| dc.date.issued | 2024-09-27 | |
| dc.description.abstract | No campo da aprendizagem de máquina, o uso de sistemas de múltiplos classificadores (MCS) tem sido reconhecido como eficaz para alcançar altas taxas de reconhecimento no campo de aprendizado de máquina. Entre esses sistemas, as técnicas de seleção dinâmica de ensemble (DES) se destacam, porque diferentes modelos ou classificadores podem ser competentes (ou es pecialistas) em diferentes regiões locais do espaço de características, também conhecidas como regiões de competência. Por essa razão, uma abordagem conveniente é selecionar o(s) modelo(s) mais promissor(es) para uma dada instância em análise. A competência dos classificadores, ge ralmente, é estimada de acordo com um determinado critério, calculado na vizinhança (região de competência) da instância em análise, definida em um conjunto de validação previamente esta belecido. Um problema surge quando há um alto grau de ruído nos dados de validação, fazendo com que as instâncias pertencentes à região de competência não representem a instância em análise. Nesses casos, a técnica de seleção dinâmica pode escolher um classificador (modelo) que se ajustou demais ou se subajustou à região de competência em questão, em vez daquele com o melhor desempenho de generalização. Também, uma outra questão importante no DES é definir o critério adequado para calcular a competência dos classificadores, considerando que existem diversos critérios disponíveis. Usar apenas um critério pode levar a uma estimativa ina dequada da competência do(s) classificador(es). Para abordar essas questões, foi desenvolvido o SGP-DES (Self-generating Prototype Dynamic Ensemble Selection), um novo framework de seleção dinâmica de ensemble que combina técnicas de seleção de protótipos, extração de me tainformações e um metaclassificador versátil. A versatilidade deste metaclassificador provém de sua capacidade de operar tanto com modelos otimizados quanto com modelos baseados em instâncias, ambos destinados a avaliar e selecionar de forma dinâmica, a partir de um pool de classificadores inicialmente gerado, os classificadores mais promissores para compor os ensem bles de classificadores finais que farão a predição do rótulo de classe das instâncias analisadas durante a fase de generalização do framework. O SGP-DES incorpora diversos critérios de se leção para avaliar a competência dos classificadores e adapta-se às variações nas condições de classificação. Ele utiliza metacaracterísticas derivadas das regiões de competência das instân cias analisadas, estabelecidas por protótipos representativos do conjunto de treinamento original que foram utilizados para formar o conjunto de validação. Essa estratégia permite ao metaclas sificador prever quais serão os classificadores mais eficazes, dado uma instância em análise. No entanto, a adequação de alguns critérios de seleção pode variar conforme o tipo de problema de classificação. Condições particulares nos dados, como alta demanda de armazenamento, resposta lenta do processo de classificação e baixa tolerância a ruídos, podem comprometer a eficiência ou precisão desses critérios. Por isso, é importante que o método de seleção de pro tótipos, responsável por formar o conjunto de validação e de onde serão definidas as regiões de competência das instâncias analisadas, seja adaptável ao problema de classificação em questão, de modo a otimizar a eficácia do metaclassificador no processo de seleção dos classificadores mais aptos para predizer corretamente o rótulo de classe das instâncias analisadas. Experimentos realizados com conjuntos de dados públicos amplamente conhecidos na literatura demonstraram que o SGP-DES supera os métodos DES de última geração, assim como os métodos tradicionais de modelo único e de ensemble, em termos de acurácia, confirmando sua eficácia em uma ampla gama de contextos de classificação. | |
| dc.description.sponsorship | CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível | |
| dc.description.sponsorship | IPM - Instituto Presbiteriano Mackenzie | |
| dc.description.sponsorship | MackPesquisa - Fundo Mackenzie de Pesquisa | |
| dc.identifier.uri | https://dspace.mackenzie.br/handle/10899/40064 | |
| dc.language.iso | pt_BR | |
| dc.language.iso | en | |
| dc.publisher | Universidade Presbiteriana Mackenzie | |
| dc.subject | ensemble de classificadores | |
| dc.subject | sistemas de múltiplos classificadores | |
| dc.subject | seleção de protótipos | |
| dc.subject | seleção dinâmica de ensemble | |
| dc.subject | meta-aprendizagem | |
| dc.title | Otimização da seleção dinâmica de ensemble em classificação: integrando seleção de protótipos e metaclassificadores | |
| dc.type | Tese | |
| local.contributor.advisorLattes | http://lattes.cnpq.br/1396385111251741 | |
| local.contributor.advisorOrcid | https://orcid.org/0000-0002-8671-3102 | |
| local.contributor.authorLattes | http://lattes.cnpq.br/4823102188272284 | |
| local.contributor.authorOrcid | https://orcid.org/0000-0003-2032-6481 | |
| local.contributor.board1 | Ruivo, Eurico Luiz Prospero | |
| local.contributor.board1Lattes | http://lattes.cnpq.br/5918644808671007 | |
| local.contributor.board2 | Cavalcanti, George Darmiton da Cunha | |
| local.contributor.board2Lattes | http://lattes.cnpq.br/8577312109146354 | |
| local.contributor.board2Orcid | https://orcid.org/0000-0001-7714-2283 | |
| local.contributor.board3 | Vallim Filho, Arnaldo Rabello de Aguiar | |
| local.contributor.board3Lattes | http://lattes.cnpq.br/2511892257148568 | |
| local.contributor.board4 | Lorena, Ana Carolina | |
| local.contributor.board4Lattes | http://lattes.cnpq.br/3451628262694747 | |
| local.contributor.board4Orcid | https://orcid.org/0000-0002-6140-571X | |
| local.contributor.coadvisor | Saito, Lúcia Akemi Miyazato | |
| local.contributor.coadvisorLattes | http://lattes.cnpq.br/0915583034741895 | |
| local.contributor.coadvisorOrcid | https://orcid.org/0000-0001-7157-1191 | |
| local.description.abstracten | In the field of machine learning, the use of multiple classifier systems (MCS) has been recognized as effective in achieving high recognition rates. Among these systems, dynamic ensemble selection (DES) techniques stand out because different models or classifiers can be competent (or specialists) in different local regions of the feature space, also known as regions of competence. For this reason, a convenient approach is to select the most promising model(s) for a given instance under analysis. The competence of classifiers is usually estimated accor ding to a certain criterion, calculated in the neighborhood (region of competence) of the instance under analysis, defined in a previously established validation set. A problem arises when there is a high degree of noise in the validation data, causing the instances belonging to the region of competence not to represent the instance under analysis. In such cases, the dynamic selection technique may choose a classifier (model) that overfits or underfits the region of competence in question, instead of one with the best generalization performance. Another important issue in DES is defining the appropriate criteria for calculating the competence of classifiers, con sidering that various criteria are available. Using only one criterion can lead to an inadequate estimation of the classifiers’ competence. To address these issues, SGP-DES (Self-generating Prototype Dynamic Ensemble Selection) was developed, a new dynamic ensemble selection framework that combines prototype selection techniques, meta-information extraction, and a versatile metaclassifier. The versatility of this metaclassifier comes from its ability to operate with both optimized models and instance-based models, both intended to dynamically evaluate and select, from an initially generated pool of classifiers, the most promising ones to compose the final classifier ensembles that will predict the class labels of the instances analyzed during the generalization phase of the framework. SGP-DES incorporates various selection criteria to eva luate the competence of classifiers and adapts to variations in classification conditions. It uses meta-features derived from the regions of competence of the analyzed instances, established by representative prototypes of the original training set that were used to form the validation set. This strategy allows the metaclassifier to predict which classifiers are most effective for a given instance under analysis. However, the suitability of some selection criteria may vary depending on the type of classification problem. Particular conditions in the data, such as high storage demand, slow classification process response, and low noise tolerance, can compromise the efficiency or accuracy of these criteria. Therefore, it is important that the prototype selection method, responsible for forming the validation set and defining the regions of competence of the analyzed instances, be adaptable to the classification problem in question, to optimize the effec tiveness of the metaclassifier in selecting the classifiers most capable of correctly predicting the class labels of the analyzed instances. Experiments conducted using well-known public datasets in the literature have demonstrated that SGP-DES outperforms state-of-the-art DES methods, as well as traditional single-model and ensemble methods, in terms of accuracy, confirming its effectiveness across a wide range of classification contexts. | |
| local.keywords | ensemble of classifiers | |
| local.keywords | multiple classifier systems | |
| local.keywords | prototype selection | |
| local.keywords | dynamic ensemble selection | |
| local.keywords | meta-learning | |
| local.publisher.country | Brasil | |
| local.publisher.department | Escola de Engenharia Mackenzie (EE) | |
| local.publisher.initials | UPM | |
| local.publisher.program | Engenharia Elétrica e Computação | |
| local.subject.cnpq | CNPQ::ENGENHARIAS |