# Probability and Statistics Seminar

## Past sessions

Newer session pages: Next 8 7 6 5 4 3 2 1 Newest

### Robust statistics: an overview

The basic ingredients of a statistical analysis are, in general, a data set, a model and a number of statistical procedures (estimation methods and tests). These procedures require that certain assumptions are fulfilled in order to function properly. Examples of this kind of assumptions are: normality of the observations, their independence and distributional identity (i.i.d.), homogeneity of variances, linearity or stationarity. If one or several of these assumptions are not verified the results of the statistical procedures may become completely aberrant. When this happens the procedure is called "non-robust". If, on the contrary, the results do not change a lot in the presence of small deviations from the assumptions, the procedure is called "robust". The importance of robust statistical procedures comes from the fact that the ideal assumptions are barely or never met in practice. Several simple examples will be presented to illustrate the severe effects of the violation of the underlying assumptions on the results of statistical procedures. After this introduction the talk goes on with a brief presentation of the basic concepts of robust statistics and with the discussion of robust methods in two main areas of statistics: regression and multivariate analysis. These areas are precisely those where there is a stronger need for robust methods and where the research effort has been more concentrated. The talk ends with some considerations on the future of robust statistics.

### Métodos de reamostragem para a estimação de medidas de precisão em sondagens

A ideia de efectuar inferências a partir de amostras seleccionadas de populações finitas é fundamental em estatística. Um dos aspectos importantes da inferência diz respeito à estimação da variância, enviesamentos e erros quadráticos médios associados às estimativas das características populacionais. Porém, esta pode ser uma tarefa bastante complicada devido à complexidade dos esquemas de amostragem, ao uso de estimadores não lineares, ou ao impacto do processo de recolha dos dados no estudo de amostragem (dados omissos, não respostas). Mesmo em esquemas de amostragem simples, como o caso da amostragem aleatória simples, a estimação da variância de algumas estatísticas requer técnicas mais elaboradas de estimação. Neste trabalho efectua-se uma breve descrição de vários procedimentos de reamostragem que têm sido propostos na literatura (bootstrap, jackknife e replicação equilibrada repetida) para a estimação de medidas de precisão em sondagens. Esta abordagem parece adequada para suprir certas dificuldades dos métodos tradicionais.

### Analysis of a Stochastic Model for Flash Crowd Scenarios

In this talk we investigate the performance of a file sharing principle similar to the one implemented by eMule and BitTorrent. For this purpose, we consider a system composed of N peers becoming active at exponential random times, thus modeling a flash crowd'' scenario where an initial burst of clients occurs. The system is initiated with only one server offering the desired file and the other peers try to download it after becoming active. Once the file has been downloaded by a peer, this one immediately becomes a server. While the system starts in a congested state where all servers available are saturated by incoming demands, it shifts to a state where a growing number of servers are idle. We are interested in the time needed for this shift to happen, which is closely related to the transient performance of this file sharing principle. In spite of its apparent simplicity, this queueing model (with a random number of servers) reveals quite difficult to analyze. A formulation in terms of an urn and ball model is proposed and corresponding scaling results are derived. These asymptotic results are then compared against simulations.

### Filas de espera oscilantes $M/G/1/n$ e $GI/M(m)//n$ com chegadas em grupo

As filas de espera oscilantes $M/G/1/n$ e $GI/M(m)//n$ com chegadas em grupo oscilam entre duas fases que têm impacto nas características de serviço. Quando o sistema está na fase 1 o número de clientes no sistema varia entre $0$ e $b-1$, e quando está na fase 2 o número de clientes no sistema varia entre $a+1$ e $n$, com $a$ e $b$ sendo dois números inteiros tais que $a \lt b$. Um sistema oscilante evolui da seguinte maneira: se num instante o sistema opera na fase 1, o número de clientes no sistema é menor do que $b$, e o sistema permanece nesta fase até que o número de clientes no sistema seja maior ou igual a $b$. Nesse instante o sistema muda para a fase 2 e permanece nesta fase até ao primeiro instante em que o número de clientes no sistema seja menor ou igual do que $a$. Nesse instante o sistema muda para a fase 1 e assim sucessivamente. O estudo das filas oscilantes $M/G/1/n$ com chegadas em grupo é feito tirando partido da sua estrutura regenerativa markoviana. Usamos cadeias de Markov embebidas e caracterizamos a distribuição limite do número de clientes no sistema. São também estudadas duas outras importantes medidas de desempenho do sistema, particularmente importantes na análise de transmissão de dados e vídeo na Internet: as probabilidades de perdas consecutivas de clientes em períodos de ocupação contínua, e a duração de períodos de ocupação contínua. O estudo das filas oscilantes $GI/M(m)//n$ com chegadas em grupo é feito combinando a metodologia das cadeias embebidas e o uso de uniformização. Caracterizamos as probabilidades limite do número de clientes no sistema e determinamos probabilidades de perda consecutiva em períodos de ocupação contínua.

### 07/11/2007, 11:00 — 12:00 — Room P3.10, Mathematics Building Ana Luísa Papoila, Faculdade de Ciências Médicas da Universidade Nova de Lisboa e CEAUL

Ao utilizar Modelos Lineares Generalizados (GLMs), é possível que ocorra uma má especificação da função de ligação, dada a habitual falta de informação que nos permita escolher correctamente esta função. No caso dos GLMs, vários autores não só detectaram como também quantificaram os efeitos de uma má escolha da função de ligação. Assim, torná-la mais flexível passou a ser uma preocupação para alguns investigadores. Inicialmente, o objectivo era apenas o de generalizar o modelo de regressão logística, mas, cedo, essa generalização contemplou outros GLMs. Para isso, foram utilizadas técnicas paramétricas, não paramétricas e Bayesianas. Mais recentemente, e depois da identificação do mesmo problema nos Modelos Aditivos Generalizados (GAMs), foram desenvolvidos novos métodos não paramétricos com o objectivo de estimar a função de ligação destes modelos. Neste trabalho, propomos a introdução de famílias de funções de ligação paramétricas nos GAMs e, embora os procedimentos aqui sugeridos possam ser utilizados com qualquer tipo de resposta (desde que pertença à família exponencial), concentrar-nos-emos unicamente no caso em que a variável resposta é binária, devido ao lugar tão importante que a regressão logística ocupa na Estatística. A nossa proposta situa-se algures entre um modelo aditivo com uma função de ligação fixa, que tem que ser escolhida a priori, e um modelo aditivo cuja função de ligação é não paramétrica e estimada a partir dos dados.

### Modelação Estocástica em redes de telecomunicações

Um dos desafios que se colocam ao desempenho das redes de telecomunicações é o desenvolvimento de modelos matemáticos e métodos para os analisar, que representem de maneira apropriada a aleatoriadade presente nestes sistemas. Neste seminário, serão apresentados três problemas de investigação em redes fixas e sem fios de telecomunicações, recentemente estudados pelo orador, que utilizam modelação estocástica.

### Instante Óptimo de Relocalização

Na actualidade noticiária somos frequentemente confrontados com notícias sobre a relocalização de empresas multinacionais. A decisão à cerca de uma possível relocalização resulta de um balanço entre o custo associado à relocalização (indemnizações aos trabalhadores despedidos, custos de construção de infraestruturas, etc) e os benefícios em termos de eficiência produtiva da nova localização face à antiga.

Neste seminário aborda-se de um ponto de vista estocástico a determinação do instante óptimo de localização de uma empresa que age de forma óptima, em ambiente de risco neutro, utilizando uma análise de opções reais.

Discutem-se várias hipóteses distribucionais associadas à incerteza presente na modelação do processo de disponibilização de novas e mais eficientes localizações.

(trabalho em co-autoria com José Azevedo-Pereira e Cláudia Nunes)

### Some research problems on long range dependence

Long range dependence is the property of time series data or corresponding models for which observations are strongly correlated across time lags. It has gained particular attention since the mid 90’s, primarily due to its use in modeling data traffic over Internet and other networks. In this talk, the speaker will discuss several, mostly mathematical research problems on long range dependence that he is presently involved in.

### Stochastic Ordering: from the Lorenz curve to Quality Control

The desire to compare what is random is probably as old as probability itself. A landmark in the history of stochastic ordering (SO) is the pioneering work by Lorenz (1905) in the assessment of income inequality in a population of n individuals. Lorenz - feeling that all of the summary measures then under consideration constituted too much condensation of the data - proposed what is now known as the Lorenz curve and suggested the following rule of interpretation: a high level of income inequality is associated to a severely bent curve. Since this tool was developed by Lorenz, SO has gained widespread acceptance and has been applied, namely, in Biology, Queueing Theory, Reliability Theory, Risk Theory, Scheduling, and Statistical Inference. This presentation will focus on a brief overview of SO and on two applications. In Finance, SO is particularly important in demand and shift effect problems in portfolio selection. As for Quality Control, SO provides decisive insights into how control schemes work in practice and allows the performance comparison of competitive schemes.

### Ordenação em excedência de nível e aplicações

A ordenação estocástica é reconhecida nos dias de hoje como uma ferramenta útil para comparar variáveis aleatórias e processos estocásticos. Reflexo disso é a vasta bibliografia na área, a qual inclui inúmeras propostas de relações de ordem estocástica. De entre estas, a mais estudada, é sem dúvida, a ordenação estocástica em distribuição, também denominada de usual ou forte, que compara os processos através das correspondentes funções de distribuição. Contudo, outros tipos de ordenação estocástica de processos são por vezes mais talhadas para estudar determinadas variáveis de interesse. Neste seminário aborda-se, em particular, a ordenação estocástica em excedência de nível (do inglês, level-crossing stochastic order), proposta por A. Irle e J. Gani (2001), a qual é adequada para lidar com situações em que se está interessado em comparar os tempos aleatórios que processos estocásticos levam a exceder níveis. Especificamente, o processo estocástico $X$ diz-se menor que o processo estocástico $Y$ em excedência de nível se, estocasticamente, $X$ demora mais tempo do que $Y$ a exceder qualquer nível, partindo os dois processos de um mesmo nível. Apresentar-se-ão os resultados estabelecidos até à data para a ordenação estocástica em excedência de nível de processos semi-markovianos e cadeias de Markov com espaço de estados isomorfo a um subconjunto de inteiros, comparando-os, sempre que possível, com resultados análogos relativos à correspodente ordenação estocástica usual. Terminaremos com exemplos de aplicação dos mesmos a filas de espera e processos de nascimento e morte com catástrofes.

### Pricing and equilibrium behavior for a Markovian queue with server vacations

The topic of the talk lies in the intersection of queueing and game theory. More specifically we seek for best balking strategies for the customers in a queueing system with server vacations under various levels of information. The model is the single server Markovian queue with setup times. Whenever a customer leaves this system empty, the server departs immediately to attend to secondary jobs. On the contrary, whenever a customer arrives to an empty system, the server is recalled immediately and it takes an exponential setup time to start service again. We assume a natural reward - cost structure for the customers, which incorporates their desire for service as well as their unwillingness to wait. We examine customers behavior under various levels of information regarding the state of the system at arrival instances. More specifically, a customer may know or not know the state of the server and the number of present customers upon his arrival. We derive equilibrium strategies for the customers under the various levels of information and we study the associated social optimization and profit maximization problems. Analytical and numerical comparisons illustrate further the effect of the information level to the pricing and equilibrium behavior of the system.

### New methods in multi-state models

The multi-state models may be considered as a generalization of the survival process where several events occur successively over time. The classical multi-state model describes the life history of an individual as moving through various states. Thus at any time, say t, the individual will be in one state. For a single individual, these states may describe whether the subject is healthy, diseased, diseased with complication or dead. Estimation of the transition probabilities in a non-homogeneous illness-death model is considered here. Traditionally, inference for such models is based on the Markov assumption. We review some of these results and propose new estimators, based on a less restrictive (non-Markov) approach.

### A reconciliação de dados, o erro de medição com viés, o estimador robusto LTD, o engenheiro, e uma ideia dele

Devido ao erro aleatório inerente aos processos de medição, é usual haver inconsistência entre medições e princípios físicos e químicos básicos. A técnica estatística de estimação que permite obter estimativas dos verdadeiros valores das medições ajustados às leis físicas é conhecida como reconciliação de dados. Um problema que afecta as técnicas de reconciliação clássicas é a presença de outliers nos dados. Um outro problema importante é a existência de viés nas medições, o que ocorre com a inevitável descalibração dos instrumentos de medição. O estimador robusto least trimmed differences (LTD) é inerentemente insensível ao viés dos dados. Daqui decorre o interesse na investigação da sua aplicabilidade ao problema de reconciliação de dados. Sendo um estimador em que o grau de aparamento é fixo a priori, isto limita o grau de eficiência que é possível obter. Uma abordagem possível para contornar este problema é a extensão de uma regra adaptativa proposta por Gervini e Yohai em 2002. Na primeira parte, farei a exposição do problema de reconciliação de dados para sistemas dinâmicos não-lineares, e apresentarei um esboço do ataque deste problema com o estimador LTD. Na segunda parte, apresentarei os resultados de uma simulação de Monte Carlo em que uma pequena variação na regra adaptativa de Gervini e Yohai é aplicada ao estimador least trimmed squares (LTS) e a um estimador de norma-$L_p$ aparado. Além disso, estes estimadores adaptativos são comparados com o estimador MM e o estimador TAU.

### A Skew-Normal Item Response Theory Family

Normal assumptions for the latent variable and symmetric item characteristics curves have been used in the last 50 years in many psychometric methods for item-response theory (IRT) models. However this assumption can be restrictive for modeling human behavior. This paper introduces a new family of asymmetric models for item response theory, namely the skew-normal item response theory (SN-IRT) model. This family extends the symmetric ogive normal model by considering: a) an accumulated skew-normal distribution for the item characteristic curve and b) a skew-normal distribution for the latent variables modeling the individuals? abilities. Hence, the SN-IRT is a more flexible model for fitting data sets with dichotomous responses. Bayesian inference methodology using two data augmentation approaches for implementing the MCMC methodology is developed. Model selection is considered by using several Bayesian criteria. An application is conducted and the proposed penalization parameter is interpreted in the context of a data set related to a mathematical test applied to Peruvian students in rural schools.

### Hierarchical Models for Combining Phylogenetic Analyses Using an Iterative Re-weighting Algorithm

Molecular phylogeny is the art and science of inferring the family tree and underlying evolutionary parameters relating the molecular sequences from different genes, or viruses, or species and so on. Phylogenetic modeling is computationally challenging and most phylogenetic modeling estimates a single tree to a single set of molecular sequences. We develop a Bayesian hierarchical semi-parametric regression model to combine phylogenetic analyses of sets of HIV-1 nucleotide sequences. We describe several reweighting algorithms for combining completed Markov chain Monte Carlo (MCMC) analyses to shrink parameter estimates while adjusting for data set-specific covariates.

Individual phylogenetic analyses are performed independently using the publicly available software MrBayes (Huelsenbeck and Ronquist, 2001) that fits a computationally intensive Bayesian model using Markov chain Monte Carlo (MCMC) simulation. We place a hierarchical regression model across the individual analyses to estimate parameters of interest within and across analyses. We use a Mixture of Dirichlet processes (MDP) prior for the parameters of interest to relax inappropriate parametric assumptions and to insure the prior distribution for the parameters of interest is continuous. Constructing a large complex model involving all the original data is computationally challenging and would require rewriting the existing stand alone software. Instead we utilize existing MCMC samples from the individual analyses using an iteratively reweighted importance resampling algorithm within MCMC iterations.

### Uma Abordagem Bayesiana do Modelo ARCH com Potência Assimétrica

Os modelos da classe ARCH (auto-regressivo condicionalmente heterocedástico) modelam a heterocedasticidade constatada em séries temporais económicas. Tal estratégia não apenas melhora a eficiência dos estimadores usuais, mas também fornece uma predição da variância de cada termo do erro. Este trabalho desenvolve uma análise bayesiana do modelo ARCH com potência assimétrica. A análise envolve a estimação de parâmetros, a predição da variância condicional e a selecção de modelos. Os procedimentos de inferência bayesiana são implementados usando-se o Algoritmo de Metropolis-Hastings. O método é aplicado a dados simulados e a uma série de retornos do IBOVESPA.

### Tests Robustos en el Modelo de Regresión Logística

En este trabajo se propone un test robusto para el parámetro de regresión de un modelo logístico. El test propuesto es un test tipo Wald, basado en una versión pesada del estimador propuesto por Bianco y Yohai (1996) tal como fue implementado por Croux y Haesbroeck (2003). Se estudia la distribución asintótica del estadístico bajo la hipótesis nula y bajo alternativas contiguas. Se realiza un estudio Monte Carlo para investigar la estabilidad del nivel y la potencia del test bajo contaminación y para comparar el comportamiento del test propuesto en el caso de muestras finitas con el test clásico y con otras propuestas robustas. Finalmente, se ilustra la performance del test propuesto sobre un conjunto de datos reales.

### Structured Markov Chains in Applied Probability and Numerical Analysis

About thirty years ago, Quasi-Birth-and-Death processes and Skip-Free Markov chains came to the attention of applied probabilists. One of their prominent features is that their analysis requires the resolution of nonlinear equations, involving matrix-polynomial or matrix power series. At first, these were tackled 'in-house' and very soon several algorithms appeared which had their justification grounded, to a large extent, in probabilistic thinking. Soon, these equations caught the attention of numerical analysts who brought to bear their own special way of thinking about such problems and, not surprisingly, obtained improved algorithms in terms of convergence speed or numerical accuracy. The interaction between the two lines of approach are very exciting and this is an attempt to illustrate how the one meshes into the other.

### Comparison of Different Estimation Techniques for Portfolio Selection

The main obstacle in the application of the mean-variance portfolio selection is the fact that the moments of the asset returns are unknown. In practice the optimal portfolio weights are estimated by replacing these moments with the classical unbiased sample estimators. We provide a comparison of the exact and the asymptotic distributions of these estimated portfolio weights as well as a sensitivity analysis to shifts in the moments of the asset returns. Furthermore the paper compares the classical estimators of the moments of the asset returns with the recently proposed shrinkage estimators within the framework of portfolio selection. It is shown how the uncertainty about the portfolio weights can be introduced into the performance measurement of trading strategies. The methodology explains the bad out-of-sample performance of the classical Markowitz procedures.

### Bootstrap Robusto com base na Função de Influência

O desenvolvimento de procedimentos inferenciais robustos baseados em reamostragem, quando o modelo gerador dos dados pertence a uma vizinhança de contaminação do modelo central Normal (univariado ou multivariado), é o objectivo deste trabalho. Para isso propõe-se a utilização da função de influência de um funcional de interesse na indução de um mecanismo de controlo no plano de reamostragem. Quando o modelo gerador dos dados não é o modelo central, não é evidente o cálculo de medidas de precisão de estimadores robustos, assim como a determinação da sua distribuição, mesmo que assintótica. A utilização do método de reamostragem bootstrap é uma alternativa para a estimação dessas medidas. Este método apresenta, contudo, vários problemas quando aplicado a estimadores robustos, exigindo assim um procedimento que permita ultrapassar essas dificuldades. Foi com esse intuito que se desenvolveu um novo método de reamostragem que se denominou bootstrap robusto. Através de várias aplicações do novo método mostra-se que ele origina estimativas robustas estáveis e é computacionalmente menos dispendioso que o bootstrap usual de um estimador robusto. Este novo método permite efectuar inferências robustas nas mais variadas áreas da Estatística.

Older session pages: Previous 10 11 12 Oldest