# Probability and Statistics Seminar

## Past sessions

Newer session pages: Next 10 9 8 7 6 5 4 3 2 1 Newest

### Fluid Buffers - Changing the Behaviour at the Borders

The application of matrix-analytic methods to the resolution of fluid queues has shown a close connection to discrete-state quasi-birth-and-death (QBD) processes. We further explore this similarity and analyze fluid queues with finite and infinite capacities, for which the evolution of the buffer content changes when it is either empty or full. We briefly indicate how the stationary density of the fluid buffer may be computed in an efficient manner.

### Robust Procedures for Semiparametric Partly Linear Autoregression

In many situations, a fully nonparametric autoregressive process, $\{y_t\}$, can neglect a possible linear relation between $y_t$ and any lag $y_{t-k}$ and so, it may be sensible to fit a partly linear autoregressive model.

In the simplest partly linear autoregression model, the stationary process $\{y_t: t\geq 3\}$ satisfies $$$y_t=\beta y_{t-1}+ g(y_{t-2})+\epsilon_t, \label{eq:1:507}$$$ with $\epsilon_t$ i.i.d. independent of $\{y_{t-j}, j\geq 1\}$, $E(\epsilon_t)=0$ finite $E\epsilon_t^2$.

The sensitivity of the least squares estimates to outliers has been extensively described both in the purely parametric and in the nonparametric setting. The sensitivity to outliers of the classical estimates under a partly linear autoregression model ($\ref{eq:1:507}$) is good evidence that robust methods, less sensitive to a single wild spike outlier, would be desirable, since the effect of a single outlier is even worse than in the independent setting.

In this talk, which corresponds to a joint work with Ana Bianco, the problem of obtaining a family of robust estimates for model ($\ref{eq:1:507}$) is addressed introducing a three–step robust procedure whose asymptotic behavior is derived. A robust procedure to choose the smoothing parameter is also discussed. Through a Monte Carlo study, the performance of the proposed estimates is compared with the classical ones. Moreover, a procedure to detect anomalous observations is discussed.

### A semi-Markov approach to the analysis of fluid queues

Fluid queues in a random environment are used to modeltelecommunication networks and are amenable to a variety of approachesfor solution. Recently, it has been shown that they may be solved byfollowing the same renewal-type arguments as for quasi-birth-and-deathprocesses. The advantages are that one may concentrate on thestructural behaviour of the process and rely on fast, numericallystable algorithmic procedures. We shall briefly describe theconceptual approach and discuss the infinite and finite buffer cases.

### Modelos de Contagem e Somas Aleatórias

Dados reais exibem frequentemente padrões de aleatoriedade complexos, que podem ser transmitidos por modelos discretos sofisticados. Muitos desses modelos podem ser agrupados em famílias caracterizadas por relações de recorrência, que permitem desenvolver formas eficientes de cálculo de densidades de somas aleatórias, como a relação de Panjer. Discute-se uma generalização das classes de Panjer, e aplicações ao estudo de somas aleatórias. A aplicação a dados reais justifica reflexão sobre as leis de Zipf-Mandelbrot, discutindo-se ainda uma "lognormal discreta" e em que sentido esta suscita a construção de extensões das leis de Mandelbrot para fenómenos auto-organizativos.

Investigação parcialmente financiada por FCT/POCTI/FEDER (Projecto VEXTRA).

### Robustez em Análise de Correlações Canónicas

A análise de correlações canónicas é um método da análise multivariada que estuda as associações entre dois grupos de variáveis. Tem a particularidade de incluir alguns dos métodos mais importantes da análise multivariada como casos particulares e apresenta ainda a capacidade de reduzir, num pequeno número de dimensões, as associações relevantes entre os dois grupos de variáveis. Como acontece com a generalidade dos métodos multivariados, a análise de correlações canónicas tem comportamento óptimo, sempre que as habituais hipóteses distribucionais são verificadas, mas é muito sensível a observações discordantes dessas hipóteses. Estas observações, frequentes em situações reais, são de difícil detecção. Os métodos robustos propõem-se solucionar estas dificuldades. Neste trabalho propõem-se métodos robustos baseados em técnicas de projection pursuit e mínimos quadrados parciais. É realizado um estudo de simulação que compara os vários métodos de estimação, discutindo-se igualmente o comportamento do ponto de ruptura empírico.

### Nonparametric estimation of the odds-ratios assuming Generalized Additive Models: The multivariate case including interactions

Calculating odds-ratios (OR) and corresponding confidence intervals (CI) for exposures that have been measured using a continuous scale presents important limitations in the traditional practice of analytic epidemiology. Approximations based on linear models require making arbitrary assumptions about the shape of the relation curve, or about its breakpoints. Categorical analyses generally have low statistical efficiency and cut-off points for the categories are in most cases arbitrary and/or opportunistic. Recent publications in epidemiology have shown an interest in the application of a more general flexible regression technique such as the Generalized Additive Models (GAM) (Hastie and Tibshirani, 1990). This modern regression has the advantage of not assuming a parametric relation between exposure and effect, and eliminates the need for the investigator to impose functional assumptions in this respect. The only assumption required is that the effect of the continuous covariate follows an arbitrary continuous smooth function. In this talk we propose the use of GAM to derive the corresponding nonparametric estimates (and CIs) by means of the Local Scoring Algorithm. This procedure permits great flexibility and adequate statistical efficiency. Definition of the nonparametric OR curve is also extended to the case of having second-order interactions between two continuous covariates .In this context, inferential issues are solved by means of bootstrap resampling techniques. Finally, we illustrate these new methods through several real data sets.

### Extremes of Volterra Series Expansions with Heavy-Tailed Innovations

Linear time series models have widely been used in many areas of science. However, it is becoming increasingly clear that linear models do not represent adequately features often exhibited by data sets from environmental and economical processes. One property which is important and needs exploration is the study of sudden bursts of large positive and negative values the sample paths of non-linear processes generally produce.

There is no unifying theory that is applicable to all non-linear systems and consequently the study of such systems has to be restricted to special classes of non-linear models. Volterra series expansions or polynomial systems are one such class. It is well known that Volterra series expansions are known to be the most general non-linear representation for any stationary sequence.

Volterra series expansions have found significant applications in signal processing such as image, video, and speech processing where the non-linearities are mild enough to allow approximations by low order polynomial approximations. In view of these facts, the study of the extremal properties of finite order Volterra series expansions would be highly valuable in better understanding the extremal properties of non-linear processes as well as understanding the order of identification and adequacy of Volterra series, when used as models in signal processing. In fact, such extremal properties may suggest a way of finding finite order Volterra expansions which is consistent with the non-linearities of the observed process.

In this work, we look at the extremal behavior of Volterra series expansions generated by heavy-tailed innovations, via a point process formulation. We also look at some examples of bilinear processes and compare the known results on extremes of such processes with the corresponding adequate Volterra series approximations. A way of determining the proper order of a finite Volterra expansion and hence a finite order polynomial model for the observed non-linear data is also suggested.

### Robust Estimation of the Parameters in the FANOVA Model

We present a robust approach for fitting models with both additive and multiplicative effects of two-way tables. The method is an extension of the median polish technique and uses a robust alternating regression algorithm. The approach is highly robust, and also works well when there are more variables than observations. The model can be simplified to a purely additive or multiplicative model, the latter allows to construct a robust biplot being not predetermined by outliers. The performance of the method will be illustrated by real and artificial examples.

### Abordagem Bayesiana à Selecção de Variáveis e Comparação de Modelos: Uma Aplicação à Medicina

O problema da selecção do melhor conjunto de covariáveis pode ser visto na perspectiva de um problema de selecção de modelos. Recentemente tem havido investigação intensa sobre o problema de selecção de variáveis, particularmente em modelos lineares generalizados. Veja-se referências, por exemplo, em Dellaportas et al. (2000). Embora não haja nenhum método que se possa aconselhar como sendo o melhor, há vários métodos que devido à facilidade de implementação têm recebido mais atenção. Um desses métodos, o método de Carlin and Chib (1995), faz uso de pseudo-priors para obter uma estimativa da probabilidade a posteriori de cada modelo, seleccionando-se o modelo que tenha maior probabilidade a posteriori. Este método pode ser implementado no WinBUGS, mas o seu sucesso depende bastante de uma boa selecção de pseudo-priors que permita grande eficiência no método de amostragem. Dificuldades surgem na sua aplicação quando o número de modelos em consideração é elevado, situação que aparece com frequência em problemas de selecção de variáveis. Outro método bastante utilizado, de fácil implementação, e que tem dado resultados, é baseado numa pesquisa estocástica e conhecido pela sigla SSVS (Stochastic Search Variable Selection). Foi inicialmente proposto por George and McCullog (1993) para modelos de regressão linear e mais tarde por George et al. (1996) e para modelos lineares generalizados. Estes métodos serão aqui brevemente discutidos a par com um método informal de pesquisa manual (SIMD) baseado na minimização de medidas de divergência adequadamente definidas. Será feita uma comparação dos métodos referidos através da sua aplicação a um conjunto de dados na identificação de factores de risco que são responsáveis pela ocorrência precoce de doenças vasculares.

### Uso de Métodos MCMC em Análise Bayesiana de Dados de Sobrevivência

A análise de dados de sobrevivência em geral apresenta dados incompletos e presença de covariáveis. O uso de modelos paramétricos para esses dados pode envolver um grande número de parâmetros. Além disso, os modelos paramétricos usuais podem não ser adequados para muitos conjuntos de dados, pois a função de risco pode ter formas diversas como forma de banheira, multimodalidade, riscos crescentes ou decrescentes, entre outras. Por isso, consideramos modelos mais complexos como modelos de misturas de distribuições paramétricas na presença ou não de covariáveis.

O uso de métodos bayesianos para esses modelos pode ser muito simplificado a partir de métodos de simulação de Monte Carlo em Cadeias de Markov (MCMC), como os algoritmos de Gibbs sampling e Metropolis-Hastings. Também podemos usar critérios bayesianos para discriminar diferentes modelos usados para os dados de sobrevivência, usando estimativas de Monte Carlo a partir das amostras geradas pelo algoritmo Gibbs sampling para a função preditiva. Vários exemplos com dados reais serão considerados para ilustrar a metodologia proposta.

### Taxas de Alarme em Esquemas de Controlo de Qualidade

O desempenho de esquemas de controlo de qualidade é usualmente avaliado à custa de características do run length (RL) - o número de amostras recolhidas até à emissão de um alarme. O average run length (ARL) é de longe a mais popular dessas características e tem sido - extensiva e incorrectamente - utilizado na literatura para descrever o desempenho de um esquema de controlo.

O uso da função taxa de falha de RL foi proposto por Margavio et al. (1995), e quando avaliada em $m=1,2,\dots$, representa a probabilidade de ser emitido alarme pela amostra $m$, sabendo que as $m-1$ amostras anteriores não foram responsáveis pela emissão desse alarme.

Esta função pode ser entendida como uma taxa de alarme, fornece um retrato condicional e mais completo do desempenho de esquemas e será estudada para alguns esquemas de controlo do tipo markoviano.

Daremos destaque à influência das matrizes estocasticamente monótonas no comportamento da taxa de alarme e ilustraremos alguns resultados numéricos e estocásticos que lhe dizem respeito. De notar que tais resultados estocásticos permitem avaliar, por exemplo, o impacto da adopção de head starts no desempenho de esquemas de controlo, de modo qualitativo e mais objectivo.

#### Referências

• Margavio, T.M., Conerly, M.D., Woodall, W.H. and Drake, L.G. (1995). Alarm rates for quality control charts. StatisticsProbability Letters 24, 219-224.

### Modelação Estocástica para Redes sem Fios da Próxima Geração

As redes sem fios da próxima geração são vistas hoje em dia como um dos factores chaves para o desenvolvimento da infra-estrutura de comunicação global emergente. O seu desenho, planeamento e controlo devem ser suportados por modelos de tráfego adequados, nos quais a mobilidade e os novos aspectos de teletráfego serão considerados de uma forma integrada.

Neste seminário é apresentado um modelo de tráfego para cenários onde existe mobilidade no plano em várias direcções. São caracterizados, em termos transiente e limite, o número de móveis por estado de chamada numa célula e os processos de handoff da célula. São derivadas as probabilidades de bloqueio de chamadas de handoff e de novas chamadas e a distribuição da capacidade requerida num intervalo de tempo para o controlo da rede. São ainda apresentadas simulações para validação dos resultados analíticos.

### Multiplicative Survival Models based on Counting Processes

Modern survival analysis may be effectively handled within the mathematical framework of counting processes. This theory introduced by Aalen (1972) has been the subject of intense research ever since. In this setting, emphasis is given to construction of the likelihood function due to its importance for both frequentist and Bayesian analysis. Some multiplicative survival models are here presented from a Bayesian perspective, especially frailty models for univariate survival data. A gamma process with independent increments in disjoint intervals is used to model the prior process of the baseline hazard function, and the frailty distribution is assumed to be a gamma distribution. Markov Chain Monte Carlo methods are used to find estimates of several quantities of interest. At last, this approach is illustrated with one example.

### Simultaneous and Multivariate Control Charts for Time Series Data

In this talk we present several new control charts for univariate as well as multivariate time series. All control schemes are EWMA (exponentially weighted moving average) charts.

First, simultaneous control schemes for the mean and the autocovariances of a univariate stationary process are introduced. A multivariate quality characteristic is considered. This quantity is transformed to a one-dimensional variable by using the Mahalanobis distance. The test statistic is obtained by smoothing this variable. Another control chart is based on a multivariate EWMA attempt which is directly applied to our quality characteristic. After that the resulting statistic is transformed to a univariate random variable. Besides modified control charts we consider residual charts, too. In an extensive simulation study all control schemes are compared with each other. The target process is assumed to be an ARMA(1,1) process with normal white noise.

EWMA control charts for multivariate time series were discussed by Kramer and Schmid (1997). Their aim was to find deviations in the mean behaviour. Here we focus on charts detecting changes between the cross-covariances of a multivariate stationary process. The starting point is again a multivariate characteristic. To introduce control charts a similar procedure is chosen as described above. In our comparison study the target process is taken as a 4-variate AR(1) process.

#### References

• Kramer, H. and Schmid, W. (1997). EWMA charts for multivariate time series. Sequential Analysis 16, 131-154.
• Rosolowski, M. and Schmid, W. (2001). EWMA charts for monitoring the mean and the autocovariances of stationary Gaussian process. Submitted for publication.
• Schmid, W. and Sliwa, P. (2001). Monitoring the cross-covariances of a multivariate time series. Technical Report.

### Métodos robustos en Análisis Multivariado

Los métodos mas usuales en Análisis Multivariado (como Componentes Principales y Análisis Discrimimante) requieren un vector de posición y una matriz de dispersión. El vector de medias y la matriz de covarianzas muestrales, que son los estimadores de posición y dispersión usados habitualmente, tienen el inconveniente de que unas pocas observaciones atípicas pueden alterar completamente los resultados. Las observaciones atípicas pueden no ser visibles en ninguna de las coordenadas. Los métodos robustos no son afectados cuando hay algunos datos atípicos, y son semejantes a las medias y covarianzas cuando no los hay. Los principales enfoques para este problema son: estimadores de máxima verosimilitud generalizados, estimadores que minimizan una escala robusta de las distancias de Mahalanobis, y estimadores basados en proyecciones. El cálculo numérico de los estimadores es un aspecto importante, ya que el tiempo de cómputo aumenta rápidamente con la cantidad de variables.

Se compararán las virtudes y defectos de los distintos enfoques y se mostrarán algunas aplicaciones.

### Silence Diagnostics: The Influence Curve Revisited

The influence curve (Hampel, 1974), latterly known as the influence function, lies at the heart of an established approach to robust statistics. Finite sample versions of it also form the foundation of that part of diagnostics known as influence analysis. In their booklength exposition, Hampel at al. (1986), while providing a formal mathematical derivation, emphasise that:

“The importance of the influence function lies in its heuristic interpretation: it describes the effect of an infinitesimal contamination at the point $x$ on the estimate, standardised by the amount of contamination.”

The present talk explores the extent to which this heuristic interpretation can itself be formalised. It is based on developments of the concept of salience and of the perturbation geometry introduced in Critchely et al. (2001).

#### References

• Critchley, F., Atkinson, R.A., Lu, G. and Biazi, E. (2001). Influence analysis based on the case sensitivity function. J. Royal Statist. Soc., B. 63(2), 307-323.
• Hampel, F.R. (1974). The influence curve and its role in robust estimation. J. Am. Satist. Soc., 69, 383-393.
• Hampel, F.R., Ronchetti, E.M. Rousseeuw, P.J. and Stahel, W.A. (1986). Robust Statistics: The Approach Based on Influence Functions. Wiley.