Identifying Models of Environmental Systems' Behaviour

NOT FOR QUOTATION WITHOUT PERMISSION OF THE AUTHOR

IDENTIFYING MODELS OF ENVIRONMENTAL SYSTEMS

'

BEHAVIOUR

M.B. Beck WP-81-158 December 1981

Working Papers

are interim reports on work of the International Institute for Applied Systems Analysis and have received only limited review. Views or opinions expressed herein do not necessarily repre- sent those of the Institute or of its National Member Organizations.

INTERNATIONAL INSTITUTE FOR APPLIED SYSTEMS ANALYSIS A-2361 Laxenburg, Austria

PREFACE

I n r e c e n t y e a r s t h e r e h a s been c o n s i d e r a b l e i n t e r e s t i n d e v e l o p i n g models f o r r i v e r and l a k e e c o l o g i c a l s y s t e m s , much o f i t d i r e c t e d t o w a r d s t h e development of l a r g e and complex s i n - u l a t i o n models. However, t h i s t r e n d h a s g i v e n r i s e t o a number o f c o n c e r n s , n o t a b l y t h o s e o f a c c o u n t i n g f o r t h e e f f e c t s of un- c e r t a i n t y and o f e s t a b l i s h i n g model v a l i d i t y and c r e d i b i l i t y . IIASA's R e s o u r c e s and Environment A r e a ' s Task 2 on "Environmen- t a l Q u a l i t y C o n t r o l and Management" i s a d d r e s s i n g s u c h c o n c e r n s , o n e o f i t s p r i n c i p a l themes b e i n g t o d e v e l o p a framework f o r m o d e l l i n g p o o r l y - d e f i n e d e n v i r o n m e n t a l s y s t e m s .

T h i s p a p e r c o n s i d e r s t h e q u e s t i o n of how t h e o r i e s a r e de- v e l o p e d a b o u t t h e b e h a v i o r o f l a r g e , complex s y s t e m s s u c h a s t h o s e t y p i c a l l y r e l e v a n t t o managing e n v i r o n m e n t a l q u a l i t y . I t e x t e n d s e a r l i e r d i s c u s s i o n s o f model s t r u c t u r e i d e n t i f i c a t i o n

( s e e RR-80-4 and RR-81-4) and p r o v i d e s a more p h i l o s o p h i c a l i n - t e r p r e t a t i o n o f t h i s p a r t i c u l a r problem and a p p r o a c h e s t o i t s s o l u t i o n .

T o g e t h e r w i t h WP-81-108 by L . Somly6dy ( " M o d e l l i n g a Com- p l e x E n v i r o n m e n t a l System: The Lake B a l a t o n S t u d y " ) , t h i s p a p e r h a s been p r e p a r e d f o r a s p e c i a l i s s u e on IIASA's work o f t h e

j o u r n a l " M a t h e m a t i c a l M o d e l l i n g " .

ABSTRACT

T h i s p a p e r a d d r e s s e s t h e q u e s t i o n o f how t h e o r i e s a r e d e v e l o p e d a b o u t t h e b e h a v i o u r o f l a r g e , complex s y s t e m s s u c h

a s t h o s e t y p i c a l l y e n c o u n t e r e d i n managing e n v i r o n m e n t a l q u a l i t y . The s p e c i f i c p r o b l e m c o n s i d e r e d i s t h a t o f model s t r u c t u r e i d e n - t i f i c a t i o n by r e f e r e n c e t o e x p e r i m e n t a l , i n s i t u f i e l d d a t a . A c o n c e p t u a l d e f i n i t i o n o f t h i s p r o b l e m i s g i v e n i n terms o f t h e n o t i o n o f t e s t i n g model h y p o t h e s e s t o t h e p o i n t o f f a i l u r e . An a p p r o a c h t o s o l v i n g t h e p r o b l e m i s p r o p o s e d i n which t h e u s e o f r e c u r s i v e model p a r a m e t e r e s t i m a t i o n a l g o r i t h m s i s a c e n t r a l

f e a t u r e . T h i s a p p r o a c h i s i l l u s t r a t e d by a c a s e s t u d y i n

d e v e l o p i n g a dynamic model o f w a t e r q u a l i t y i n t h e B e d f o r d Ouse r i v e r i n c e n t r a l - e a s t e r n E n g l a n d . The r e s u l t s a r e o r g a n i z e d a r o u n d t h e two p r i n c i p l e s o f a t t e m p t i n g t o f a l s i f y c o n f i d e n t

h y p o t h e s e s a n d o f s p e c u l a t i n g a b o u t r e l a t i v e l y u n c e r t a i n h y p o t h e s e s i n o r d e r t o modify i n a d e q u a t e p r i o r h y p o t h e s e s . The e s s e n t i a l

d i f f i c u l t y d e m o n s t r a t e d by t h e c a s e s t u d y i s o n e o f a b s o r b i n g a n d i n t e r p r e t i n g t h e d i a g n o s t i c e v i d e n c e of f i e l d d a t a a n a l y s i s a n d t h i s i s u l t i m a t e l y a d i f f i c u l t y a s s o c i a t e d w i t h t h e complex a n d i n t r i n s i c a l l y i n d i v i s i b l e n a t u r e o f l a r g e - s c a l e s y s t e m s .

TABLE OF CONTENTS

1 . INTRODUCTION

2 . MODEL STRUCTURE I D E N T I F I C A T I O N

3 . DESIGN FOR FAILURE AND SPECULATION

3 . 1 F a i l u r e of t h e Model S t r . u c t u r e 3 . 2 C r e a t i v e S p e c u l a t i o n

3 . 3 R e c o n s t r u c t i n g t h e E x p e r i m e n t s o f L a b o r a t o r y S c i e n c e

4 . CONCLUSIONS

ACKNOWLEDGEMENT REFERENCES

1 . INTRODUCTION

A c c o r d i n g t o t h e s p e c t r u m i n t r o d u c e d by K a r p l u s [ I ] e n v i r o n - m e n t a l s y s t e m s ' a n a l y s i s l i e s midway b e t w e e n t h e two e x t r e m e s o f a n a l y z i n g s o c i o - e c o n o m i c s y s t e m s a n d e l e c t r i c a l n e t w o r k a n a l y s i s . T h i s g i v e s r i s e t o r a t h e r s p e c i a l p r o b l e m s i n t h e a n a l y s i s o f e n v i r o n m e n t a l a n d , more s p e c i f i c a l l y , w a t e r q u a l i t y - e c o l o g i c a l s y s t e m s . On t h e o n e h a n d , a p r i o r i t h e o r y , w i t h i t s b a s i s i n t h e p h y s i c a l a n d b i o l o g i c a l s c i e n c e s , would seem t o b e c a p a b l e o f p r e d i c t i n g o b s e r v e d b e h a v i o u r r e l a t i v e l y a c c u r a t e l y . On t h e o t h e r h a n d , however, i t i s e s p e c i a l l y d i f f i c u l t t o c o n d u c t p l a n n e d e x p e r i m e n t s a g a i n s t which a p r i o r i t h e o r y c a n b e e v a l u a t e d .

Tn t h e s e somewhat a m b i v a l e n t c i r c u m s t a n c e s t h e r e h a s a r i s e n a g r o w i n g i n c o m p a t a b i l i t y between t h a t w h i c h c a n b e s i m u l a t e d i n p r i n c i p l e w i t h a model a n d t h a t which c a n b e o b s e r v e d i n p r a c t i c e . To a g r e a t e x t e n t t h i s a c c o u n t s f o r t h e g a p t h a t h a s d e v e l o p e d between t h e " l a r g e r " s i m u l a t i o n m o d e l s , w i t h which t h e r e i s l i t t l e hope o f c o n d u c t i n g r i g o r o u s c a l i b r a t i o n e x e r c i s e s g i v e n c u r r e n t l y a v a i l a b l e f i e l d d a t a , a n d t h o s e much " s m a l l e r " models t h a t h a v e been s o c a l i b r a t e d .

The s p e c i f i c p r o b l e m t o b e c o n s i d e r e d i n t h i s p a p e r i s t h a t o f model s t r u c t u r e i d e n t i f i c a t i o n by r e f e r e n c e t o e x p e r i m e n t a l , i n s i t u f i e l d d a t a . To see why t h i s i s a p r o b l e m , however, it i s f i r s t n e c e s s a r y t o summarise b r i e f l y some l i m i t a t i o n s i n a w i d e l y a c c e p t e d a p p r o a c h t o water q u a l i t y - e c o l o g i c a l m o d e l l i n g . A c c o r d i n g t o t h i s a p p r o a c h it i s g e n e r a l l y assumed t h a t o n e c a n

( c o n c e p t u a l l y ) s u b d i v i d e t h e f i e l d s y s t e m i n t o s m a l l e r , i n d i v i - d u a l components, whose ( c o n c e p t u a l ) b e h a v i o u r c a n u s u a l l y b e a p p r o x i m a t e d by l a b o r a t o r y - s c a l e r e p l i c a s ( f o r e x a m p l e , chemo- s t a t and o p e n - c h a n n e l f l o w e x p e r i m e n t s ) . Submodels f o r t h e s e

components a r e assumed t o be " v e r i f i a b l e " a g a i n s t e x p e r i m e n t a l o b s e r v a t i o n s o f t h e b e h a v i o u r o f t h e r e p l i c a ; and t h e model f o r t h e f i e l d s y s t e m c a n be a s s e m b l e d by l i n k i n g t o g e t h e r t h e sub- models. Thus t h e c o n t e n t o f t h e model i s s u p p o r t e d by a r g u m e n t s

t h a t a d m i t e x t r a p o l a t i o n s from l a b o r a t o r y s y s t e m s and e q u i v a l e n t o r s i m i l a r f i e l d s y s t e m s . A t t h e s t a g e o f model c a l i b r a t i o n t h e t e n d e n c y i s t o assume t h a t a p r i o r i t h e o r y i s c o r r e c t u n l e s s

d e m o n s t r a b l y i n a d e q u a t e . I t i s e s p e c i a l l y d i f f i c u l t t o d e m o n s t r a t e i n a d e q u a c y , a n d t h e need t o q u e s t i o n t h e v a l i d i t y o f t h e o r i g i n a l e x t r a p o l a t i o n s i s t h u s a l l t o o e a s i l y l i k e l y t o remain o b s c u r e d .

The argument t h a t t h e e x t r a p o l a t i o n s i n h e r e n t i n t h e above a p p r o a c h a r e l e g i t i m a t e would a p p e a r t o remain i n d o u b t u n l e s s o n e c a n d e v e l o p and a p p l y a complementary a p p r o a c h t h a t p r o v i d e s a more d i r e c t e v a l u a t i o n o f t h e p r i o r h y p o t h e s e s a b o u t o b s e r v e d s y s t e m b e h a v i o u r , w i t h o u t d i v i d i n g t h e s y s t e m i n t o i t s component p a r t s . Model s t r u c t u r e i d e n t i f i c a t i o n i s a f u n d a m e n t a l p a r t o f t h a t complementary a p p r o a c h : it h a s t o do w i t h t h e q u e s t i o n i n g s o e a s i l y s e t a s i d e b e c a u s e o f t h e i m p e r f e c t i o n s o f t h e a v a i l -

a b l e f i e l d d a t a ; i t i s a problem f o r which s e e m i n g l y few s y s t e m a t i c methods o f s o l u t i o n have been d e v e l o p e d ; a n d , p o s s i b l y most s i g - n i f i c a n t , i t r e q u i r e s a s u b t l e b u t i m p o r t a n t change o f a t t i t u d e t o w a r d s m o d e l l i n g . I n s p i t e o f v e r y many l a b o r a t o r y - s c a l e

e x p e r i m e n t s and a number o f major f i e l d s t u d i e s , c u r r e n t knowledge o f t h e s t r u c t u r e o f t h e r e l a t i o n s h i p s among t h e m i n e r a l , o r g a n i c , a n d m i c r o b i o l o g i c a l components o f a n a q u a t i c e c o s y s t e m i s s t i l l q u i t e u n c e r t a i n . Too much c o n f i d e n c e h a s been p l a c e d i n a p r i o r i t h e o r y . P e r h a p s , i n P o p p e r ' s t e r m s [2

I ,

e n v i r o n m e n t a l s y s t e m s have been m o d e l l e d a s though t h e y were " c l o c k s " , b e i n g " r e g u l a r ,

o r d e r l y , and h i g h l y p r e d i c t a b l e " , w h e r e a s t h e y may w e l l b e more l i k e t h e " i r r e g u l a r , d i s o r d e r l y , and more o r less u n p r e d i c t a b l e "

" c l o u d s " . T h i s r e f l e c t s s i m p l y a c h a n g e o f a t t i t u d e , b e c a u s e , a s e v i d e n t i n somlybdy' s p a p e r s [ 3 ] , [ 4 ]

,

t h e r e i s c l e a r l y a spectrum

of regularity and o r d e r l i n e s s a s s o c i a t e d w i t h t h e p r i o r knowledge r e l e v a n t t o w a t e r q u a l i t y - e c o l o g i c a l m o d e l l i n g ( r a n g i n g from hydrodynamics t o b i o l o g y ) . I n s h o r t , c e n t r a l t o t h e p r o b l e m o f model s t r u c t u r e i d e n t i f i c a t i o n i s t h e q u e s t i o n : how a r e t h e o r i e s d e v e l o p e d a b o u t t h e b e h a v i o u r o f l a r g e , complex s y s t e m s g i v e n

t h e a s s u m p t i o n t h a t o b s e r v a t i o n s c a n b e o b t a i n e d ( a n d s u b s e q u e n t l y i n t e r p r e t e d ) from e x p e r i m e n t s b r o a d l y s i m i l a r t o t h e c l a s s i c a l form o f e x p e r i m e n t a t i o n i n l a b o r a t o r y s c i e n c e .

The work d i s c u s s e d h e r e , t h e n , on t h e t o p i c o f m o d e l l i n g p o o r l y - d e f i n e d e n v i r o n m e n t a l s y s terns - ( " p o o r l y - d e f i n e d " b e i n g a n e x p r e s s i o n f i r s t u s e d by Young [ S ] ) , i s p a r t o f a Task on E n v i r o n m e n t a l Q u a l i t y C o n t r o l and Management w i t h i n t h e R e s o u r c e a n d Environment A r e a o f IIASA. T h i s e s s e n t i a l l y m e t h o d o l o g i c a l component o f t h e Task i s complemented by a s e c o n d theme d e a l i n g w i t h c a s e s t u d i e s i n l a k e e u t r o p h i c a t i o n management, t h a t i s , f o r Lake B a l a t o n , Hungary [6], [ 7 ] , [8] a n d f o r a number o f A u s t r i a n l a k e s y s t e m s [ 9 ] . A p r o d u c t i v e i n t e r a c t i o n between c a s e - s t u d y p r o b l e m - s o l v i n g and m e t h o d o l o g i c a l d e v e l o p m e n t s i s t h e c o r n e r s t o n e o f t h e T a s k ' s r e s e a r c h . I n t h e f o l l o w i n g , a l t h o u g h e x a m p l e s drawn from t h e l a k e e u t r o p h i c a t i o n s t u d i e s would b e e q u a l l y a p p r o p r i a t e , s u c h a s t h e r e s u l t s r e p o r t e d by Somly6dy [ 3 ] , w e s h a l l i l l u s t r a t e m e t h o d o l o g i c a l p r o b l e m s

a s s o c i a t e d w i t h m o d e l l i n g t h e dynamics o f w a t e r q u a l i t y i n t h e B e d f o r d Ouse R i v e r (U.K.). T h i s r i v e r s y s t e m i n t u r n p r o v i d e s an i n f o r m a l c a s e - s t u d y f o r t h e d e v e l o p m e n t o f a t h i r d theme o f t h e Task on o p e r a t i o n a l w a t e r q u a l i t y management [ l o ] .

S e c t i o n 2 o f t h e p a p e r d i s c u s s e s b o t h t h e p r o b l e m o f model s t r u c t u r e i d e n t i f i c a t i o n and a n i d e a l i s e d a p p r o a c h t o i t s s o l u - t i o n b a s e d on t h e u s e o f r e c u r s i v e p a r a m e t e r e s t i m a t i o n . S i n c e model s t r u c t u r e i d e n t i f i c a t i o n c a n b e viewed a s a m a t t e r o f

i t e r a t i v e l y f a l s i f y i n g a n d s p e c u l a t i n g a b o u t h y p o t h e s e s , s e c t i o n 3 e x a m i n e s t h e d i f f i c u l t i e s o f i n t e r p r e t i n g d i a g n o s t i c e v i d e n c e

on w h e t h e r a g i v e n model s t r u c t u r e ( s e t o f h y p o t h e s e s ) i s demon- s t r a b l y i n a d e q u a t e .

2 . MODEL STRUCTURE IDENTIFICATION

U s u a l l y o n e a s s o c i a t e s t h e e x e r c i s e o f model c a l i b r a t i o n w i t h c u r v e - f i t t i n g a n d p a r a m e t e r ( c o e f f i c i e n t ) e s t i m a t i o n . But t h e word " c a l i b r a t i o n " i s m i s l e a d i n g . I t s u g g e s t s an i n s t r u m e n t

( h e r e , t h e model) whose d e s i g n i s c o m p l e t e and whose s t r u c t u r e i s beyond f u r t h e r a r g u m e n t . A l l t h a t r e m a i n s t o b e d o n e i s t o make m i n o r a d j u s t m e n t s t o some o f t h e f i t t i n g s , i . e . f i n e - t u n i n g o f t h e p a r a m e t e r v a l u e s . C a l i b r a t i o n o f m o d e l s f o r w a t e r q u a l i t y - e c o l o g i c a l s y s t e m s , however, i s u n l i k e l y t o b e s u c h a s i m p l e a n d s t r a i g h t f o r w a r d m a t t e r . I n s t e a d , e v e n b e f o r e a s k i n g t h e q u e s t i o n

"Can I e s t i m a t e t h e model p a r a m e t e r s a c c u r a t e l y ? " , t h e a n a l y s t m u s t f i r s t a s k h i m s e l f w h e t h e r h e knows how t h e v a r i a b l e s o f t h e s y s t e m a r e r e l a t e d t o e a c h o t h e r . I n p a r t i c u l a r , o n e m u s t a s k w h e t h e r i n f o r m a t i o n a b o u t t h e s e r e l a t i o n s h i p s c a n b e i d e n t i f i e d f r o m t h e i n s i t u f i e l d d a t a . Y e t m o s t e x e r c i s e s i n model c a l i - b r a t i o n h a v e f o c u s e d s o l e l y on t h e m a t t e r o f p a r a m e t e r e s t i m a t i o n ; h e n c e l i t t l e a t t e n t i o n h a s b e e n p a i d t o t h e ( a r g u a b l y ) more i m - p o r t a n t p r i o r p r o b l e m o f model s t r u c t u r e i d e n t i f i c a t i o n .

L e t u s i n t r o d u c e and q u a l i f y a w o r k i n g d e f i n i t i o n o f t h e problem:

o Model s t r u c t u r e i d e n t i f i c a t i o n i s c o n c e r n e d w i t h e s t a b - l i s h i n g unambiguously, by r e f e r e n c e t o t h e i n s i t u f i e l d d a t a , how t h e measured i n p u t d i s t u r b a n c e s ,

-

u , a r e r e l a t e d t o t h e s t a t e v a r i a b l e s ,

-

x , and how t h e s e l a t t e r a r e i n t u r n r e l a t e d b o t h t o t h e m s e l v e s and t o t h e measured o u t p u t r e s p o n s e s ,

x,

o f t h e s y s t e m u n d e r s t u d y . W e may n o t e f i r s t t h a t t h i s i s s i g n i f i c a n t l y d i f f e r e n t from a d e f i n i t i o n o f what may b e c a l l e d model o r d e r e s t i m a t i o n , a p r o b l e m i n which, f o r e x a m p l e , t h e o b j e c t i v e i s t o e s t i m a t e t h e o r d e r s o f t h e p o l y n o m i a l s i n a n autoregressive/moving-average time-series model ( s e e , f o r i n s t a n c e , [ I 11

,

^{[ I 2 1}

,

^{[ I 31 )}

.

^Second,

w e may n o t e t h e i m p o r t a n c e o f t h e word " u n a m b i g u o u s l y " . A common d i f f i c u l t y i n f i t t i n g a model t o a s e t o f f i e l d d a t a i s t h a t t h e e r r o r - l o s s f u n c t i o n d o e s n o t e x h i b i t a w e l l - d e f i n e d , g l o b a l

minimum. Many c o m b i n a t i o n s o f e s t i m a t e s f o r t h e model p a r a m e t e r v a l u e s p r o v i d e e q u a l l y good ( o r b a d ) d e s c r i p t i o n s o f t h e o b s e r v e d b e h a v i o u r ; i n e f f e c t , a u n i q u e l y " b e s t " model f o r t h e s y s t e m h a s n o t been i d e n t i f i e d . Such d i f f i c u l t i e s a r e o f t e n r e f e r r e d t o a s t h e problem o f i d e n t i f i a b i l i t y , o r t h e model i s s a i d t o b e o v e r - p a r a m e t r i s e d and t o c o n t a i n s u r p l u s c o n t e n t . T h i s i s p e r h a p s a m a t t e r o f no c o n s e q u e n c e i n terms o f f i t t i n g t h e model t o t h e d a t a , b u t i t would c e r t a i n l y have s i g n i f i c a n t i m p l i c a t i o n s s h o u l d t h e model b e u s e d f o r p r e d i c t i o n ( a s h a s b e e n a r g u e d e l s e w h e r e ,

[ 1 4

I ,

^[ 1 5

I .

One would e x p e c t ambiguous s t a t e m e n t s a b o u t f u t u r e b e h a v i o u r , a l t h o u g h t h e e f f e c t s o f u n c e r t a i n t y may p r e c l u d e a n y c o n c l u s i o n a b o u t s i g n i f i c a n t d i f f e r e n c e s among t h e s e s t a t e m e n t s

[ I S ] .

The e s s e n c e o f t h e a p p r o a c h t o model s t r u c t u r e i d e n t i f i c a t i o n , a s d i s c u s s e d b r i e f l y h e r e and i n much g r e a t e r d e p t h i n [ 5 ] , [ 1 5 ] ,

[ 1 6 ] , [ 1 7 ] , [ 1 8 1 , i s b a s e d on a r e s t a t e m e n t o f t h e o r i g i n a l p r o b l e m d e f i n i t i o n i n t e r m s o f a p a r a m e t e r e s t i m a t i o n p r o b l e m . Such a n a p p r o a c h , however, d e p e n d s on t h e a v a i l a b i l i t y o f a n a d e q u a t e s e t o f time-series f i e l d d a t a , a c o n d i t i o n which i s by n o means a l w a y s s a t i s f i e d . Even s o , f o r s i t u a t i o n s o f s c a r c e d a t a t h e d e v e l o p m e n t o f a r o u g h l y p a r a l l e l a p p r o a c h i s a p p a r e n t i n a r e c e n t p a p e r by F e d r a [ 1 9 ] .

I n o r d e r t o o u t l i n e t h e a p p r o a c h , a l b e i t i n a c o n c e p t u a l s e n s e , l e t u s i m a g i n e t h a t t h e s t a t e v a r i a b l e s

-

x i n a model may b e r e p r e s e n t e d by t h e n o d e s o f F i g u r e l ( b ) a n d t h a t t h e p a r a m e t e r s a a r e v i s u a l i s e d a s t h e " e l a s t i c " c o n n e c t i o n s between t h e s t a t e

-

v a r i a b l e s . W i t h o u t g o i n g i n t o d e t a i l s , l e t u s a l s o assume t h a t t h e p a r a m e t e r s o f t h e model c a n b e e s t i m a t e d r e c u r s i v e l y , i . e . s u c h t h a t e s t i m a t e s

-

& ( t k ) of t h e p a r a m e t e r v a l u e s c a n b e o b t a i n e d f o r e a c h s a m p l i n g i n s t a n t tk w i t h i n t h e s e q u e n c e of time-series o b s e r v a t i o n s ( f o r d i s c u s s i o n s o f r e c u r s i v e e s t i m a t i o n , see, f o r e x a m p l e , [ 1 6 1 , [ 2 0 1 , [ 2 1 1 ) .

I f now t h e a s s u m p t i o n h a s b e e n made t h a t a l l t h e p a r a m e t e r s h a v e v a l u e s t h a t a r e c o n s t a n t w i t h t i m e , y e t a r e c u r s i v e a l -

g o r i t h m y i e l d s an e s t i m a t e o f o n e o r more o f t h e p a r a m e t e r s t h a t i s s i g n i f i c a n t l y t i m e - v a r y i n g , o n e may q u e s t i o n t h e c o r r e c t n e s s o f t h e c h o s e n model s t r u c t u r e . W e c a n a r g u e t h i s p o i n t a s f o l l o w s . The g e n e r a l t e n d e n c y o f a n e s t i m a t i o n p r o c e d u r e i s t o p r o v i d e

e s t i m a t e s

-

2 o f t h e s t a t e v e c t o r , o r some f u n c t i o n s t h e r e o f , i . e .

2,

t h a t t r a c k t h e o b s e r v a t i o n s

y.

Hence, i f a n y p e r s i s t e n t

s t r u c t u r a l d i s c r e p a n c y i s d e t e c t e d between t h e model and " r e a l i t y "

( i n o t h e r words, t h e e r r o r s

-

^{E =}

(y - 2)

e x h i b i t a s i g n i f i c a n t l y non-random p a t t e r n ) , t h i s w i l l b e r e v e a l e d i n t e r m s o f s i g n i f i c a n t a d a p t a t i o n of t h e e s t i m a t e d p a r a m e t e r v a l u e s . T h e r e may w e l l b e good r e a s o n s f o r why t h e p a r a m e t e r e s t i m a t e s v a r y w i t h t i m e , a n d ,

i n d e e d , t h a t i s p r e c i s e l y what o n e i s l o o k i n g f o r .

S t a r t i n g w i t h P e r i o d 1 o f F i g u r e l ( a ) , however, l e t u s con- t i n u e t o s k e t c h t h e o u t l i n e o f t h e a p p r o a c h . The model r e s p o n s e s

(2)

and o u t p u t o b s e r v a t i o n s

(y)

a r e e s s e n t i a l l y i n a g r e e m e n t o v e r t h i s p e r i o d and t h e r e i s no s i g n i f i c a n t a d a p t a t i o n o f t h e p a r a - meter e s t i m a t e s ( a c c o r d i n g t o F i g u r e 1 ( c ) ) . A t t h e b e g i n n i n g o f P e r i o d 2 , however, t h e r e i s a p e r s i s t e n t d i s c r e p a n c y between

2

^and

^y.

^{I t} m i g h t b e s u p p o s e d , f o r example, t h a t t h e u n d e r l y i n g c a u s e o f t h e d i s c r e p a n c y i s a n i n a d e q u a c y i n t h e b e h a v i o r simu- l a t e d f o r x l and x 2 , t h a t a l i s s e n s i t i v e t o t h i s d i s c r e p a n c y

( F i g u r e 1 ( b ) )

,

a n d t h a t ( p e r s i s t e n t ) a d a p t a t i o n o f t h e e s t i m a t e ti1 ( F i g u r e 1 ( c ) ) p a r t l y c o m p e n s a t e s f o r t h e e r r o r between

2

and

y.

Again i n t h e t h i r d p e r i o d t h e r e i s d i s a g r e e m e n t between t h e o b s e r v a t i o n s a n d model r e s p o n s e s , which l e a d s t o a d a p t a t i o n o f

t h e e s t i m a t e 6i2.

The example o f F i g u r e 1 i s c l e a r l y a n i d e a l view o f how a r e c u r s i v e e s t i m a t i o n a l g o r i t h m s h o u l d b e employed f o r model s t r u c t u r e i d e n t i f i c a t i o n . I n f a c t i t i s a n i d e a l i s e d framework d e v e l o p e d l a r g e l y , b u t n o t e n t i r e l y , from a p a r t i c u l a r c a s e - s t u d y i n m o d e l l i n g t h e dynamics o f w a t e r q u a l i t y i n t h e R i v e r C a m ,

U.K. [ 1 7 1 , [221. G e n e r a l i s a t i o n from a s i n g l e example i s un- d o u b t e d l y n o t w i t h o u t d a n g e r s and c e r t a i n l y t h e r e s u l t s t o f o l l o w c h a l l e n g e t h e u s e f u l n e s s o f t h i s i d e a l view. N e v e r t h e l e s s , c a s t i n t h i s p a r t i c u l a r f a s h i o n s u c h an a p p r o a c h h a s i n t u i t i v e l y

a p p e a l i n g i n t e r p r e t a t i o n s . F i r s t , a n d by a n a l o g y w i t h t h e a n a l y s i s

o f p h y s i c a l s t r u c t u r e s , t h e aim i s t o e x p o s e i n a d e q u a c y i n t e r m s o f t h e " p l a s t i c d e f o r m a t i o n " ( F i g u r e 1 ( c ) ) o f t h e model s t r u c t u r e . Second, a n d o f d e e p e r s i g n i f i c a n c e , t e s t i n g t h e model s t r u c t u r e t o t h e p o i n t o f f a i l u r e , t h a t i s , t h e f a i l u r e o f o n e o r more h y p o t h e s e s , c a n b e s a i d t o b e c o n s i s t e n t w i t h P o p p e r ' s view o f t h e s c i e n t i f i c method [ 2 3 ] . And P o p p e r ' s view o f t h e s c i e n t i f i c method i s i n t u r n e x e r c i s i n g a growing i n f l u e n c e o v e r t h e d i s c u s - s i o n o f m o d e l l i n g t h e b e h a v i o u r o f e n v i r o n m e n t a l and s i m i l a r s y s t e m s [ S I , [191, [241, [ 2 5 1 , [261.

E s p e c i a l l y p e r t i n e n t h e r e i s H o l l i n g ' s remark t h a t " . . . t h e model i s [ t o b e ] s u b j e c t e d t o a r a n g e o f t e s t s a n d c o m p a r i s o n s d e s i g n e d t o r e v e a l where i t f a i l s " [ 2 4 ] . T h i s , w i t h e m p h a s i s o n t h e words " r a n g e " a n d " d e s i g n e d t o r e v e a l " s e t s a s u i t a b l e g u i d i n g p r i n c i p l e f o r s o l v i n g t h e p r o b l e m o f model s t r u c t u r e i d e n t i f i c a t i o n . But t o h a v e r e v e a l e d t h a t t h e model s t r u c t u r e i s i n a d e q u a t e i s m e r e l y a p a r t o f t h e s o l u t i o n , and a c t u a l l y a r e l a t i v e l y e a s y p a r t . I f w e e x t e n d t h e example o f F i g u r e 1

-

o n e f u r t h e r s t e p , l e t u s s u p p o s e t h a t t h e f i r s t ( m o d e l ) h y p o t h e - s i s h a s been i d e n t i f i e d a s f a i l i n g , a c c o r d i n g t o F i g u r e 2 ( a ) . Now assume t h a t a s e c o n d h y p o t h e s i s c a n b e g e n e r a t e d i n some way--which i s a complementary p a r t o f t h e s o l u t i o n - - a n d t h a t i t h a s t h e s t r u c t u r e o f F i g u r e 2 ( b ) w i t h a n a d d i t i o n a l s t a t e v a r i a b l e

( x 5 ) a n d two new p a r a m e t e r s ( a

5' CL6)

.

^{I t} may w e l l b e t h a t c a l i - b r a t i o n o f t h e s e c o n d model a g a i n s t t h e f i e l d d a t a y i e l d s e f f e c - t i v e l y i n v a r i a n t p a r a m e t e r e s t i m a t e s and h e n c e t h e a n a l y s t c a n a c c e p t t h e a d e q u a c y o f t h i s model s t r u c t u r e a s a c o n d i t i o n a l l y good w o r k i n g h y p o t h e s i s .

The b a s i c aim o f model s t r u c t u r e i d e n t i f i c a t i o n i s t h u s t o s e e k p l a u s i b l e h y p o t h e s e s f o r a p p a r e n t l y " u n e x p l a i n e d " r e l a t i o n - s h i p s i n a s e t o f f i e l d d a t a . The a p p r o a c h o u t l i n e d above

e x p l o i t s t h e i d e a o f c u r v e - f i t t i n g a s a "means-to-an-end" and n o t a s a n " e n d " i n i t s e l f . F a l s i f y i n g t h e model s t r u c t u r e , o r components t h e r e o f , rests p a r t l y upon judgements a b o u t a b s u r d

p a r a m e t e r v a l u e s , o r a b o u t i m p l a u s i b l e v a r i a t i o n s i n t h e p a r a m e t e r v a l u e s . U n l e s s t h e s e v a r i a t i o n s a n d v a l u e s c a n b e d e f e n d e d by l o g i c a l a r g u m e n t , t h e n it m u s t b e c o n c e d e d t h a t t h e s t r u c t u r e o f t h e model d o e s n o t m a t c h t h e s t r u c t u r e u n d e r l y i n g t h e o b s e r v e d p a t t e r n s o f b e h a v i o u r .

I t would b e wrong, however, t o assume, b e c a u s e o f t h e

ex--

c l u s i v e d i s c u s s i o n o f a n a p p r o a c h b a s e d on r e c u r s i v e p a r a m e t e r e s t i m a t i o n , t h a t t h i s a p p r o a c h i s a p a n a c e a . The b e n e f i t s t o b e d e r i v e d from a r a n g e o f p r o c e d u r e s h a v e a l r e a d y b e e n e m p h a s i z e d a n d a r e a p p a r e n t i n t h e Cam c a s e s t u d y [22]

.

^{T h i s i s} o n l y o n e a p p r o a c h a p p l i c a b l e t o a c e r t a i n s e c t o r o f t h e o v e r a l l p r o b l e m d e f i n e d f o r a r e s t r i c t e d s e t o f c o n d i t i o n s ; y e t i t i s a n a p p r o a c h t h a t h a s y i e l d e d c o n s i d e r a b l e i n s i g h t i n t o t h e n a t u r e o f t h e

p r o b l e m .

I n t h e f o l l o w i n g w e s h a l l f o c u s on two t y p e s o f c r i t i c a l d i f f i c u l t i e s i n a p p l y i n g t h e above a p p r o a c h t o model s t r u c t u r e i d e n t i f i c a t i o n , t h a t i s : t h e d i f f i c u l t y o f r e v e a l i n g t h a t a

h y p o t h e s i s i s a b s u r d , which i s r e a l l y t h e most d e m o n s t r a b l e form o f i n a d e q u a c y ; and t h e d i f f i c u l t y o f s y n t h e s i z i n g t h e d i a g n o s t i c e v i d e n c e i n o r d e r t o s p e c u l a t e a b o u t how t o modify a n i n a d e q u a t e p r i o r h y p o t h e s i s . Our p u r p o s e i s t o e x p o s e w e a k n e s s e s a n d

l i m i t a t i o n s b o t h i n t h e t e c h n i c a l e f f e c t i v e n e s s o f r e c u r s i v e p a r a m e t e r e s t i m a t i o n a s a method o f s o l u t i o n a n d , more fundamen- t a l l y , i n t h e a p p r o p r i a t e n e s s o f t h e a p p r o a c h . A s w i t h model s t r u c t u r e i d e n t i f i c a t i o n , s o t o o w i t h t h e a p p r o a c h i t s e l f , e s t a b l i s h i n g w h a t i s wrong o r i n a d e q u a t e i s t h e key t o improve- ment and p r o g r e s s .

3 . DESIGN FOR FAILURE AND SPECULATION

I f s o l v i n g t h e p r o b l e m o f model s t r u c t u r e i d e n t i f i c a t i o n d e p e n d s s t r o n g l y upon r e v e a l i n g a b s u r d h y p o t h e s e s , a n e a s i l y r e c o g n i z a b l e d i f f i c u l t y i s t h a t i n s i t u f i e l d d a t a s u b j e c t t o h i g h l e v e l s o f u n c e r t a i n t y a r e h a r d l y l i k e l y t o y i e l d s u c h r e v e l a t i o n s . T h e r e a r e , however, more s u b t l e a s p e c t s o f t h e n a t u r e o f f i e l d d a t a from e n v i r o n m e n t a l s y s t e m s t h a t p l a c e e q u a l l y , i f n o t more, awkward c o n s t r a i n t s o n t h e l i k e l i h o o d o f s u c c e s s i n model s t r u c t u r e , i d e n t i f i c a t i o n . The p a t t e r n s , o f time-series o b s e r v a t i o n s t y p i c a l l y a v a i l a b l e f o r a n a l y s i s

r e f l e c t e x p e r i m e n t s - - i f i n d e e d t h e y c a n be s o c a l l e d - - t h a t a r e s u c c e s s i v e l y less good a p p r o x i m a t i o n s o f t h e c l a s s i c a l , p l a n n e d e x p e r i m e n t s o f l a b o r a t o r y s c i e n c e [ I 5 1

.

I n a l l b u t a few c a s e s t h e o b s e r v e d p e r t u r b a t i o n s i n s y s t e m b e h a v i o u r do n o t conform w i t h t h e Z e s i r a b l e a t t r i b u t e s o f d a t a u s u a l l y e x p e c t e d f o r t h e i d e n t i f i c a t i o n o f models f o r , f o r e x a m p l e , a i r c r a f t and i n d u s - t r i a l p r o c e s s c o n t r o l [ I 2

I ,

[271

.

And s i n c e i t i s i n a r e a s s u c h a s t h e s e l a t t e r t h a t many o f t h e methods o f a n a l y s i s h a v e o r i g i n a t e d [231, r e c u r s i v e e s t i m a t i o n i n c l u d e d , o n e f i n d s t h a t t h e r e i s a n i m p r e s s i v e a r r a y o f t e c h n i q u e s t h a t p e r f o r m w e l l on w e l l - p o s e d p r o b l e m s , y e t a d e a r t h o f t e c h n i q u e s t h a t c a n p e r f o r m a d e q u a t e l y o n t h e i l l - p o s e d p r o b l e m s o f e n v i r o n m e n t a l s y s t e m s a n a l y s i s .

I t i s t e m p t i n g t o blame a l a c k o f s u c c e s s on p o o r d a t a and i n a p p r o p r i a t e a n a l y t i c a l methods. But t h i s would b e m i s l e a d i n g a n d , i n any c a s e , c u r r e n t c o n s t r a i n t s a r e n o t d e s t i n e d t o p e r s i s t i n t o t h e f u t u r e . C o n s i d e r , f o r e x a m p l e , t h e e v e r - g r o w i n g p o t e n - t i a l f o r g e n e r a t i n g d a t a from e n v i r o n m e n t a l m o n i t o r i n g n e t w o r k s

and z o n s i d e r a l s o t h e p r i n c i p a l a s s e t o f a r e c u r s i v e e s t i m a t i o n a l g o r i t h m , t h a t i s , t o g e n e r a t e model p a r a m e t e r e s t i m a t e s a t e a c h i n s t a n t o f time tk i n a t i m e - s e r i e s . There i s e v e r y p o s s i b i l i t y t h a t f u t u r e c r i t i c a l c o n s t r a i n t s w i l l b e dominated by t h e i n a b i l i t y t o a b s o r b and i n t e r p r e t t h e d i a g n o s t i c e v i d e n c e of d a t a a n a l y s i s . I n f a c t , t h e s e c o n s t r a i n t s a r e u l t i m a t e l y a f u n c t i o n of t h e c o m p l e x i t y and i n d i v i s i b i l i t y o f l a r g e - s c a l e s y s t e m s . I t i s t o t h e d i f f i c u l t i e s o f c o n d u c t i n g a n a n a l y s i s i n t h e f a c e o f s u c h problems t h a t we now t u r n .

From t h e g e n e r a l i s a t i o n of t h e R i v e r Cam c a s e s t u d y , t o which p a s s i n g r e f e r e n c e h a s been made e a r l i e r , i t i s p o s s i b l e t o

p r o p o s e a t e n t a t i v e l y b r o a d e r o r g a n i s i n g p r i n c i p l e f o r t h e pro- c e d u r e o f model s t r u c t u r e i d e n t i f i c a t i o n . Hence, l e t u s s i m p l y s u g g e s t t h a t t h e a n a l y s t i s c o n c e r n e d w i t h c o n d u c t i n g e x p e r i - ments ( i n a l o o s e s e n s e ) on and w i t h t h e model s t r u c t u r e , where t h e s e e x p e r i m e n t s c a n h a v e t h e f o l l o w i n g two d i s t i n c t l y d i f f e r e n t o r i e n t a t i o n s ( o r o b j e c t i v e s ) :

( i ) i n t h e p r o c e s s of f a l s i z y i i r g a ~ i v e n model s t r u c t u r e ; ( i i ) i n t h e p r o c e s s o f ( c r e a t i v e ) s p e c u l a t i o n a b o u t a l t e r -

n a t i v e h y p o t h e s e s .

These two p r o c e s s e s a r e p r o b a b l y b e s t viewed a s m u t u a l l y e x c l u - s i v e , f o r r e a s o n s we s h a l l d i s c u s s l a t e r , a n d , q u i t e a p p r o p r i a t e l y , t h e y r e f l e c t t h e two-step n a t u r e o f s o l v i n g t h e problem.

The c a s e o f t h e Bedford Ouse R i v e r i n c e n t r a l - e a s t e r n En- g l a n d i s a n a t u r a l e x t e n s i o n of t h e Cam s t u d y . From 1 9 7 2 t o 1 9 7 5 t h e Department o f t h e Environment i n t h e U n i t e d Kingdom and t h e A n g l i a n Water A u t h o r i t y j o i n t l y funded a major s t u d y o f t h e Bedford Ouse r i v e r s y s t e m i n o r d e r t o e v a l u a t e t h e e f f e c t s o f d e v e l o p i n g a new c i t y ( M i l t o n Keynes) i n t h e u p p e r p a r t of t h e c a t c h m e n t [201. I t i s i n t h e l i g h t o f t a c k l i n g t h i s sub- s t a n t i a l l y more complex problem o f f i e l d d a t a a n l a y s i s t h a t we

s h a l l b e a b l e b o t h t o judge t h e u s e f u l n e s s o f t h e above o r g a n i s i n g p r i n c i p l e and t o i l l u s t r a t e t h e d i f f i c u l t i e s o f i n t e r p r e t i n g t h e d i a g n o s t i c e v i d e n c e o f a n a l y s i s .

3 . 1 F a i l u r e o f t h e Model S t r u c t u r e

L e t u s l o o k f i r s t a t t h e n o t i o n o f t e s t i n g t h e model s t r u c t u r e t o t h e p o i n t o f f a i l u r e , t h a t i s , t h e p r o c e s s o f f a l s i f y i n g a

g i v e n s e t o f h y p o t h e s e s . F o r t h e B e d f o r d Ouse example t h e model s t r u c t u r e t o b e e v a l u a t e d c o n t a i n s v a r i o u s c o n f i d e n t a s s u m p t i o n s a b o u t t h e t r a n s p o r t and d i s p e r s i v e p r o p e r t i e s o f t h e r i v e r ,

r e a e r a t i o n , t h e d e c a y o f w a s t e o r g a n i c m a t t e r , a n d t h e g r o w t h , d e a t h , a n d p h o t o s y n t h e t i c p r o p e r t i e s o f a p o p u l a t i o n o f p h y t o - p l a n k t o n . T h a t t h e s e s h o u l d b e " c o n f i d e n t " a s s u m p t i o n s , which h a s a q u a n t i t a t i v e c o u n t e r p a r t i n t h e s p e c i f i c a t i o n o f t h e a p r i o r i e r r o r s t a t i s t i c s a s s o c i a t e d w i t h t h e model, i s a n i m - p o r t a n t p o i n t . G i v e n t h e c o n c e p t u a l o u t l i n e f o r model s t r u c t u r e i d e n t i f i c a t i o n (see a l s o F i g u r e s 1 and 2 ) t h i s i s a v e r y d e l i b e r a t e t a c t i c o f s t r e s s i n g a r e l a t i v e l y r i g i d s t r u c t u r e s o t h a t t h e

p r o b a b i l i t y o f d e t e c t i n g a s i g n i f i c a n t f a i l u r e i s maximised.

I n t h i s s t e p o f t h e a n a l y s i s it would n o t a p p e a r t o b e p a r t i c u - l a r l y u s e f u l t o e x p r e s s l i t t l e c o n f i d e n c e , a p r i o r i , i n t h e model and t h e n t o t r y a n d i d e n t i f y u n a m b i g u o u s l y w h e r e f a i l u r e o c c u r s . I n s u c h a c a s e t h e p o s t u l a t e d model s t r u c t u r e i s , a s it w e r e , t o o f l e x i b l e . A d a p t a t i o n o f t h e p a r a m e t e r e s t i m a t e s may,

o r may n o t , b e s i g n i f i c a n t , b e c a u s e o n e h a s l i t t l e c o n f i d e n c e i n t h e model, and c l e a r - c u t a n s w e r s c a n n o t b e o b t a i n e d b e c a u s e , i n e f f e c t , c l e a r - c u t q u e s t i o n s a r e n o t b e i n g a s k e d . F l e x i b i l i t y w o u l d b e m o r e o f a n a d v a n t a g e a t t h e s t a g e o f c r e a t i v e s p e c u l a - t i o n and t h i s i s why s e p a r a t i o n o f t h e two s t e p s i s d e s i r a b l e .

A l t o g e t h e r s i x p a r a m e t e r s a r e t o b e e s t i m a t e d i n i d e n t i c a l model s t r u c t u r e s f o r t h e b e h a v i o u r o f i n t e r a c t i o n s between d i s -

s o l v e d oxygen ( D O ) , b i o c h e m i c a l oxygen demand ( B O D , a measure o f d e g r a d a b l e o r g a n i c m a t t e r ) , c h l o r o p h y l l - a ( a s a m e a s u r e o f

p h y t o p l a n k t o n p o p u l a t i o n s ) , a n d s u s p e n d e d s o l i d s c o n c e n t r a t i o n s i n e a c h o f t h e t h r e e r e a c h e s o f t h e r i v e r s y s t e m ( a t o t a l , t h e r e - f o r e , o f 1 2 s t a t e v a r i a b l e s and 1 8 p a r a m e t e r s ) . F i g u r e 3 shows t h e r e c u r s i v e estimates o f t h e s e s i x p a r a m e t e r s f o r t h e t h i r d

(downstream) r e a c h o f r i v e r . Comparing F i g u r e 3 w i t h t h e e n v i a b l e i d e a l i s e d s i m p l i c i t y o f F i g u r e 1 , o n e would h a v e g r e a t d i f -

f i c u l t y i n a n s w e r i n g t h e q u e s t i o n " a t what p o i n t d o e s t h e model s t r u c t u r e f a i l ? " w i t h o u t e v e n a s k i n g t h e q u e s t i o n why i t m i g h t h a v e f a i l e d . The r e s u l t s a r e a p e c u l i a r m i x t u r e o f b o t h i n s u f -

f i c i e n t and r e d u n d a n t h y p o t h e s e s i n t h e model s t r u c t u r e - - o f , a t t h e same t i m e , under- a n d o v e r - p a r a m e t e r i s a t i o n . The c o n s i d e r a b l e n o n - s t a t i o n a r i t y o f t h e p a r a m e t e r e s t i m a t e s c l e a r l y i n d i c a t e s

t h a t t h e model s t r u c t u r e i s i n a d e q u a t e . Y e t t h e s i m i l a r p a t t e r n s o f v a r i a b i l i t y among t h e d i f f e r e n t p a r a m e t e r s i s a symptom o f s u r p l u s c o n t e n t i n t h e model, i . e . one i n a d e q u a c y c o m p e n s a t e s f o r a n o t h e r . I n o t h e r w o r d s , c e r t a i n c r i t i c a l f e a t u r e s o f t h e s t r u c t u r e o f t h e r e l a t i o n s h i p s u n d e r l y i n g t h e f i e l d d a t a a r e n o t i n c l u d e d i n t h e model, w h i l e no s i n g l e p a r a m e t e r e s t i m a t e unambiguously c o m p e n s a t e s f o r t h e o b v i o u s i n a d e q u a c y .

T h e r e a r e a p p a r e n t l y some a b s u r d h y p o t h e s e s . F o r i n s t a n c e , t h e r e c u r s i v e e s t i m a t e s of b o t h t h e maximum s p e c i f i c g r o w t h - r a t e ( n o n l i n e a r Monod k i n e t i c s ) a n d f i r s t - o r d e r , d e a t h - r a t e c o n s t a n t s f o r t n e p h y t o p l a n k t o n p o p u l a t i o n ( F i g u r e s 3 ( b ) a n d 3 ( e ) r e s p e c - t i v e l y ) become n e g a t i v e l y v a l u e d . One c o u l d a r g u e , a s a r e s u l t , t h a t t h e f o r m e r i s b a r e l y s i g n i f i c a n t l y d i f f e r e n t from z e r o a n d

t h a t t h e l a t t e r - - a l i n e a r , n e g a t i v e , d e a t h - r a t e - - i s p e r h a p s e v i d e n c e o f a p r e f e r r e d l i n e a r g r o w t h - r a t e f u n c t i o n f o r t h e p h y t o p l a n k t o n ( a t l e a s t f o r a l l b u t t h e i n i t i a l p e r i o d o f t h e d a t a ) . But t h e a n a l y s t would b e h a r d p r e s s e d t o a t t a c h g r e a t c o n f i d e n c e t o s u c h c o n c l u s i o n s . On b a l a n c e i t m i g h t b e more a p p r o p r i a t e t o c o n c l u d e t h a t t h e a l g a l p o p u l a t i o n i s i n a s t a t e o f e q u i l i b r i u m w i t h n e i t h e r o f t h e r a t e s o f g r o w t h a n d d e a t h b e i n g i n d e p e n d e n t l y i d e n t i f i a b l e from t h e d a t a .

The p r i n c i p a l i s s u e r a i s e d by t h e r e s u l t s o f F i g u r e 3 i s

o n e o f m i s p l a c e d c o n f i d e n c e i n a p r i o r i t h e o r y . I t h a s a s p e c i f i c a s p e c t a s s o c i a t e d w i t h t h e s e r e s u l t s a n d a more g e n e r a l a s p e c t r e l a t i n g t o t h e i n t r o d u c t o r y comments o f t h e p a p e r . Thus, f o r example, t h e r e m a r k a b l e s t a t i o n a r i t y o f t h e r e c u r s i v e e s t i m a t e f o r t h e r e a e r a t i o n r a t e c o n s t a n t ( F i g u r e 3 ( a ) ) i s a f u n c t i o n o f h a v i n g assumed r e l a t i v e l y more a p r i o r i c o n f i d e n c e i n t h i s p a r t i c u l a r p a r a m e t e r . I n o t h e r w o r d s , t h e a n a l y s t h a s assumed t h a t i f t h e model i s t o f a i l i t i s u n l i k e l y t o b e a f u n c t i o n o f a n i n a d e q u a t e d e s c r i p t i o n o f t h e r e a e r a t i o n p r o c e s s , 'a p o i n t t o w h i a h w e r e t u r n l a t e r . T h i s m i g h t b e a r e a s o n a b l e a s s u m p t i o n

s i n c e , t o g e t h e r w i t h t h e a s s u m p t i o n c o n c e r n i n g BOD d e c a y , a b o u t which s i m i l a r q u e s t i o n s w i l l be r a i s e d s h o r t l y , i t i s a b a s i c

component o f t h e c l a s s i c a l s t u d i e s ( c o n d u c t e d i n 1925) o f

S t r e e t e r a n d P h e l p s [ 3 0 1 o n r i v e r p o l l u t i o n a n d s e l f - p u r i f i c a t i o n . T h a t t h e s e a s s u m p t i o n s h a v e b e e n u s e d f o r a l o n g t i m e c r e a t e s a r e s i s t a n c e t o c h a l l e n g i n g t h e i r v a l i d i t y . Y e t t h e r e a r e good r e a s o n s , a s d e m o n s t r a t e d e l s e w h e r e [ 1 5 1 , f o r a r g u i n g t h a t t h e c l a s s i c a l a s s u m p t i o n s o f S t r e e t e r a n d P h e l p s , a n d t h e e q u a l l y c l a s s i c a l a s s u m p t i o n s o f d i s p e r s i o n i n f l o w i n g m e d i a , r e p r e s e n t p a t t e r n s o f b e h a v i o u r t h a t a r e n o t i d e n t i f i a b l e from t h i s

p a r t i c u l a r s e t o f i n s i t u f i e l d d a t a . I n t h i s c a s e t h e p r o b l e m o f i d e n t i f i a b i l i t y a r i s e s b e c a u s e o t h e r d o m i n a n t modes o f beha- v i o u r - - h e r e , e s p e c i a l l y i n t h e f i r s t a n d s e c o n d r e a c h e s o f t h e r i v e r , t h e g r o w t h o f a p h y t o p l a n k t o n p o p u l a t i o n - - a l m o s t e n t i r e l y o b s c u r e t h e s e l e s s s i g n i f i c a n t modes o f b e h a v i o u r . I n a s e n s e , t h e r e f o r e , t h e a s s u m p t i o n s o f S t r e e t e r a n d P h e l p s a r e , f o r t h i s e x a m p l e , n o t t e s t a b l e p r o p o s i t i o n s , a n d t h e i r i n c l u s i o n i n any s u b s e q u e n t model s t r u c t u r e i s t a n t a m o u n t t o a n a c t o f f a i t h .

I t seems i m p o r t a n t i n a more g e n e r a l s e n s e , t h e r e f o r e , t o q u e s t i o n t h e m o t i v e s f o r m a i n t a i n i n g h y p o t h e s e s t h a t a r e n o t , s t r i c t l y s p e a k i n g , f a l s i f i a b l e . The r e l u c t a n c e t o s e t a s i d e c o n - v e n t i o n i s s t r o n g i n d e e d , a n d F i g u r e 3 ( c ) i l l u s t r a t e s w e l l t h e c o n f l i c t t h a t c a n occur--Young [ 3 1 ] h a s p u t f o r w a r d a c o g e n t and c h a l l e n g i n g a r g u m e n t o n t h e same p o i n t . Given p r i o r e x p e r i e n c e t h a t t h e h y p o t h e s i s o f BOD d e c a y i s p r o b a b l y n o t i d e n t i f i a b l e , a BOD d e c a y r a t e c o n s t a n t i s s t i l l r e t a i n e d i n t h e model s t r u c t u r e , b u t w i t h a n a p r i o r i e s t i m a t e o f z e r o ( d a y - ' )

.

^{I t} would b e d i f f i c u l t t o a r g u e f r o m F i g u r e 3 ( c ) t h a t t h e s u b s e q u e n t p a t t e r n o f t h e recur- s i v e e s t i m a t e s p r o m p t s t h e a s s u m p t i o n o f a s i g n i f i c a n t l y n o n - z e r o v a l u e f o r t h i s p a r a m e t e r . The p r o b l e m c a n t h u s b e sumrnarised a s

f o l l o w s . The r e s u l t s o f F i g u r e 3 a r e f o u n d e d upon t h e p r e m i s e t h a t : ( a ) " W e h a v e c o n f i d e n c e i n t h e h y p o t h e s e s o f S t r e e t e r

a n d P h e l p s , b u t c o n s i d e r c u r r e n t h y p o t h e s e s a b o u t mechanisms o f p h y t o p l a n k t o n g r o w t h a s h i g h l y s p e c -

u l a t i v e .

"

Such a p r e m i s e c o u l d b e r e o r i e n t e d t o e i t h e r o f :

( b ) "We a r e c o n f i d e n t a b o u t o u r h y p o t h e s e s f o r p h y t o p l a n k t o n g r o w t h , b u t c o n s i d e r t h e assump- t i o n s o f S t r e e t e r a n d P h e l p s t o b e h i g h l y s p e c - u l a t i v e ; "

(c) " A l l h y p o t h e s e s a r e e q u a l l y s p e c u l a t i v e . "

P e r h a p s o n e s h o u l d c l i n g t o t h e f i r s t p r e m i s e and n o t r e j e c t c o n v e n t i o n u n t i l it i s d e m o n s t r a b l y i n a d e q u a t e . The o b v i o u s dilemma i s t h a t j u s t s u c h a c l u t c h i n g a t c o n v e n t i o n , e s p e c i a l l y i n t h e c o n t e x t o f w a t e r q u a l i t y - e c o l o g i c a l m o d e l i n g , may p r e c l u d e t h e p o s s i b i l i t y o f r e v e a l i n g i n a d e q u a c y . And t h e s h i f t i n e m p h a s i s a s t o where g r e a t e r c o n f i d e n c e i s p l a c e d , from p r e m i s e ( a ) t h r o u g h ( b ) t o p r e m i s e ( c ) , i s a s p e c i f i c i n t e r p r e t a t i o n o f t h e change i n a t t i t u d e t o w a r d s m o d e l l i n g d i s c u s s e d i n t h e i n t r o d u c t i o n t o t h e p a p e r .

3 . 2 C r e a t i v e S p e c u l a t i o n

The p r o c e s s o f s p e c u l a t i o n c a n b e i l l u s t r a t e d w i t h r e s u l t s drawn l i k e w i s e from a n o t h e r p a r t o f t h e B e d f o r d Ouse a n a l y s i s . I t i s a g a i n assumed ( i m p l i c i t l y ) t h a t p r e m i s e ( a ) above i s r e a s o n a b l e s o t h a t s p e c u l a t i o n c a n b e c o n d u c t e d i n terms o f a v e c t o r o f lumped - p a r a m e t e r s r e p r e s e n t i n g a l l t h e o t h e r mechanisms o f b e h a v i o u r ( i n t h i s c a s e , s o u r c e s and s i n k s o f DO, BOD, and c h l o r o p h y l l - . a ) t h a t a r e c o n s i d e r e d t o b e s p e c u l a t i v e a s s u m p t i o n s . The o b j e c t i v e t h e n i s t o g e n e r a t e p l a u s i b l e h y p o t h e s e s a b o u t why t h e e s t i m a t e s f o r t h e s e lumped p a r a m e t e r s e x h i b i t v a r i a t i o n s w i t h t i m e ( o r s p a c e ) , i f t h a t i s s o ; t o f o r m a l i s e t h e s e h y p o t h e s e s ; and t o p r o c e e d t o a s u b s e q u e n t s t e p i n t h e p r o c e s s o f f a l s i f y i n g t h e r e v i s e d model s t r u c t u r e . F o r t h e t h r e e r e a c h e s o f t h e B e d f o r d Ouse s y s t e m , p a r t o f t h e d i a g n o s t i c e v i d e n c e from a n a l y s i s o f t h i s s p e c u l a t i o n i s g a t h e r e d t o g e t h e r i n F i g u r e s 4 and 5. One c o u l d t e n t a t i v e l y c o n c l u d e from t h e s e r e c u r - s i v e e s t i m a t e s t h a t :

( i ) The r a t e o f a d d i t i o n o f c h l o r o p h y l l - a t o t h e s y s t e m r e a c h e s a maximum f i r s t ( i n t i m e ) i n t h e t h i r d (down- s t r e a m ) r e a c h , t h e n i n t h e s e c o n d , a n d l a s t l y i n t h e f i r s t ( u p s t r e a m ) r e a c h , F i g u r e 4 ;

( i i ) The r a t e o f a d d i t i o n o f d i s s o l v e d oxygen t o t h e f i r s t r e a c h i s r o u g h l y p r o p o r t i o n a l t o t h e o b s e r v e d concen- t r a t i o n o f c h l o r o p h y l l - a a t t h e downstream boundary o f t h a t r e a c h , F i g u r e ' 5 ( a ) ; t h e r a t e o f a d d i t i o n o f d i s s o l v e d oxygen t o t h e s e c o n d r e a c h i s r o u g h l y pro- p o r t i o n a l t o t h e o b s e r v e d c o n c e n t r a t i o n o f c h l o r o - p h y l l - a , e x c e p t o v e r t h e m i d d l e p e r i o d o f t h e r e c o r d , F i g u r e 5 ( b ) ; t h e r a t e o f a d d i t i o n o f d i s s o l v e d oxy- g e n t o t h e t h i r d r e a c h i s n o t o b v i o u s l y p r o p o r t i o n a l t o t h e o b s e r v e d c h l o r o p h y l l - a c o n c e n t r a t i o n f o r m o s t o f t h e t i m e , F i g u r e 5 ( c )

.

I t would c e r t a i n l y b e a b o l d a n d i m a g i n a t i v e h y p o t h e s i s t h a t c o u l d b e s y n t h e s i s e d f r o m s u c h e v i d e n c e a n d h e n c e l e a d t o t h e r e s t r u c - t u r i n g o f t h e model f o r t h e p u r p o s e s o f a g a i n a t t e m p t i n g t o f a l s i f y t h e r e v i s e d h y p o t h e s e s . And t h i s i s a c t u a l l y a r e l a t i v e l y s i m p l e example, when compared w i t h t h e c o m p l e x i t y o f models f r e q u e n t l y d i s c u s s e d i n t h e l i t e r a t u r e . W e h a v e p r e s e n t e d t h e e v i d e n c e o f F i g u r e s 4 and 5 p r i m a r i l y s o t h a t o n e c a n a s k t h e r h e t o r i c a l

q u e s t i o n : how would t h e a n a l y s t a b s o r b a n d i n t e r p r e t t h i s r e l a t i v e w e a l t h o f d i a g n o s t i c s ? A s e a r l i e r , t o have drawn t h e p o s s i b l e con- c l u s i o n t h a t t h e model f i t s t h e d a t a s u b j e c t t o a r b i t r a r y v a r i a t i o n s i n o n e o r more o f t h e p a r a m e t e r s ( a s t y p i f i e d by t h e r e c u r s i v e e s t i m a t e s o f F i g u r e s 3 , 4 , a n d 5 ) i s o f no c o n s e q u e n c e . R a t h e r , i t i s t h e p r o c e s s o f s p e c u l a t i n g a b u t why such variations occur t h a t should b e h i g h l y v a l u e d .

3 . 3 R e c o n s t r u c t i n g t h e E x p e r i m e n t s o f L a b o r a t o r y S c i e n c e

I n i n t r o d u c i n g t h e p r o b l e m o f model s t r u c t u r e i d e n t i f i c a t i o n it was assumed t h a t o b s e r v a t i o n s c o u l d b e o b t a i n e d ( a n d s u b s e q u e n t l y i n t e r p r e t e d ) from e x p e r i m e n t s b r o a d l y s i m i l a r t o t h e c l a s s i c a l f o r m o f e x p e r i m e n t a t i o n i n l a b o r a t o r y s c i e n c e . W e s h a l l f u r t h e r assume

t h a t a l a b o r a t o r y e x p e r i m e n t i s u s u a l l y d e s i g n e d t o t e s t t h e r e l a t i o n s h i p between, s a y , two v a r i a b l e s ( c a u s e a n d e f f e c t ) w h i l e a l l o t h e r v a r i a b l e s a s s o c i a t e d w i t h t h e s y s t e m a r e m a i n t a i n e d a t s t e a d y , c o n s t a n t v a l u e s . C l e a r l y t h e f i e l d d a t a a v a i l a b l e from e n v i r o n m e n t a l s y s t e m s r e f l e c t q u i t e i m p e r f e c t e x p e r i m e n t s . L e t u s s u p p o s e , n e v e r t h e l e s s , t h a t model s t r u c t u r e i d e n t i f i c a t i o n i s a p r o c e d u r e f o r r e c o n s t r u c t i n g i n s i t u " e x p e r i m e n t s " from o b s e r v e d d a t a by ( m a t h e m a t i c a l ) a n a l y t i c a l m e t h o d s . I n o t h e r words i t seems r e a s o n a b l e t o a t t e m p t t o d e s i g n t h e a n a l y s i s o f model s t r u c t u r e i d e n t i f i c a t i o n s u c h t h a t it c o m p e n s a t e s f o r t h e u n s t e a d y a n d

e x t r a n e o u s d i s t u r b a n c e s o r i g i n a t i n g from t h e " e n v i r o n m e n t a l c o n d i - t i o n s " o f t h e laboratory-typenexperiment". An a p t example i s

p r e m i s e ( a ) a s s o c i a t e d w i t h t h e B e d f o r d Ouse a n a l y s i s i n s e c t i o n 3.1 where t h e " e x p e r i m e n t " would b e c o n c e r n e d w i t h i d e n t i f y i n g t h e mechanisms o f p h y t o p l a n k t o n g r o w t h a n d t h e S t r e e t e r - P h e l p s assump- t i o n s would b e a b s o r b e d i n t o t h e a n a l y t i c a l c o m p e n s a t i o n f o r t h e

" e x p e r i m e n t a l e n v i r o n m e n t " . A n o t h e r a p t example i s g i v e n i n Somlyody's p a p e r [ 3 1 , where t h e " e x p e r i m e n t " i s t o i d e n t i f y t h e r e l a t i o n s h i p b e t w e e n wind s t r e s s a t a p o i n t o n t h e s u r f a c e o f Lake B a l a t o n and t h e d i s t r i b u t i o n o f s u s p e n d e d s o l i d s measured i n t h e v e r t i c a l w a t e r column below t h a t p o i n t . A l l o t h e r phenomena a f f e c t i n g t h e v e r t i c a l d i s t r i b u t i o n o f s o l i d s , t h a t i s , o t h e r t h a n s e d i m e n t a t i o n and t h e wind-induced r e s u s p e n s i o n o f p a r t i c l e s from t h e bed o f t h e l a k e , a r e assumed t o b e i n c l u d e d i n t h e " e n v i r o n - m e n t a l c o n d i t i o n s " . T h i s l a t t e r would i n c l u d e , f o r e x a m p l e , s o l i d s

t r a n s p o r t e d h c r i z o n t a l l y i n t o t h e v e r t i c a l w a t e r column a n d t h a t f r a c t i o n o f t h e o b s e r v e d s u s p e n d e d s o l i d s c o n c e n t r a t i o n due t o l i v i n g o r g a n i c m a t t e r , s u c h a s a p h y t o p l a n k t o n p o p u l a t i o n . I n f a c t , t h e model f o r t h i s " e x p e r i m e n t " , a s d e f i n e d , i s s u f f i c i e n t l y w e l l p o s e d t h a t t h e a n a l y s i s m i g h t more f r u i t f u l l y b e " i n v e r t e d " i n o r d e r t o i d e n t i f y b e t t e r t h e r e l a t i o n s h i p s assumed i n t h e g i v e n d e f i n i t i o n o f t h e " e n v i r o n m e n t " .

I n e i t h e r o f t h e two examples q u o t e d , t h e s k i l l o f t h e ana- l y s t would l i e i n a r r a n g i n g t h e a n a l y s i s s u c h t h a t e x t r a n e o u s i n t e r f e r e n c e w i t h t h e a n a l y s i s c o u l d be f i l t e r e d o u t . A t f i r s t s i g h t t h i s i s p e r h a p s a r a t h e r a t t r a c t i v e view o f t h e t r u e p u r p o s e o f s y s t e m i d e n t i f i c a t i o n and t i m e - s e r i e s a n a l y s i s . But i t p r e -

s u p p o s e s , o f c o u r s e , t h a t t h a t p a r t o f t h e model r e q u i r e d t o com- p e n s a t e f o r t h e e x p e r i m e n t a l " e n v i r o n m e n t " i s known a p r i o r i w i t h s u f f i c i e n t c o n f i d e n c e t o p e r m i t t h e f u l l power o f t h e a n a l y s i s t o be d i r e c t e d t o w a r d s i d e n t i f i c a t i o n o f t h e r e l a t i o n s h i p s de- f i n e d a s t h e " e x p e r i m e n t " . Such a s s u m p t i o n s t h e m s e l v e s have t o be e v a l u a t e d . The d i s t i n c t i o n between what i s "known w e l l " and

what i s " s p e c u l a t i o n " t h u s becomes v a n i s h i n g l y s m a l l . I t i s u n l i k e l y , a s w i t h p r e m i s e ( c ) i n s e c t i o n 3 . 1 , t h a t a l l p r i o r h y p o t h e s e s a r e e q u a l l y s p e c u l a t i v e ; r a t h e r , a s p e c t r u m o f d e g r e e s o f c o n f i d e n c e i s p r o b a b l e . The freedom t o m a n i p u l a t e where g r e a t e r p r i o r c o n f i d e n c e s h o u l d b e p l a c e d , however, c a n t h u s b e s e e n t o be b o t h a n a d v a n t a g e and a d i s a d v a n t a g e . I n i t s w o r s t form it a l l o w s t h e p o s s i b i l i t y o f p r e j u d i c i n g t h e d i a g n o s i s o f f a i l u r e , a s a p p a r e n t w i t h t h e r e s u l t s o f F i g u r e 3. I t i s d i f f i c u l t t o c l a i m , however t e m p t i n g i t may b e , t h a t t h e r e i s j u s t one " e x p e r i m e n t " and i t s complemen- t a r y " e n v i r o n m e n t " . I n s t e a d , i t i s o n l y p o s s i b l e t o s t a t e t h a t a number o f more o r l e s s s i g n i f i c a n t " e x p e r i m e n t s " a r e p r o c e e d i n g i n p a r a l l e l . T h i s does n o t mean t h a t p a r t i a l l y i s o l a t e d e x p e r i m e n t s c a n n o t be c o n d u c t e d on l a r g e - s c a l e f i e l d s y s t e m s - - t h e s t u d y o f

wind-induced r e s u s p e n s i o n o f l a k e s e d i m e n t s i n Somlyody's p a p e r [31 t y p i f i e s what i s p o s s i b l e i n t h i s r e s p e c t . But i t d o e s mean t h a t i f t h e a n a l y s t a s p i r e s t o t h e development o f a model f o r t h e

f i e l d s y s t e m a s a w h o l e , t h e n h i s a n a l y s i s o f t h e d a t a w i l l have t o c o n t e n d w i t h t h e i n t r i n s i c a l l y i n d i v i s i b l e c h a r a c t e r o f t h e s y s t e m ' s b e h a v i o u r .

4 . CONCLUSIONS

Many c o n t e m p o r a r y e x e r c i s e s i n w a t e r q u a l i t y - e c o l o g i c a l m o d e l l i n g h a v e b e e n c o n d u c t e d w i t h o u t s e r i o u s c o n s i d e r a t i o n o f

t h e s i g n i f i c a n c e o f c a l i b r a t i o n . I t i s n o t a n empty a p p e n d i x t o t h e m a i n s t r e a m d e v e l o p m e n t s i n w a t e r q u a l i t y m o d e l l i n g . I t may o n l y b e c o n s i d e r e d s o i f o n e c h o o s e s t o a t t a c h g r e a t c o n f i - d e n c e t o a p r i o r i t h e o r y , t h e r e b y r e n o u n c i n g , i n e f f e c t , much o f t h e q u e s t i o n i n g t h a t s h o u l d accompany c a l i b r a t i o n .

The " q u e s t i o n i n g " p r o c e s s o f model c a l i b r a t i o n , t o which c o n s i d e r a b l e i m p o r t a n c e i s a t t a c h e d , i s w h a t h a s b e e n c a l l e d h e r e t h e p r o b l e m o f model s t r u c t u r e i d e n t i f i c a t i o n . The p r o c e d u r e p r o p o s e d f o r s o l v i n g ( i n p a r t ) t h i s p r o b l e m h a s two p r i m a r y f e a - t u r e s : ( a ) t h e u s e o f r e c u r s i v e p a r a m e t e r e s t i m a t i o n a l g o r i t h m s f o r t h e a n a l y s i s o f time-series f i e l d d a t a ; a n d ( b ) t h e a l t e r n a t e o b j e c t i v e s o f e x a m i n i n g t h e model s t r u c t u r e f r o m t h e p o i n t o f v i e w o f e i t h e r f a l s i f y i n g c o n f i d e n t h y p o t h e s e s o r c r e a t i v e l y s p e c u l a t -

i n g a b o u t u n c e r t a i n h y p o t h e s e s .

The p a p e r h a s i l l u s t r a t e d t h i s a p p r o a c h t o model s t r u c t u r e i d e n t i f i c a t i o n w i t h a c a s e - s t u d y o f t h e B e d f o r d Ouse r i v e r s y s t e m . The r e l a t i v e c o m p l e x i t y o f t h i s s t u d y d e f i n e s it a s w h a t m i g h t b e c a l l e d a s e c o n d - g e n e r a t i o n s t u d y i n model s t r u c t u r e i d e n t i f i c a t i o n ; i n d e e d i t r a i s e s more q u e s t i o n s t h a n i t a n s w e r s . I n p a r t i c u l a r , t h e B e d f o r d Ouse example c h a l l e n g e s t h e u s e f u l n e s s o f t h e p r o c e d u r e o u t l i n e d f o r model s t r u c t u r e i d e n t i f i c a t i o n a n d d r a w s a t t e n t i o n t o t h e c r u c i a l d i f f i c u l t y o f f o c u s i n g a n d i n t e r p r e t i n g t h e d i a g n o s t i c e v i d e n c e o f a n a l y s i s . T h i s e x a m p l e a l s o i l l u s t r a t e s t h e p r o b l e m o f d i s t i n g u i s h i n g b e t w e e n w h i c h a r e c o n f i d e n t a n d w h i c h a r e

s p e c u l a t i v e p r i o r h y p o t h e s e s , a d i s t i n c t i o n t h a t i s i m p o r t a n t f o r i m p l e m e n t i n g t h e p r o p o s e d a p p r o a c h . F i n a l l y , c o n s i d e r a t i o n o f a n a n a l o g y w i t h t h e p l a n n e d e x p e r i m e n t a t i o n o f l a b o r a t o r y s c i e n c e ,