Submodels

classification technique for inferring if the individuals of a population fall into different  groups by making quantitative comparisons of multiple characteristics. The basic assumption  is that the differences within any spatial neighbourhood should be less than the differences  between neighbourhood groups. 

The merged dataset of spatially referenced socio demographic data for 2007 and temporal  extrapolations until 2030 is available to the project. For the target region, the extrapolations  do not show dynamics that can be expected to have major influence in the context of  neighbourhood support. Therefore, we use the 2007 empirical data as the socio‐empirical  base for the results presented in this paper. The geographical reference units are so‐called  market cells that comprise several hundred households. For each of the market cells the  dataset provides  the number  of households belonging to each of ten different  Sinus‐

Milieus®. Again, for the use in the model we cluster data obtaining four milieu groups. In the  following we refer to milieu groups simply as lifestyles. 

investment of 3.0 units). The success of support approaches 100% if the mean of individual  contribution reaches at least 0.4 (group investment of 8.0 units in a group of 20). 

4.4.7.2 Agent decision‐making

In HAPPenInGS‐N, agent decision‐making is based on concepts of the LARA framework  (Lightweight Architecture for boundedly Rational Agents, Briegel et al., 2012). LARA enables  handling large numbers of heterogeneous agents (up to hundreds of thousands) and their  decision processes in a way that is well embedded in existing psychological theory on human  decision‐making. The  purpose  of LARA  is to provide  policy simulation with a  credible  modelling of actors and citizens in particular. In line with Briegel et al. (2012) we distinguish  different types of decision‐making that humans adopt depending on the demands of a  particular  situation.  In  HAPPenInGS‐N  three  types  of  decision‐making  are  considered: 

deliberative decision‐making grounded in the HAPPenInGS theory, exploration, and habit‐

based decision‐making. 

The remainder of this section describes the implementation details of the three modes of  decision‐making and their respective triggering during agent decision‐making. 

4.4.7.2.1 Deliberation and exploration 

In  HAPPenInGS‐N  the  implementation  of  deliberative  decision‐making  and  exploration  mainly corresponds to the respective description given in the submodels‐section of the ODD  description of HAPPenInGS‐A (see section 3.2.7.2). To provide a complete ODD description of  HAPPenInGS‐N we summarise the respective section here.  

In deliberative agent decision‐making an agent’s selection of a behavioural option is guided  by the preferences stated by the HAPPenInGS theory (see Table 2). The knowledge of agent  about the effectiveness of its behavioural options is represented by a utility calculation  which relates the perceptions of an agent and its expectations about the outcome of  executing a behaviour to the agent’s subjective preferences. 

To assess the subjective utility of its behavioural options, each agent perceives the present  success of neighbourhood support provided by its respective group, and supposes that the  n‐1 other agents of its group keep to their previous investment decisions in the next time  step. Then, each agent forms an expectation of the success of neighbourhood support 

associated with each of its possible next investment decisions. Next, an agent perceives the  average level of contributions within its group and the average level of contributions by its  social network peers and determines the expected utility of each investment option x  regarding its  subjective  preferences  (see Table  2).  The  formula used  to  calculate  the  expected utility u of an investment option x is displayed in Equation 2. For deliberative  decision‐making, the final selection of an investment option is represented by a probabilistic  choice model based on the expected utilities (see Equation 3). 

Like in HAPPenInGS‐A, deliberation is complemented by exploration which is modelled by  having agents select a random investment level (uniformly distributed). 

4.4.7.2.2 Habits 

Habit based decision‐making reflects the understanding that most of the individual daily  activities  are  routine  behaviours  that  do  not  involve  deliberation.  Nevertheless,  psychological research shows that such habits (Triandis, 1980) are to be understood as  condensed representations of past results of deliberative decisions that become activated in  certain situational contexts as an “automaticity” (Aarts & Dijksterhuis, 2000). Therefore, in  HAPPenInGS‐N, habits are grounded in the HAPPenInGS theory that describes the adaptive  behaviour which forms the basis of the involved processes of learning. 

We model habits and their formation as a process of Learning by Doing (Anzai & Simon,  1979): Agents build up and use a body of experience over time that allows them to recall  behaviours that led to satisfactory outcomes in certain contexts and to distinguish those  behaviours from unsuccessful ones. Repeatedly successful behaviours become habits that  determine an agent’s routine behaviour. 

In the ABM literature the underlying model is known as reinforcement learning (Bendor,  Mookherjee, & Ray, 2001; Erev & Roth, 1998). Reinforcement learners utilise experience to  select (or avoid) behaviours on the basis of recalled consequences. Actions that resulted in  satisfactory outcomes in the past are likely to be repeated in the future, whereas choices  that led to unsatisfactory experiences are avoided. 

While forming their habits agents memorise past outcomes of their selected behaviours. 

Memory entries are quadruples {S, b, r, u} where: 

 S is the he situational context of the decision: What was the weather condition under  which  the  memorised  decision  was  made?  Two  contexts  based  on  agents’ 

perceptions of the environment are distinguished (“normal weather” and “heat 

day”). 

 b is the behavioural option, i.e. the investment level selected in context S. 

 r is the reinforcement of b in context S: How often did deliberative decision‐making  confirm the behaviour in the respective situation? 

 u is the time‐average subjective utility of b in S: What level of utility was in average  achieved by selecting the behavioural option in the situational context? 

During  deliberative decision‐making agents continuously collect experience: Assume, in  situational context S* an agent selects behavioural option b* which has a subjective utility 

u*: 

 If the memory does not hold an entry for context S* then create a new entry (S*, b*,  1, u*). 

 If b* was selected before in context S* then update the corresponding memory entry  by increasing the reinforcement by 1 and adjusting the subjective utility of b* in 

context S* using u*. 

 If for context S* a different behavioural option b** (b*<>b**) is in memory and the  memorised utility of b** is lower than the utility of b* then add a new entry {S*, b*,  1, u*}. 

If  in  a  given  situational  context  an  agent  possesses  a  sufficiently  confirmed  (high  reinforcement,  r>=10 is  used here) memory entry the recalled behaviour becomes  an  agent’s habit for that specific situation. 

4.4.7.2.3 Decision mode selection 

Deliberation is used if in a given context there is no useable (confirmed) experience available  to an agent, i.e. habitual behaviour is not possible. Furthermore, deliberative decision‐

making may be triggered by external events like e.g. the perception of an information  campaign by an agent that makes it elaborate on its behavioural options despite existing  habits. With a probability of 1% agents use exploration instead of deliberation. In all other